不是要回孩子的抚养权，而是变更孩子抚养权。具体方式如下：
1、如果夫妻双方协商一致变更子女抚养关系的；
2、或直接抚养人因患严重疾病或者因伤残无力继续抚养子女；
3、另一方要求变更子女抚养关系的，人民法院应予支持。
一、变更抚养权的法定事由
更抚养关系的法定事由根据《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第16条规定：一方要求变更子女抚养关系有下列情形之一的，应予支持。
(1)与子女共同生活的，一方因患严重疾病或因伤残无力继续抚养子女的；
(2)与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
(3)十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
(4)有其他正当理由需要变更的。
二、租房可以起诉夫妻变更孩子抚养权吗?
租房住能起诉变更抚养权，直接抚养方不尽抚养义务、其与子女共同生活对子女身心健康确有不利影响等情况的，不直接抚养方可以起诉变更抚养权，租房住不是人民法院判定抚养权的主要因素。
三、离婚之后孩子的抚养权还可以变更吗
根据我国法律的规定，出现以下法定事由时可以变更子女抚养关系：1、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；3、10周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；4、有其他正当理由需要变更的。一方要求变更子女抚养关系有上述情形之一的，人民法院应予支持。
相关法律规定：根据《最高人民法院关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第17条的规定：“父母双方协议变更子女抚养关系的，应予准许”。
【本文关联的相关法律依据】
《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五十六条
具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：
（一）与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；
（二）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；
（三）已满八周岁的子女，愿随另一方生活，该方又有抚养能力；
（四）有其他正当理由需要变更。
第五十七条
父母双方协议变更子女抚养关系的，人民法院应予支持。