只要有宅基地使用权就能要回。
《土地管理法》第62条第3款规定：“农村村民住宅用地，经乡(镇)人民政府审核，由县级人民政府批准;其中，涉及占用农用地的，依照本法第44条的规定办理审批手续”。具体说：
1、由本人向所在的农村集体经济组织或村民委员会提出用地申请;
2、由农村集体经济组织召开其成员会议或者村民委员召开其村民会议就村民提出用地申请进行讨论;
3、农村集体经济组织成员会议或者村民会议讨论通过后;由村集体经济组织或村民委员会报乡(镇)人民政府审核;
4、乡(镇)人民政府审核同意后，报县级人民政府批准;其中，占用农用地的，依照土地管理法》第44条的规定办理农用地转用手续。