如果张某现在仍是农业户口，那只有物归原主了。他可以辩解为当年因某种原因无力使用土地而交由集体管理，现在有能力使用或有权自行流转，所以他有权收回。你当年接收土地并不是整体调整，退出的只他一家，接包的只你一家，不管有无租金都没有期限管束，他可以提前告诉村委，他现在要经营土地了。如果村委已经把承包权固定在你的名下，那也是不规范的。张某退出的土地应该是机动的，可以分配到各户共享，也可以收取你的租金大家共享，包括用于公益事业。以上理由他可以收回原来的承包地，唯一不能收回的理由只是非农户口，其它的理由都站不住脚。
