我家住在农村，村里分了农业用地 ，因为我在外打工，同村的人就在我家的土地上办了工厂。当时约定是他将他的土地买了，钱还给我们，但是他没有卖地，实际上付给我们租金，其中还有几年没有付租金，前几年土地价格上涨，并且国家把他的土地征收了，给了一笔补偿金同时也分配了安置地。他现在要求被征用的土地算作我的土地，把征地的补偿给我，而他将占有我的土地，这种情况怎么处理呢？谢谢！