5年前，我老家的一位村民因为要搬到市区生活，就把自己的承包土地转包给我父亲，转包时商量的是永久转包，并且双方签合同了，还有其他的村民在场作证。这几年，我父亲投入了大量的人力、物力，在土地上种满了杏树并开花结果。加上这几年国家有退耕还林的政策，每年有一定的退耕还林款，这些土地的退耕还林证也都是写的我父亲的名字。现在那个村民看到有利益，想要把土地要回去，我们不肯，他就天天找我父亲闹，说如果我们不把地还给他，他就让我们种不了树。请问这种转包多年的土地能被他收回吗？我们应该怎么办？