领导您好！我是富顺县东湖高石村的村民，刚从外地回家，为了方便出行，在原道路基础上准备硬化几米外出的道路（有所加宽），可有户邻居硬说占用了他家的自留地，（我们这里一共四户，平均分别属于两个小组，除开说我们占用他家自留地那户，其余三户都要从此道路出入）可他家的自留地的面积，具体地方，都说是以前的组上口头承诺的，除他们本小组一些证人找不到其他的书面证据，而且他们组的土地流转的好多年了，只是每户经集体同意保留了一点自留地，我们为了邻里关系不至于太僵，同意自己的补偿给他，但他们要自己选，其实我已经让步了，这样我们就不同意，退一步讲，按照他们所说的面积，就算把历史以来的老路算上也不能够面积，我估计他家就是不让别人好好过，自留地这里不够，应该从别处再划，而且那条路世世代代从那里过，以前虽然不宽，但那也是他家的屋旁，两米外就是属于我们小组的农田，这条路从来没种个庄稼，也不可能种，现在他家搬到旁边去了，老屋早就拆了，又遇到他们组土地全部流转，每家要保留自留地，他家就要了老屋基的地，路就在农田和老屋基之间，随着大家出行需求，现在他家说自留地的面积不够，说是修路占用了，我们让步说拿一块来补偿他家，可他家要指定的，这样我也不想让步了，就算算上老路和田壁也不后他说的面积，我想当时也不可能这样划土地吧？那别人三户连路都没有了，他是不是别处还有自留地，我们也不知道，而他家要偏偏说占用了他的，有骂又诅咒我家人，我们都在外打工，也是无语了。这该怎么办