Сосед утверждает, что мы строим забор на территории его участка: как быть?

Добрый день! Мы приобрели в собственность земельный участок, межевание на участке уже было сделано. Когда начали строить забор согласно межевому плану, сосед выдвинул претензии о том, что мы занимаем часть его территории.

Выяснилось, что позапрошлый владелец участка устно договорился с соседом об отчуждении ему 10 метров ширины территории. На тот момент участок соседа был не узаконен (и сейчас он в том же состоянии), согласие о перемещении межи ставил (подписывал) глава сельского поселения. Далее участок был продан следующему владельцу, который не затронул вопроса о его границах, и после – перепродан нам. Участок соседа достался ему по наследству, ему принадлежит доля этого наследства, но живет в доме только он и пользуется участком только он уже много лет. Никакие права о вступлении в наследство и права собственности не оформлялись. Имеем ли мы право на эти 10 метров территории соседа? Другими словами – где нам строить забор – на старой меже или на новой?