Спор по поводу недвижимости, объявился отсутствовавший собственник

На основании выписки из похозяйственной книги от 1997 года бабушке на правах бессрочного пользования принадлежал земельный участок. Она оформила его на себя и продала мне. Моя семья построила на ней дом. Но предварительно нам пришлось снести нежилой дом на этом участке. Сейчас появился человек, у которого оказался договор-купли продажи на этот дом от 1981 года. В этом доме он жил недолго, но в похозяйственной книге сельского совета никогда не значился, а потом вообще уехал и за домом не следил и не платил за него налоги. На момент покупки им дома земля находилась в собственности колхоза. Сейчас этот человек подал заявление, что мы незаконно построили свой дом. Какие у нас права?