Доля с квартиры - отец попросил 1/4

Здравствуйте! Подскажите пожалуйста, как быть в этой ситуации! Мои родители развелись почти 5 лет назад. Отец ушел в другую семью, но квартиру делить на момент развода не стали. Жили в ней мама, я и несовершеннолетний брат. На эту квартиру 2 собственника - мама и папа. Мы собрались продать квартиру, и купить в другом городе. Как знаю я, что если 2 собственника, то квартира делится на двоих. Год назад, отец отказался от своей доли, т.е. вся сумма от продажи доставалась нам: матери и двум детям. Сейчас отец попросил 1/4 часть. Мы не готовы ее отдать, т.к. Ребенок до сих пор несовершеннолетний, отец никак не помогал (алименты платит), в квартиру он ничего не выкладывал на момент когда он жил с нами, + ко всему он забрал документы от квартиры на момент развода. Ушел с семьи оставил кучу долгов. Что делать? Получается он детям ничего не оставляет, а сам имеет в новом браке квартиру, дом, машину, гараж.