Отказали в погашении ипотеки материнским капиталом

Здравствуйте.У меня есть вопрос по поводу материнского капитала.Мы взяли дом в ипотеку под материнский капитал, всё уже оформили,зелёнка на руках и деньги отдали продавцам,но нам пенсионный фонд отказал,аргументируя тем что деньги должны были начисляться тому у кого мы купили,но как это так если сделка оформлялась на нас и на наши реквизиты.Покупателю отдавали наличными брали с него расписку.Что нам теперь делать?Обратно дом забирать они не хотят,деньги потрачены.