Как определить место жительства ребенка и порядок его общения с отцом?

Здравствуйте! Моему сыну 2 года. С его отцом в браке не состояла, отцовство оформлено. Как выяснилось уже после рождения и регистрации сына, отец скрыл от меня тот факт, что состоит в браке с другой женщиной. В течение этих двух лет участия в воспитании ребенка не принимал, приезжая раз в 2-3 недели. В то же время сейчас фактически принуждает меня к сожительству, шантажируя ребенком (убеждая, что ребенку нужна полноценная семья, и не важно, в каком статусе будет находиться мать). Я с ним иметь никаких отношений не хочу. Я его встречам с ребенком не препятствую, но так как он теперь не имеет постоянной работы и с женой не живет, он готов навещать ребенка каждый день, что меня уже не устраивает. В прошлый визит его выгнали со скандалом в 22.30 вечера, чем, по его мнению, нарушили его отцовские права. Как мне определить место жительства ребенка и порядок общения с отцом? Договориться устно не получается - у него единственная фраза - " мы должны жить вместе".