Биологический отец не отдаёт ребёнка матери.

Здравствуйте! Родила ребёнка не в браке, но записала на биологического отца, разошлись через два месяца после рождения ребёнка. Полтора года отец не интересовался ребёнком и не помогал, в полтора года он объявился и взял сына к себе. Живет он с родителями, и решил взять ребёнка на время на себя и на своих маму и папу. Днём я находилась с сыном у себя дома, так как все работали, а вечером он его забирал. Я начала строить свою личную жизнь. Сейчас беременна и выхожу замуж. Но биологический отец теперь не отдаёт ребёнка, и не даёт общаться и видится с ним, ни мне, ни моим близким. Грозится тем, что лишит меня материнских прав, аргументирую тем, что я не живу с ребёнком, хотя сам всячески припятсвует общению и встречам с ним. Не знаю как быть, придётся подавать в суд, или я могу просто забрать ребёнка, допустим из сада, и просто увезти его?