С мужем обоюдно определили проживание детей, но теперь хочу забрать и второго ребенка

Здравствуйте. У меня следующий вопрос к вам: С мужем развелись два года назад, двое детей, но проживание было детей определено обоюдно. Дочь проживает со мной, а сын с бывшем мужем. Теперь я хочу забрать сына, а он мне его не отдает, и даже его уже нынешняя жена пытается настроить против меня всех. Я работаю не официально, квартира съемная, но есть стабильный заработок для содержания детей. Бывший муж меня всячески пытается запугать что я и дочери лишусь если куда-либо обращусь. Что мне делать в данной ситуации.