Выселение из служебного жилья

В 2012 году развелся через суд с женой, в 2014 году получил служебную квартиру от министерства обороны на себя, бывшую жену (штамп о разводе не стоял в паспорте) и несовершеннолетнего ребенка), до 2016 года жили вместе, родился еще ребенок. В 2016 г я вновь женился и в новой семье у меня тоже уже есть ребенок. Живу со второй семьей в съемной квартире, а бывшая жена с детьми в моей служебной. На требование выселиться она отвечает, что сделает это только по решению суда. Хочу расторгнуть договор о служебном жилье, но не могу, т.к. Бывшая жена ее не освобождает. Подскажите, пожалуйста, как лучше действовать в данной ситуации и на чьей стороне закон?