отец ребёнка хочет лишить меня родительских прав, может ли он это сделать?

Я живу с ним в гражданском браке уже почти четыре года. В этом браке появилась дочка, ей два с половиной года. Я работаю, постоянно (неофициально), он больше трёх месяцев ни на одной работе не продержался... Уволится и пол года потом на моей шее сидит... Пьёт месячными запоями. Периодически поднимает на меня руку, оскорбляет, и. т. д. Я перестала возвращаться домой просто от страха и усталости от такой жизни, он грозит мне тем что лишит меня родительских прав... Я сама в детстве осталась на попечении родительских прав, знаю как тяжело без матери. На данный момент я ищу съёмную квартиру куда могу переехать с дочерью... Он мне её не хочет отдавать... Может ли лишить он меня прав только по этим факторам? Когда я жила с ним и его матерью, с которой я в не лучших отношениях, ребёнок всегда был ухожен сыт и чист... подскажите что делать...