Как лишить бывшего гражданского мужа отцовских прав

Добрый день, подскажите, пожалуйста. Я родила ребенка от гр. мужа, в 6 месяцев я уехала от него и по сей день мы с дочкой живем вместе в другом городе. Первое время он помогал, высылая деньги на её воспитание, потом перестал помогать и сейчас от раз к разу присылает. Сейчас начал запугивать меня, что лишит меня прав на воспитание ребенка, говоря что я его просто у него украла, что у него есть свидетели этого действия. Сказал что просто приедет и выкрадет её. Дочка записана на меня, прописана тоже на мою прописку, в свидетельстве о рождении у неё стоит в графе отец прочерк. Могу ли я как-то лишить его отцовских прав, чтобы он не смог забрать у меня ребенка