Отец ребёнка при рождении не установил отцовство В браке не состояли Спустя

Отец ребёнка при рождении не установил отцовство. В браке не состояли. Спустя 2 года, он решил оформить ребёнка и дать свою фамилию. Все эти 2 года мы проживали вместе, расходы на ребёнка были полностью на нем. Был период мы не проживали 5 месяцев за все это время он прислал 1 руб. Приходил 1-2 раза в месяц гулять с ребенком, после этих встреч, у ребёнка была истерика.Сошлись вновь, но спустя полгода мы все таки расстались. И я не хочу, чтобы он общался с ребенком, так как ребёнка успокоить после редких встреч очень тяжело. Это огромный стресс для меня и ребёнка. Могу ли я каким то образом не давать согласия на установление отцовства и смену фамилии?