Порядок общения детей с отцом

Здравствуйте. Мы с сыном проживаем у моих родителей. Ребенку 1,1. Бывший гражданский муж никакой материальной помощи не оказыает. Ни где не работает,получил уже судимость(ст.228) и условный срок. Сейчас заявляет,что имеет право забирать ребенка одного на выходные и т.д. А я боюсь с ним даже на час то его оставить. Посоветуйте пожалуйста, что делать. Без суда точно не обойдется. А если я подам на алименты,он подаст на меня встречный иск? Спасибо.