Мы в разводе с бывшим мужем У нас имеются общие дети

Здравствуйте. Мы в разводе с бывшим мужем. У нас имеются общие дети, 7 и 11 лет. Бывший муж, угрожает, что обратится в опеку, суд, для определения порядка общения с детьми Мы в разводе находимся уже 4 года. С детьми он видится по мере возможности: работает сменным графиком, берет редко, дети не всегда хотят с ним видится в ввиду своих обязательств. Кроме этого есть бабушка со стороны их отца, которая не общается с детьми уже 4 года и выселила их квартиры по суду. В исковом заявлении она указала, что они не являются ее родственниками. Если отец обраться в суд или опеку и они установят порядок обращения с детьми, но дети не захотят в этот день с ним встречаться, а с бабушкой они не хотят ,в принципе, видеться будет ли это нарушением с моей стороны закона? Общению и встречам я не препятствую. Все 4 года все было хорошо, но последнее время дети отказывались с ним видеться и отец решил, что я настраиваю