Развод, 4 детей, детские пособия: бывший муж угрожает судом и требует вернуть деньги

Здравствуйте. Такая ситуация. Мы с супругом бывшим развелись два года назад. У нас общих 4 детей. Двое живут с отцом и двое со мной. Детские пособия на всех получаю я-мама. Весь год я отправляла бывшему супругу полагающие деньги на двоих детей. Но месяц назад я попросила по человечески оставлять себе чтобы я тратила на его же детей. Он нехотя согласился. Прошел месяц и он с угрозами пишет чтобы я вернула ему деньги. Говорит будет судиться. Но мы договорились что я не тревожу с алиментами и ничего не отправляет. Т е та сумма остается как бы двоих детям которые проживают со мной, потому что много расходов в месяц чисто на них. Он думал это только на месяц просьба. Как быть? Человек теперь из-за денег пригрозил что дети ко мне не приедут на зимние каникулы. И будет принимать меры.