Подскажите пожалуйста мы взяли дом в ипотеку отец продал квартиру и

Здравствуйте, подскажите пожалуйста, мы взяли дом в ипотеку, отец продал квартиру и отдал деньги нам на первоначальный взнос, захотел жить с нами ( это наше единственное жильё), то есть теперь мы живём все вместе, я, муж, сын и отец. Теперь ему расхотелось жить с нами и он требует свои деньги обратно, недвижимость оформлена на мужа. Отдавайте назад говорит иначе пойду в суд. Может ли он через суд вернуть деньги?