Добрый вечер интересует вопрос собирались с мужем взять ипотеку отдали залог продавцу

Добрый вечер интересует вопрос собирались с мужем взять ипотеку отдали залог продавцу заключили договор в офисе у риэлторов при юристе нам озвучили условия что если мы отказываемся от ипотеки залог остается у продавца если он отказывается или отказ происходит по причине отказа банка тогда залог возвращается нам договор подписали но получилось так что банк нам отказал по причине продавца он владеет квартирой меньше трех лет и должен заплатить налог а он хотел сделать какие-то два договора я сильно не вникала но банк такое не пропустил.итог залог он возвращать не хочет как нам поступить в такой ситуации?