Продаю квартиру подписали соглашение о задатке с покупателем на сумму 100

Здравствуйте, продаю квартиру, подписали соглашение о задатке с покупателем на сумму 100 тысяч рублей. В соглашении нет ни слова про ипотеку и это даже не было обговорено, через время покупатель сообщает что ему отказали в ипотеке и требует возврат задатка. Я отказываюсь, так как я потерял свое время, потенциальных покупателей, подчеркиваю, в соглашении нет ни слова про ипотеку, только один единственный пункт, где написано «при прекращении договорного обязательства по соглашению сторон или невозможности его исполнения задаток возвращается покупателю в течение 3 дней. Никакой пункт про ипотеку прописан не был. Я правильно понимаю, что получается у покупателя просто нет денег на покупку квартиры и соотвественно задаток остается у продавца?