Покупка дома с использованием средств материнского капитала

Мы купили дом с использованием средств материнского капитала в ноябре 2013 года. У нас двое несовершеннолетних детей, а у продавцов двое совершеннолетних, но один ребенок инвалид. Продавцы строят себе дом и отказываются съезжать, пока не достроят. А нам сказали, что если мы будем выселять их через суд, то они подадут иск о расторжении договора купли-продажи? Имеют ли они на это право и на каком основании?