Я владею частным домом и участком который находится в долгосрочной

Добрый день, я владею частным домом и участком, который находится в долгосрочной аренде. В притык к этому участку находиться бесхозный сарай. Мои соседи хотят захватить этот сарай и сделать из него свинарник. Документов на владение сараем у них нет, они оперируют тем, что женщина, которая продала им дом, 10 лет назад пользовалась этим сараем. Этот сарай нигде не зарегистрирован, не имеет кадастрового номера. Можно ли как-то не допустить постройку свинарника из бесхозного сарая?