Добрый вечер У нас частный дом когда мы его купили между нами

Добрый вечер! У нас частный дом, когда мы его купили между нами с соседом не было забора на участке. Сосед сам поставил забор когда мы переехали, мы не каких документов не заключали с ним. Он сам проявил инициативу, мы сказали сразу что нам пока что забор не нужен. Сейчас он требует с нас деньги за забор, пишет постоянно то мне то мужу. Звонит моим родственникам, вчера на улице подошёл. Законно ли это? Должны ли мы ему что то?