Сосед против установки другого забора

День добрый! В прошлом году мы преобрели участок под строительство дома. Участок большой, всего один сосед. Граница участка проходит по стене дома соседа. Рядом с его домом в заборе есть калитка с выходом на нашу территорию,причём с захватом нашего участка на 1,5 метра, видимо для обслуживания дома. Как и любой нормальный человек я хочу чтобы на мой участок никто не ходил. Хотим поставить свой забор в соответствии с планом и закрыть калитку. Соседа предупредили, что препятствовать ему в обслуживании его дома не будем и будем пускать на свой участок когда ему это потребуется, но он против. Как нам лучше поступить в данной ситуации?