Прописан с Мамой в квартире бабушки Квартира муниципальная бабушка умерла там

Здравствуйте. Прописан с Мамой в квартире бабушки. Квартира муниципальная, бабушка умерла, там живёт мамин брат, мой дядя соответственно. Пока были похороны и мы там не проживали, дядя без нашего ведома, сказав что не знает нас, кто мы и где живём выписал нас. Мы восстановили сроки, отсудили всё, регистрацию нам восстановили. Вопрос, можем ли мы не проживать в данной квартире, а просто приезжать допустим раз в неделю, на несколько часов или приехать переночевать и всё, чтобы дядя нас снова не выписал из этой муниципальной квартиры? Я инвалид 2 группы, мама пенсионер.