Что делать, если жена не дает видится с дочерью

Добрый день! Меня зовут Алексей. Моя бывшая жена ставит мне жесткие условия по факту встреч с дочерью (возраст 4,5 года). У меня сейчас новая семья, скоро появиться второй ребенок, проживаем в новой хорошей двухкомнатной квартире, я сам федеральный государственный служащий. Бывшая жена не позволяет забирать дочь ко мне домой, особенно на ночь, аргументируя это тем, что дочь не должна видеть мою новую семью, так как якобы для нее это стресс, ссылаясь на беседу с психологом. При этом дочери очень нравиться общение со мной и с новой женой. Да и не дает мне видеться с дочерью часто (даже пару раз в неделю). На мои замечания, о том что у нас с ней равные права на ребенка не реагирует. Вот думаю обратиться в суд. Подскажите пожалуйста, как быть.