Да, вы имеете право отказаться от выезда в выходные дни, если командировка официально согласована с понедельника по среду и отсутствует письменный приказ о привлечении к работе в выходные. Ненормированный рабочий день не означает обязанность работать в выходные без отдельного оформления. Работа в выходные допускается только по основаниям, предусмотренным ТК РФ, как правило — с письменным распоряжением работодателя и оплатой в повышенном размере либо предоставлением дня отдыха. Устное указание по телефону не заменяет официальный приказ. Поэтому вы вправе сообщить, что готовы выехать в сроки согласованной командировки — с понедельника.