Согласно статье 782 Гражданского кодекса РФ, заказчик вправе отказаться от исполнения договора возмездного оказания услуг при условии оплаты исполнителю фактически понесенных им расходов. В вашем случае, если агентство уже произвело какие-то расходы (например, оплатило бронирование), то вы должны их компенсировать. Если такие расходы не были осуществлены, то требование об уплате штрафа или процентов является незаконным.
Статья 32 Закона РФ "О защите прав потребителей" дает право потребителю отказаться от исполнения договора об оказании услуг в любое время при условии оплаты исполнителю фактически понесенных им расходов, связанных с исполнением обязательств по данному договору.
Если вы не подписывали договор и все было согласовано только на словах, то требование агентства об уплате штрафа или процентов является незаконным.