В том случае, если на данный момент судом или нотариальным соглашением не установлен порядок общения с ребенком, то по сути ваш бывший муж может приехать и забрать дочь без вашего согласия. Ответственности за это никакой он не понесет. Однако, с учетом положений Семейного кодекса РФ, устанавливающего, что родители имеют равные права, безусловно следует, что такие действия супруга будут являться незаконными.
Для разрешения вашей проблемы и пресечения нарушения ваших родительских прав в будущем, рекомендуем вам обратиться в суд с исковым заявлением об установлении порядка общения с несовершеннолетним ребенком.