Насколько я понимаю, где-то Enter должен обрабатываться, вот от и обрабатывается либо в DefDlgProc (ищет кнопку с указанным стилем, и посылает сообщение WM_COMMAND c ID кнопки), либо, что больше выглядит на правду, в процедуре модального диалога, где-то около TranslateMessage, выполняя аналогичное действие.