Это ограничение относительно низкоуровневого M$ Windows GDI API, если не ошибаюсь, единственный метод борьбы - пользоваться более высокоуровневым GDI+. Но это слишком круто, боюсь. Хотя бы из простого GDI вытянуть то, что он умеет.
------------ Дoбавленo в 17.16:
Хотя нет, может вру, надо ещё попробовать использовать ExtCreatePen. Очередная замена устаревшему CreatePen.
------------ Дoбавленo в 17.41:

Так он её и продолжает рисовать, просто сплошную, то есть игнорирует выбранный стиль. Видимо, это происходит потому, что простой, доставшийся от древней винды 3.11 CreatePen работает в режиме "косметического" пера, у которого не было толщины более 1. В ExtCreatePen есть ещё режим "геометрического", у которого таких граблей, вроде, нет. По крайней мере, GDI+ рисует пером при любой толщине, и при этом является просто надстройкой над GDI, но там не такой большой геморрой все атрибуты выставлять и режимы выбирать.