Проверил на сборке 171, единственно надо изменить по умолчанию в свойствах GL_Main, StencilBits=0 на StencilBits=1. Пример как раз то что нужно, правда заработал после изменения StencilBits=1.
Привожу ещё один пример из книги,
Рис. 4.21. Простейший пример на операции с буфером трафарета
в моём примере два квадрата
code_10032.txt
Всем кто борется с OpenGL, советую заглянуть.
http://www.libray.narod.ru/Program/DOpenGL/index.html