Эдик, в GL речь идёт о повороте координат, поэтому-то считать координаты новых точек не надо, а как они будут располагаться относительно координат до поворота считать просто:
Х=х*cos - y*sin
Y=x*sin + y*cos при повороте вокруг Z