sla8a, предполагаю что все биты в буфере должны быть оправданы, откуда взялось значение 255 бит в маске сравнения(GL_StencilFunc), это что с чем надо складывать(вычетать,умножать) чтобы получить 255. Возможно причина в значении буфера 8 бит в (GL_Main). Поэтому лучше все значения по возможности приводить к значениям 1 и 0.