На данный момент не смогу проверить схему с движком Gecko, потому могу лишь предполагать и советовать. Проверьте передаётся ли истиный handle окна скриншутеру, не нулевые ли размеры. И вы так и не ответили, нормально ли работает модифицированный браузер в простейших схемах.

Ну и последнее предположение, которое мне пока не проверить на практике, новый движок мозиллы поддерживает аппаратное ускорение графики, есть ничтожный шанс, что там отрисовка идёт не в плоскости GDI, а, например, в оверлее. Скриншутер в таком случае будет "снимать" лишь прямоугольник с ключевым цветом оверлея. Ещё раз отмечу, что требует проверки.