Действительно есть софт для управления жестами с помощью цветной перчатки ...
Но тут другой случай ...

Существует действующая софтина для айфона ...
http://4pda.ru/forum/index.php?showtopic=621163
Думаю все дело в низком расположении камеры как результат отслеживается зазор между пальцами и бумагой плюс работает "датчик движения" отслеживая только движущиеся объекты ...
Зы
"Датчик движения" я уже "худо бедно" но сделал ...
Так что проблема в распознавании маркеров .
Сейчас на телефоне есть софтина читающая QR-кдоды под любым углом на растении около метра так что не думаю что распознать изображение клавиш слишком сложно ...