Как можно ограничить пользователя, чтобы не смог заливать фон треугольника, и как заставить заливать маленькие треугольники по часовой стрелки начина с конкретной.

Вот схема:
http://forum.hiasm.com/forum_serv.php?q=56&id=3818

esc, два варианта:
1. Создать такой же рисунок (в элементе Bitmap) и разрисовать треугольники в цвета. К примеру фон в красный (255) при попытки пользователя залить фон, по тем же координатам смотрите цвет пикселя в вашем Bitmap-e и если он красный (255), то не производите заливку. Так же и с маленькими треугольниками.
Небольшой пример: test_01.sha (заливка фона блокируется)

2. Создать регионы (вкладка ОкноРегионы) и проверять по регионам. Элемент RGN_PointXY (Проверка нахождения точки в регионе) вам в помощь.
Небольшой пример:test_02.sha(запрещено заливать фон и необходимо вначале залить маленький прямоугольник)