Эдик, движок я так понимаю это набор типизированых эффектов, физики взаимодействия, и так называемого AI игры. Что-то уже сделано из эффектов и физики, но мало применимо в играх.
Чтобы сделанное приспособить к играм необходимо сначала сделать 3D редактор заточенный под OpenGL.
Хотя-бы с минимальным набором функций, приминимых к любому 3D объекту.

flud, и получится как всегда, жёсткие ограничения накладываемые подобными библеотеками на качество и возможности картинки(при этом ничего нельзя исправить), несовместимость, необходимость таскать хвост из dll.
Начинаем делать 3D редактор , пусть я буду ответственным за эффекты.

А что имеется в виду под словами 3D редактор? Что туда будет входить?

3D редактор, может громко написано, а посути набор шаблонов эффектов в которые можно вставить свой объект и посмотреть как это выглядит, далее возможность скопировать в буфер обмена полученный код, и вставить в HiAsm. С физикой взаимодеиствия может что и получше получится, так-как в дисплейных списках все объекты имеет фиксированный номер, и можно задать массу, инерцию, скорость, гравитацию и тд. для каждого тела. Далее через некий физически движок организовать взаимодествие. К примеру поверхность имеет заданную(большую массу), надней подняли шарик(сообщив потенциальную энергию), далее шарик отпустили и шарик под действием гравитации падает на поверность.
В итоге если каждый объект будет знать что иму делать в 3D пространстве, тогда можно делать более сложный игровой движок.
3D редактор и нужен чтобы визуально настроить взаимодействие между объектами, пример сложности настройки в слепую(по параметрам) элемент частицы. Для отрисовки взаимодеиствия в редакторе можно заменить реальные объекты на условные, и выполнять манипуляции в 2D.

Есть физический движок Ньютон. Его можно попробовать прикрутить.