На библиотеку должна быть документация с примерами на каком-либо языке программирования. Тогда её можно будет без проблем использовать в HiAsm.

Если такого нет, а есть только готовый продукт на базе DLL, то обратный инжиниринг требует специалистов максимально высокого уровня.

Для начала можно посмотреть названия экспортируемых библиотекой функций. А по ним - поискать готовые примеры.