Ага, я тоже такое искал. Есть библиотека FGInt на Delphi для этого, но никто ещё не портировал для HiAsm. Нужно сделать несколько компонентов для такой математики - арифметика (в т.ч. генерация случайных простых чисел), сравнение (в т.ч. проверка на простоту), конвертация в/из строку/HEX/BIN.
С другой стороны, схема RSA у нас реализована, если надо.