Wkalik, в твоем примере results.publickey_mod, results.publickey_exp - это поля объекта, который получается из сайта по запросу скрипта. Если не ошибаюсь, это - публичный ключ. Его назначение - зашифровать пароль (form.elements['password'].value) и отправить результат на сервер. Сервер имеет соответствующий закрытый ключ и сможет дешифровать пароль.
Нужно выяснить, как работает метод RSA.getPublicKey и RSA.encrypt, вероятно, это можно повторить компонентами вкладки "Криптография".