Надо же. FPC-32 в среднем на том же уровне что новый Delphi-32, а FPC-64 обгоняет Delphi-64. Я у себя тестировал - у меня FPC одинаково проигрывал всем Delphi, а старый Delphi 4 и новый Delphi XE8-32 показывали одинаковые результаты.
В целом в кодах компонентов используются некоторые оптимизации под разные компиляторы по результатам тестирования, позволившие в некоторых случаях заметно ускорить FPC.

Ускорить алгоритм Serpent у меня никак не получилось. В референсной имплементации, насколько я помню, там раундовые процедуры вообще были развернуты внутри основных процедур шифрования/дешифрования. С какой скоростью оно в оригинале работало - не знаю. Хотя может я неудачную реализацию портировал: вроде, есть ещё какая-то на основе таблиц.