Хорошо, поработаю с этим MemoryStream.
Насчет преобразования байтов: В принципе можно ускорить алгоритм, но все-равно, даже увеличение скорости вчетверо(до 20кб/сек) слишком мало. Копать надо именно в сторону кеша, т.к. побайтовый доступ к файлу слишком медленный.