Тут, видимо, функция Assign из KOL не понимает большого разрешения для создания буфера для картинки. Выход: писать это дело самому под структуру DIBBitmap, те, не таскать эту картинку туда-сюда, а работать с ее образом памяти по наикратчайшему пути, минуя различные ненужные преобразования