Увеличивается как? Постоянно растет? У меня вырастает суммарно примерно на 2 размера последней загруженной картинки. В текущей реализации, по-моему, так и должно быть: в ImageLoader метода doClear нет, поэтому он хранит последнюю загруженную картинку до конца. Кроме того, после отрисовки картинки на Image она тоже размещается где-то в памяти.