Мой последний пример видели? На крайний случай отдельный порт под клиентсервер, настроенные на текстовые данные, т.к. динамически тип не переключить, а с потоками у Вас, говорите, какая-то проблема.

А вообще Вы бы сделали одну маленькую схему, по примеру моих. Клиент и сервер на одном поле, связь через localhost. Оставьте ТОЛЬКО то, что "не работает", там явно не более десятка элементов будет.
------------ Дoбавленo в 08.50:
Попробовал разобраться у Вас там (клиент 291 элемент, сервер 724 ), нет, уж будьте добры, только "нерабочий" кусок в студию. Цепочкой из одиночных элементов: одна кнопка, один дешифратор индекса в канал, один распаковщик потока, один TCP клиент, один сервер, один упаковщик... ну, Вы поняли. Не исключаю, что в процессе упрощения Вы и сами найдёте свою ошибку. Я догадываюсь, в чём она, но пока подожду более адекватного примера Вашего кода.