Не, я не ругаюсь, я замечание делаю.

В программировании не силен и помочь врядли чем смогу, но некоторые наблюдения опишу.

Для начала - пустая форма жрет память. Попробуйте пустую форму подвигать, поклацать, свернуть, развернуть ... И Вы увидите как память увеличивается на несколько кб.

Второе попробуйте для веса в TCPServerEX вложить 1мбайт далее переключайте клиентов и вы увидите, что память меняется в двух направления.
Тоесть увеличивается и уменьшается.

Наверное проблема не в TCPServerEX
------------ Дoбавленo в 19.02:
Самое главное чтобы память уменьшалась, пусть даже не до исходного состояния.

... в исходном состоянии 1мб, при конекте клиентов 10мб, при отключении клиентов возвращалась к 2мб и держала их, даже спустя год- два беспрерывной работы.