К тому.
Неподключенные компоненты меняют размер программы.
На код инициализации элемента - он не пустой. Независимо от визуальности.
Грубо говоря - конструкторы классов вовсе не пустые.
Просто для визульного элемента это не просто рассуждения - их еще и видно.
Подключенные точки - добавляют (если они еще не добавлены другими элементами) коды вызываемых методов.

Кстати, имейте ввиду - приведенная Вами разница в 512 байт, не есть объективный показатель. Винда хранит exe-шники блоками по 512 байт. У Вас 101-100 блоков