Объясните, если кто знает, почему так происходит?

Есть 2 схемы клиент и сервер
1. Запускаем Сервер
2. Запускаем клиент, нажимаем кнопку 3, сервер отвечает, нажимаем кнопку 2 сервер отвечает, все хорошо
3. Перезапускаем клиент, нажимаем кнопку 2, сервер молчит, нажимаем кнопку 3 сервер тоже молчит... непонятно почему...
4. Самое интересное Снова перезапускаем клиент. Нажимаем кнопку 1, тем самым открывая порт своего сервера, который никак не будет использоваться(даже порт другой поставил)
Нажимаем кнопку 2, и о чудо наш основной сервер отвечает, нажимаем кнопку 3, сервер тоже отвечает

Вопрос: Почему сервер не отвечает в пункте 2?