Уточнение: такое бывает только у кнопки, которая имеет фокус (пунктирная рамка на кнопке). Сделано это для того чтобы можно было нажимать кнопку клавиатурой. Достаточно перевести фокус на другой элемент.
Хотя у визуальных компонентов должно быть свойство TabStop, отвечающее за возможность получения фокуса элементом.