Просто поставьте этот компонент (вкладка "Помощники") и скомпилируйте. Не забудьте очистить кэш иконок (или просто переименовать exe-шник после компиляции). Иконка будет такой, как первая иконка кнопки в окне отладки.

Причину я нашёл, дело в том, что иконкой программы становится первая иконка ресурсов. А если открыть программу, например, в проге Restorator (или другом просмотрщике ресурсов), то там первой иконкой будет DB1. Эти DB-шки использует окно компонента Debug.

На картинке видно, как я меняю первую иконку в ресурсах программы, и иконка программы меняется на неё.

Знач, что будем делать

Мне проще было поменять индексы иконок Debug. Сперва идём в \Elements\delphi\code, открываем db.res Ресторатором и меняем названия иконок на ZDB1, ZDB2, ZDB3. Сохраняем файл.

Затем открываем исходник компонента Debug (выделяем компонент и нажимаем Ctrl+F), там на 97-й строчке меняем код на:
,т.е. добавляем букву Z к названию ресурса. Это чтобы эти иконки ушли вниз по алфавитному порядку (и никакая другая интерпретация этой буквы! ). Сохраняем исходник.

Компилируем, очищаем кэш иконок.