Это если установка производится средствами дельфей. CoGetMalloc, которому передаётся адрес переменной, и понятия не имеет, что она уже инициализирована, и тем более, что это переменная дельфячая. Но это к вопросу об утечке памяти, а не хендлов, потому как ...

А вот это странно. Значит где-то ещё косяк.