Количество активных соединений нельзя так определять. Нужно просто достаточно большой буфер передавать.
Скорее всего первый RasEnumConnections вернул ошибку, и bufsize остался равным нулю, на что обиделся GetMem.