Специально проверил, что вы тут натворили. Муть получилась изрядная.

Внимательно читаем описание флагов


Что означает, если такого пути или файла нет, то диалог не создасться вообще.

Смотрим ситуацию с таким вариантом (флаг OSPathMustExist установлен)
Crogram Files -- диалог не создается вообще
Crogram Files -- диалог создается и Program Files пропихивается в диалог как имя файла (на кой черт он там нужен ???)

Подход должен быть совсем другой -- диалог должен создаваться всегда (флаг OSNoValidate вернуть на место), а вот FOpenDialog.Filename должен быть равен пусто, если это папка и на выход и в диалог не попадать