Создать ключ
HKEY_CLASSES_ROOT.<ext> (<ext> - имя вашего расширения)
затем в этом ключе задать значение по умолчанию
(Default)=<ext>file

Создать ключ
HKEY_CLASSES_ROOT<ext>fileshellopencommand
затем в этом ключе задать значение по умолчанию
(Default)=<Путь к программе> "%1"