Совершенно верно подчеркнули множество.
Параметры можно хранить разными способами: реестр, .ini, .xml, БД, вплоть до чего то своего. Также можно к примеру хранить в бинарном виде, или в каком то заумном шифрованном файле. Все зависит от специфики программы и фантазии самого программиста.
Утверждать что какой то один способ лучше всех - будет не разумно. Поскольку все способы имеют свои преимущества и недостатки. Рассматривать все плюсы и минусы не буду, поскольку сам далеко не все знаю.

Лично я не любитель реестра, он и без конфигурационных файлов забит разным "хламом", но все же отказываться полностью не стоит.
К примеру .ini удобен в случае переносимости, свои настройки всегда с собой. По сравнению с реестром не надо предварительно экспортировать параметры в .reg файл.
С другой стороны если для программы потребуется 100 .ini файлов, то тут более разумно воспользоваться реестром.
Еще один нюанс с учетными записями, в реестре более удобно реализовать настройки отдельно для каждого пользователя. Плюс, хоть и небольшая, но все же защита от несанкционированного доступа.
Можно даже в базах данных, а можно и в обычном .txt. Все зависит от того, что и в каком виде хранить.

В общем рассказывать и сравнивать можно долго. Поэтому рекомендую выучить все возможные способы, а уж потом исходя из специфики и нужд программы, выбрать один или комбинировать несколько наиболее подходящих.