ODBC и OLEdb базами данными не являются - это лишь способы доступа к другим базам. Выбор между остальными вариантами зависит от задачи: для хранения настроек сойдёт ini, для хранения табличной информации - SQLite, MSSQL либо MySQL.

SQLite хорош для тех случаев, когда доступ к данным в каждый конкретный момент нужен одному человеку (процессу) на одном компьютере. Для его работы не надо устанавливать никаких дополнительных программ (сервер БД).

MySQL и MSSQL хороши для задач, когда требуется одновременный доступ нескольких человек (процессов) к данным, в том числе - и с разных компьютеров. В этом случае необходимо установить сервер базы данных (специальная программа, работающая в фоновом режиме).