"на прямую" работать не надо. Например xls и doc - это файлы Мелкософт-Офиса, а офисов этих уже пруд пруди (я имею ввиду версий). Так что формат файла, мало того, что закрытый, он ещё и разный.
С rtf работает RichEdit, в достаточной степени "на прямую". Для баз данных есть ADO, причём уже на любом компьютере с виндой. А xml - это текст, хотя компонент тоже можно было бы сделать, xml - это всё-таки уже стандарт.