Rysik, Если выложиш пример маленьких файликов, и схему раздумий, то можно дальше ускорять.
А так, можно сделать перебор всех строк во всех файлах. + подключить БД. Расчитываеш хеш строки и проверяеш есть такой хеш в таблице БД или нет. Если нет - добавляеш и переносиш строку в новый файл, иначе пропуск
Удачи