Tad, а между строк
"в 1 файле повторов нет" --- внутри файла строки не повторяются.
"в 10 файлах может быть по 2 и более повторов" --- в разных файлах могут быть одинаковые строки, все их надо удалить, кроме одной.
Отсюда и алгоритм.
(А коллеге Rysik-у простительно, он и в 16 лет не совсем ясно выражал свои мысли, в 21 уже не исправишь )