Возможно что ошибка была уже при создании этих "огромных" файлов, если бы в общей БД хранились hash'ы всех строк, то не надо было бы городить весь этот цирк. Просто перед записью новой строки проверять её наличие в таблице и принимать решение о добавлении в файл. но автору виднее однако - создаём себе трудности и героически их преодолеваем (чужими руками).