Не понятна задача.
Допустим мы не строки сравниваем, а слова в каждой строке.
Делаем словарь. https://yadi.sk/d/hVY_IR-G-9jAHA
Каждому слову соответствует своя числовая переменная, или делаем таблицу.
Сканируем все строки на совпадение последовательно с каждым словом и инкрементируем соответствующую переменную.
Это можно делать параллельно.
Вообще это называется частотностью, если применительно к словам, а грубо - статистика.