Нужно отсортировать от 10000 до 50000 строк и ко всему прочему оставить по одному экземпляру совпадающих строк.
Если, честно не представляю себе, как это сделать

Да, nesco, не злись но - Нет ничего более постоянного, чем временное! А хорошее, все же -- враг лучшего !