во! работает отлично! только теперь проблема в другом, для примера я взял прокси сервера, нашел на каком то форуме, целую базу, их там около 500 тысяч, я взял гдето тысячи 2-3, и софт зафис, но когда прогрузился, и начал удалять дубли, софт сново завис(
------------ Дoбавленo в 11.16:

что правда то правда, ну уж начал не стоит бросать.
------------ Дoбавленo в 11.18:
во прогрузился ну думаю нечего страшного если несколько тысяч программа обрабатывала несколько минут
------------ Дoбавленo в 11.19:
а программа обрабатывает по одному? или несколько сразу?