Буквально вчера или позавчера nesco кому-то показывал, как фильтровать повторы на этапе сканирования.
Помоему тема Здравствуйте, нужна помощь(парсер) посмотри там