Ну я использую listurl.txt для хранения уже проверенных ссылок. Каждую проверенную ссылку он сохраняет в этот файл. Ну а потом по этому файлу, сравнивает новые "спарсенные" ссылки сравнивая их с ссылками из listurl.txt . Методом перебора удаляет похожие из списка "спарсенных" ссылок. И после проверки выдает одну ссылку на проверку, после проверки круг замыкается.