Tad:
1) скачать сайт
2) вытянуть с него все ссылки
3) проверить каждую ссылку есть ли она в listurl.txt
4) если нет - добавить туда
5) если есть такая же или похожая - удалить её из listurl.txt
6) повторить с п.1