первый вопрос: написал парсер для html документа - http://hiasm.com/xf/attach/share/Havij%20Mail%20Parser.zip
Но в него загружаются только страници с небольшим количеством информации, большая же страница грузится только отчасти, а если точнее только начала самого кода вплоть до заголовка таблици, тоесть даже меньше чем загружается от страници с малым количеством информации.

И второй: хочу сделать чтобы удалялись одинаковые записи, перепробовал пару вариантов но ничего не получилось(( Может кто подскажет?

P.S.
Видел, что на форуме меня кто то обозвал спамером, из-за того что я взялся делать парсер еmail-ов. Сразу, что бы раставить все точки над "и", я спамером не являюсь, просто начинать с чего то надо было изучение hiasm (а изучать всегда проще когда определился с тем, что тебе надо получить, покрайней мере мне) а парсер мне показался более простым с чего можно начать.

"Тут на форуме кто-то обозвал меня вирусоклепателем, чтобы расставить все точки над "ё", вирусоклепателем я не являюсь, просто надо было с чего-то начинать изучение ассемблера, а регистрация сотни подставных мобильных номеров для сбора денег, блокировщик и руткит-загрузчик в нулевом кольце защиты ядра показались мне наиболее простым, с чего можно начать."

Сравнил блин
Короче каждый остался при своем мнении
_____________________________________________________

Объясните пожалуйсто, почему так идет загрузка html страници?

_SG_, Я уже говорил ранее, совершенно неправильный подход, схему переделывать полностью. Парсеров (ключевое слово) на форуме сотня, раз в одну-две недели новый вырастает, хотя бы соседними ветками поинтересовались, что ли.

Редактировалось 1 раз(а), последний 2017-03-03 16:58:24

Большая -- это сколько?

Редактировалось 1 раз(а), последний 2017-03-03 16:58:25

[offtop]
Оскорбления и сообщение не по теме (не в первый раз), освобождён на 5 дней.[/offtop]

короче html страница в 600(17 kb) строк нормально грузится а в 17 000(530 kb) не загружается вобще.

MTU никто не отменял. В интернете все грузится кусочками. Эти кусочки надо собирать посредством накопления в буфере

Парсер не парсит сразу с интернета, он парсит уже скачанную страницу, точнее эта страница, явлеется отчетом программы.

_SG_, ну и выложите эту уже скаченную страницу для анализа: а почему эти "кусочки" сохранились?
(Или не хочется раскрывать карты?)

Как он может ее парсит всю, когда сам же писал

Вот пример)))

code_24727.txt



Я имел ввиду в список не загружается.

А каким способом скачиваете страницы?
А вы уверены что страница полностью загружена а не кусочек?