Подскажите пожалуйста.
При переборе всего списка(500-1000 строк) спарсенные данные не заносятся в таблицу.Если строк 10-20 все прекрасно работает.Как это можно победить.
code_35999.txt

Udokanec, уверены, что за 10 сек запрашиваемое всегда найдётся, скачается Попробуйте переходить по окончанию процесса
code_36000.txt

Ну не 500-1000, а более 3000 ссылок.
Udokanec, потом расскажешь - за сколько часов скачал все названия книг в библиотеках.
code_36001.txt
или суток.
Всё ж таки больше миллиона книг.
Ну и выбросил всё лишнее.

Так я пробовал из файла загружать если строк 10-20 то все нормально.Если больше то никак.

Вот у меня прога крутится уже 25 минут - 5000 уже в таблице.

Tad
code_36001.txt error
Без перебора 3500 книг за 5 сек.А тут точно несколько часов или суток будет.Не потому пути наверно иду.Как ускорить.

Error не может быть. Пробуй ещё раз.

Tad
code_36001.txt да вот так работает.А все-таки как ускорить перебор.

Определиться какой жанр тебя интересует и качать только его, а не всю библиотеку.
А ещё лучше - залезть в их БД.

Tad
Так это не вся билиотека а только альтернатива.Заливал всю библиотеку на свой сервер и его уже парсил на все про все 5-7 сек.Да незадача.
------------ Дoбавленo в 18.04:
Всего 3127 книг а как долго грузятся

Это потому, что тебя заинтересовал размер.

Редактировалось 3 раз(а), последний 2025-01-09 07:16:04

Немного ускорил (~ до 30 минут на всё)
code_36002.txt

Tad, опять трудности с доступом

Нет. Просто был на море до 20:30.
А "г. Перебой" - это не хотел, чтобы был "код" вместо "code_36002.txt"
Вот вроде выжал вроде всё Библиотека.rar

Завтра попробую уменьшить обрабатываемый блок.