Приветствую уважаемое сообщество!
Так давно не "хиасмил", ни чего не помню (
Есть такая задача - мониторить прдвижение файлов.
На сайте несколько миллионов картинок. Каждая имеет идентификатор и принадлежит определенному автору. Есть внутренний поиск. Задача отследить место картинки в общем массиве по конкретному поисковому запросу.
Как это вообще сделать?
Этот топик читают: Гость
Ответов: 212
Рейтинг: 2
|
|||
карма: 0 |
|
Ответов: 8926
Рейтинг: 823
|
|||
inter1,
Сказка писал(а): Пойди туда, не знаю куда, принеси то, не знаю что!Вот и выложите эту страничку, указав, а что же искать, может кто-либо и ответит |
|||
карма: 19 |
|
Ответов: 212
Рейтинг: 2
|
|||
Леонид, спасибо за ответ!
Вот так выглядит ссылка выдачи: https://www.shutterstock.com/ru/search/saw?image_type=vector , где "saw" - поисковый запрос, а "vector" - категория картинок. Картинка, например, вот эта: https://image.shutterstock.com/z/stock-vector-flat-vector-icon-of-circular-saw-with-steel-toothed-disc-electric-hand-tool-for-cutting-wood-or-1143425534.jpg Где "1143425534" - идентификатор картинки. Суть вот в чем: есть колоссальных размеров массив картинок. Среди них есть и, например, мои. Я надеюсь отслеживать динамику позиций моих работ. |
|||
карма: 0 |
|
Ответов: 212
Рейтинг: 2
|
|||
Мне нужна хотя бы общая концепция с указанием компонентов; просто словесная схема. Я в теме интернета никогда не хиасмил, подтолкните увольня, друзья
|
|||
карма: 0 |
|
Ответов: 16884
Рейтинг: 1239
|
|||
inter1 писал(а): Задача отследить место картинки в общем массиве по конкретному поисковому запросу.2. Место картинки в массиве картинок, выводимых по конкретному поисковому запросу, зависит от числа просмотров данной конкретной картинки (рейтинга). 3. Отправляешь запрос по тематике своей картинки и тупо считаешь номер её места. |
|||
карма: 25 |
|
Ответов: 212
Рейтинг: 2
|
|||
Tad писал(а): inter1 писал(а):
Задача отследить место картинки в общем массиве по конкретному поисковому запросу. 1. Место картинки в общем массиве картинок в БД неизменно. 2. Место картинки в массиве картинок, выводимых по конкретному поисковому запросу, зависит от числа просмотров данной конкретной картинки (рейтинга). 3. Отправляешь запрос по тематике своей картинки и тупо считаешь номер её места. Tad, все так, да не так (мягко говоря, конечно). 1. Место в БД не имеет значения. 2. Место в массиве (в конкретном случае) ориентировано на рейтинг файла, но не привязано к числу просмотров, а управляется крайне сложным механизмом. 3. На сайте миллионы картинок, и искомая может быть в конце списка.Ее поиск в ручном режиме не реален. --- Рейтинг постоянно меняется, алгоритм его высчитывания - тоже. Мои картинки продвигаются к топу (или от него) в рамках неясной, неизвестной динамики. Имей я ежедневные показатели рейтинга картинок, я бы имел данные о развитии всего портфолио, мог бы вносить результативные корректировки в работу. Как можно внести в программу поисковый запрос и идентификатор картинки и получить результат,например: место 627. Еще лучше - внести запрос, а программа пробежала по всему массиву (или первые 100 страниц) и выявила места всех картинок автора. Ну хоть что-то. Просто не знаю, с чего начать. Готовых схем не прошу, хотя бы принцип и компоненты. |
|||
карма: 0 |
|
Ответов: 16884
Рейтинг: 1239
|
|||
inter1 писал(а): получить результат,например: место 627https://image.shutterstock.com/z/stock-vector-flat-vector-icon-of-circular-saw-with-steel-toothed-disc-electric-hand-tool-for-cutting-wood-or-1143425534.jpg
Редактировалось 3 раз(а), последний 2020-04-26 16:39:56 |
|||
карма: 25 |
|
Ответов: 1926
Рейтинг: 172
|
|||
Tad писал(а): Нет здесь даже намека на то, что тебе нужно.Tad, очевидно, имелась в виду страница https://www.shutterstock.com/ru/search/saw?image_type=vector. Там примерно такого вида код:
inter1, теоретически, схема во вложении выдаст ссылки по порядку на странице: Останется только подсчитать. "Теоретически" - потому, что shutterstock в любой момент может поменять блоки запроса, по которым программа ищет (типа <script data-react-helmet="true" type="application/ld+json">) или даже сделать динамическую подгрузку картинок (когда новые появляются на странице по мере прокрутки страницы). Вот поэтому я стараюсь не связываться с парсингами сайтов, по крайней мере, в долгосрочной перспективе. |
|||
карма: 9 |
| ||
файлы: 1 | shu.rar [576B] [419] |
Ответов: 16884
Рейтинг: 1239
|
|||
3042 писал(а): Tad, очевидно, имелась в виду страница https://www.shutterstock.com/ru/search/saw?image_type=vector.Там примерно такого вида код: И всего-то Нужен доступ с БД картинок. Своими хакерскими навыками делиться не буду. Редактировалось 1 раз(а), последний 2020-04-26 18:44:58 |
|||
карма: 25 |
|
Ответов: 212
Рейтинг: 2
|
|||
3042 писал(а): Tad писал(а):
inter1, теоретически, схема во вложении выдаст ссылки по порядку на странице: Останется только подсчитать. "Теоретически" - потому, что shutterstock в любой момент может поменять блоки запроса, по которым программа ищет (типа <script data-react-helmet="true" type="application/ld+json">) или даже сделать динамическую подгрузку картинок (когда новые появляются на странице по мере прокрутки страницы). Вот поэтому я стараюсь не связываться с парсингами сайтов, по крайней мере, в долгосрочной перспективе. 3042! Отлично! Спасибо! То есть, программа выдает ссылки всех превьюшек страницы? Этого достаточно, нужное отфильтрую. А как перескакивать на следующую страницу? Что касательно изменений на shutterstock, то да. Но, война - есть война: воюем в действительной тактической обстановке. Изменится обстановка, изменим тактику. --- Добавлено в 2020-04-26 20:32:51 Tad писал(а): 3042 писал(а):
И всего-то... Все страницы не нужны, интересуют первые 50-100. Tad писал(а): 3042 писал(а):
Нужен доступ с БД картинок. Своими хакерскими навыками делиться не буду. Думаю, и не нужно: слишком невысока цена вопроса. Редактировалось 1 раз(а), последний 2020-04-26 20:32:51 |
|||
карма: 0 |
|
Ответов: 212
Рейтинг: 2
|
|||
В общем,очень медленный и странный механизм получился, но рабочий!
Вначале я даже лучше сделал: программа проходила по каждой ссылке на странице выдачи и получала имя автора. Затем я собирался сверять его с заданным именем. Так я мог узнать места всех картинок автора по конкретному запросу в отведенном количестве страниц. Но это оказалось непосильной задачей для меня и моего USB-модема. Пришлось отказаться от задумки и упростить задачу. Сейчас все работает так: ввожу поисковый запрос, ввожу ID картинки и программа ищет( а главное - находит) позицию файла. Теперь я знаю на каком месте в рейтинге моя картинка по конкретному поисковому запросу. Одно только плохо - зависает и глючит: после обработки 1-2-х страниц зависает (не отвечает) пока не выполнит все поставленные задачи. В конце, отработав цели и выдав результат, выдает ошибку. Знаю, здесь много увлеченных и неравнодушных, взгляните на это:
--- Добавлено в 2020-05-04 22:35:53 Там много пояснительных подсказок, чтоб было проще разобраться. Механизм совсем небольшой. Редактировалось 3 раз(а), последний 2020-05-04 22:35:53 |
|||
карма: 0 |
|
Ответов: 16884
Рейтинг: 1239
|
|||
inter1 писал(а): Механизм совсем небольшой.
Редактировалось 1 раз(а), последний 2020-05-05 13:16:47 |
|||
карма: 25 |
|
Ответов: 9906
Рейтинг: 351
|
|||
Tad, я не понял смысл твоего поста.
Как было кольцевание, так и осталось. |
|||
карма: 9 |
|
Ответов: 16884
Рейтинг: 1239
|
|||
Увидел...
|
|||
карма: 25 |
|
Ответов: 212
Рейтинг: 2
|
|||
Tad, спасибо! Это шикарно!
|
|||
карма: 0 |
|