М.Двач / Программирование

52 Кб, 558x473
Парсер-долбоеб тред 18 мар, 17:44 3411066 В конец треда | Веб

Суп, /pr/
На днях решил таки пропарсить кинопоиск при помощи скрипта на питоне
Через requests кидает на капчу (даже с подменой юзер-агента), желания пользоваться selenium нет (оставляю как запасной вариант)
Собсна, вопрос: можно ли каким-либо образом наебать антибота КП при помощи кастомного хедера, и если нет, то есть ли бесплатные сервисы/библиотеки, решающие капчи с нажатием на галочку "Я не робот"?
Всем заранее чаю
Пикрандом

2 18 мар, 23:48 2 3411279

Хз, как сейчас с этим обстоит, но в начале 2022 я пользовался https://github.com/VeNoMouS/cloudscraper . Хотя я помню, что его надо было периодически обновлять, чтобы не отваливалось, а проект уже джва года заброшен, но попробуй, там интерфейс повторяет requests.

Если тебе разово сделать, например, выкачать все за день, а не пускать в длительную работу с требованиями надежности, то просто достань хэдеры из браузера. F12 - Copy as curl, тебя интересуют поля -H (useragent, cookies и referrer), но можешь прям все скопировать на всякий случай. В requests подсовываешь словарь с хэдерами при создании сессии, дальше работаешь как обычно.

Ответы334

3 19 мар, 02:25 3 3411334

>>3411279
Спасибо тебе, анонче
Сейчас попробую изучить данное счастье
На досуге еще потупил в код страницы и заметил прослушку на ивент клика
Так что в итоге тут либо селениум, либо угон сессии у себя же (как ты и предлагаешь), но поскольку это планируется в долгосрок, придется, похоже, пользоваться селениумом
В любом случае, за наводку спасибо, мб прокатит

Обновить тред

« /pr/В начало тредаВеб-версияНастройки

/a//b//mu//s//vg/Все доски

Скачать тред только с превьюс превью и прикрепленными файлами

Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах.Подробнее

Пользуетесь скринридером — пишите, что можно улучшить.
Host-Food.ru — надёжный хостинг от 12 руб/мес | Free DNS
Зеркала М.Двача: m2ch.hk, m2ch.gq, m2ch.cf, m2ch.fapp.in, m2ch.lib, m2chfapiswfw2wcakptqp4o6ltgchvjuxfab7urxlduraomtlnhw5xad.onion