#python #html #web-scraping #python-webbrowser
#python #HTML #веб-очистка #python-webbrowser
Вопрос:
Я новичок в веб-скрапинге, и это довольно сложно
Поэтому я пытаюсь получить данные с веб-сайта, где есть селекторы (категории), которые не являются реальной кнопкой
Моей первой идеей было изменить локальное хранилище, действительно, когда я меняю категорию, локальная переменная хранилища также изменяется
print(driver.execute_script("localStorage.getItem('images_channels')")) с помощью Selenium, но не работает
Есть идеи?
Комментарии:
1. Я сомневаюсь, что изменение локального хранилища многое даст. Можете ли вы видеть данные при загрузке страницы или вам нужно щелкнуть что-нибудь, чтобы получить данные?
2. Я должен нажать на селектор категорий, но класса кнопок нет, поэтому я пытаюсь пройти через локальное хранилище imgur.com/a/oUAHGaX
3. Данные звучат так, как будто они загружаются динамически с использованием javascript. Попробуйте использовать инструменты разработчика вашего браузера и посмотрите на вкладку «Сеть» для вызовов XHR, тогда вы сможете это исправить.
4. Но выбор категории не «сбрасывается» при обновлении?
5. И да! Я вижу результат в XHR, но проблема в том, как его получить (правильный номер страницы, правильная категория)