Блог

Я хочу, чтобы все твиты постоянно записывались от пользователя. Для этого я написал простой скрипт на python, но проблема в том, что когда браузер открывает страницу и получает твиты из исходного кода страницы, он выдает только твиты с мертвой страницы. Мертвая страница означает, что мы не можем перемещаться по ней. Он показывает только запрошенный URL. Пользователи Twitter знают, что страницы являются динамическими. Таким образом, страница обновляется по мере ее удаления. Я хочу, чтобы Selenium сам по себе закрывал страницу и доводил твиты до конца.

это мой код :

 from selenium import webdriver
from bs4 import BeautifulSoup

driver_path = "C:\Users\Muhammd\Desktop\geckodriver.exe"

browser = webdriver.Firefox(executable_path= driver_path)
browser.get("https://twitter.com/ErhanErkut")
soup = BeautifulSoup(browser.page_source, 'html.parser')
tweets = [p.text for p in soup.findAll('p', class_ = 'tweet-text')]
for i in tweets:
    print(i)
 

Вместо этого я бы рекомендовал twitter API (обратите внимание на screen_name и количество):

 import twitter
api = twitter.Api(consumer_key='your-twitter app consumer key',
  consumer_secret='your secret',
  access_token_key='XXXX',
  access_token_secret='XXXXXX')

#print(api.VerifyCredentials())

tweets = api.GetUserTimeline(screen_name="ErhanErkut", count=20)

print(tweets)
 

Чтобы запустить вышеуказанную программу, сначала установите:

 pip install python-twitter
 

И после этого создайте twitter app https://developer.twitter.com/ .
В приложении Twitter вы можете видеть потребительские ключи и генерировать токены доступа.

Ссылка на API разработчика Twitter

Вы можете загружать большие данные с помощью Twitter API.