Блог

Я пытаюсь соскрести некоторые данные из Твиттера, но я получаю данные в виде скрипта, пожалуйста, помогите мне решить эту проблему, мне нужен HTML-контент из скрипта

 from bs4 import BeautifulSoup as bs4
from requests import get

def data(i):
    page='https://twitter.com/search?q=#{}amp;src=typeahead_click'
    page1=page.format(i)
    #print(page)
    load=get(page1)
    data=bs4(load.text,'html.parser')
    print(data)

    
i='JobseekersSA'
data(i)
 

Результат, который я получил, находится в скрипте, пожалуйста, помогите мне получить содержимое html.

К сожалению, Twitter теперь требует JavaScript. Хотя может быть способ получить данные в формате JSON, невозможно получить их в формате HTML без использования JavaScript или какого-либо другого скрипта, преобразующего эти данные в HTML. Данные, которые вы соберете, скорее всего, будут JSON. Я бы использовал инспектор и другие веб-инструменты современного браузера, чтобы увидеть, что все извлекается, искать файлы данных и где они находятся по отношению к исходной странице.