Блог

Справочная информация: я пытаюсь создать фрейм данных, используя данные, вызываемые из API Twitch. Они допускают только 100 записей на вызов, поэтому при каждом извлечении предлагается новый курсор разбиения на страницы, чтобы перейти к следующей странице. Я использую следующий код, чтобы попытаться эффективно извлечь эти данные, а не вручную настраивать after=(значение разбивки на страницы) в ответе get . Прямо сейчас переменная, которую я пытаюсь сделать динамической, — это переменная «Разбивка на страницы», но она обновляется только после завершения цикла — бесполезно! Посмотрите ниже и посмотрите, заметили ли вы что-нибудь, что я могу изменить для достижения этой цели. Любая помощь приветствуется!

 TwitchTopGamesDataFrame = [] #This is our Data List                    
BaseURL = 'https://api.twitch.tv/helix/games/top?first=100'
Headers = {'client-id':'lqctse0orgdbs5gdf5faz665api03r','Authorization': 'Bearer a1yl09mwmnwetp6ovocilheias8pzt'}
Indent = 2
Pagination = ''
FullURL = BaseURL   Pagination
Response = requests.get(FullURL,headers=Headers)
iterations = 1 # Data records returned are equivalent to iterations x100

#Loop: Response, Convert JSON data, Append to Data List, Get Pagination amp; Replace String in Variable - Iterate until 300 records
while count <= 3:
    #Grab JSON Data, Convert, amp; Append
    ResponseJSONData = Response.json()
    #print(pgn) - Debug
    pd.set_option('display.max_rows', None)
    TopGamesDF = pd.DataFrame(ResponseJSONData['data'])
    TopGamesDF = TopGamesDF[['id','name']]
    TopGamesDF = TopGamesDF.rename(columns={'id':'GameID','name':'GameName'})
    TopGamesDF['Rank'] = TopGamesDF.index   1
    TwitchTopGamesDataFrame.append(TopGamesDF)
    #print(FullURL) - Debug
    #Grab amp; Replace Pagination Value
    ResponseJSONData['pagination']
    RPagination = pd.DataFrame(ResponseJSONData['pagination'],index=[0])
    pgn = str('amp;after=' RPagination.to_string(index=False,header=False).strip())
    Pagination = pgn
    #print(FullURL) - Debug
    iterations  = 1
TwitchTopGamesDataFrame```
  

Понял это:

 def top_games(page_count):
    from time import gmtime, strftime
    strftime("%Y-%m-%d %H:%M:%S", gmtime())
    print("Time of Execution:", strftime("%Y-%m-%d %H:%M:%S", gmtime()))

    #In order to condense the code above and be more efficient, a while/for loop would work great.
    #Goal: Run a While Loop to create a larger DataFrame through Pagination as the Twitch API only allows for 100 records per call.

    baseURL = 'https://api.twitch.tv/helix/games/top?first=100' #Base URL
    Headers = {'client-id':'lqctse0orgdbs5gdf5faz665api03r','Authorization': 'Bearer a1yl09mwmnwetp6ovocilheias8pzt'}
    Indent = 2
    Pagination = ''
    FullURL = BaseURL   Pagination
    Response = requests.get(FullURL,headers=Headers)
    start_count = 0
    count = 0 # Data records returned are equivalent to iterations x100
    max_count = page_count

    #Loop: Response, Convert JSON data, Append to Data List, Get Pagination amp; Replace String in Variable - Iterate until 300 records
    while count <= max_count:
        #Grab JSON Data, Extend List
        Pagination
        FullURL = baseURL   Pagination
        Response = requests.get(FullURL,headers=Headers)
        ResponseJSONData = Response.json()
        pd.set_option('display.max_rows', None)
        if count == start_count:
            TopGamesDFL = ResponseJSONData['data']
        if count > start_count:
            i = ResponseJSONData['data']
            TopGamesDFL.extend(i)
        #Grab amp; Replace Pagination Value
        ResponseJSONData['pagination']
        RPagination = pd.DataFrame(ResponseJSONData['pagination'],index=[0])
        pgn = str('amp;after=' RPagination.to_string(index=False,header=False).strip())
        Pagination = pgn
        count  = 1        
        if count == max_count:
            FinalDataFrame = pd.DataFrame(TopGamesDFL)
            FinalDataFrame = FinalDataFrame[['id','name']]
            FinalDataFrame = FinalDataFrame.rename(columns={'id':'GameID','name':'GameName'})
            FinalDataFrame['Rank'] = FinalDataFrame.index   1
    return FinalDataFrame