Извлечение всех репозиториев из github по определенной теме с использованием api v3

#python #json #api #github

#python #json #API #github

Вопрос:

Я пытаюсь получить данные всех репозиториев из GitHub по теме nodejs. Но в настоящее время у них есть ограничение на отображение только первых 1000 данных с нумерацией страниц по 30 репозиториев на каждой странице.

Я уже пробовал извлекать данные с помощью приведенного ниже кода.

 import requests


for i in range(1,50):
    try:
        url="https://api.github.com/search/repositories?q=topic:nodejsamp;page=" str(i)
        response=requests.request(url=url,method='GET')
        proj=response.json()
        data=get_data(proj)
    except Exception as e:
        print(e)
  

Здесь get_data() вызывается для получения внутренних данных репозитория в формате json.

Есть ли какой-либо обходной путь для прохождения этого ограничения в 1000 или другой способ получения репозиториев только для определенной темы?

PS: В настоящее время я использую search api.

Комментарии:

1. Использовать несколько токенов API?

2. Вы хоть представляете, сколько репозиториев размещено на GitHub? Вы говорите о тонне данных. Зачем вам это нужно?

3. Мне просто нужно только по теме nodejs, и я обнаружил, что на GitHub их около 60 тыс. И о том, что я работаю над проектом, ничего подозрительного.

4. @DroidX86 использование нескольких токенов API не помогает. GitHub предоставляет результат, возможно, используя LIMIT 1000 где-то в своем запросе. Речь идет не об ограничении скорости, а о получении большего результата.