#python #json #api #github
#python #json #API #github
Вопрос:
Я пытаюсь получить данные всех репозиториев из GitHub по теме nodejs. Но в настоящее время у них есть ограничение на отображение только первых 1000 данных с нумерацией страниц по 30 репозиториев на каждой странице.
Я уже пробовал извлекать данные с помощью приведенного ниже кода.
import requests
for i in range(1,50):
try:
url="https://api.github.com/search/repositories?q=topic:nodejsamp;page=" str(i)
response=requests.request(url=url,method='GET')
proj=response.json()
data=get_data(proj)
except Exception as e:
print(e)
Здесь get_data()
вызывается для получения внутренних данных репозитория в формате json.
Есть ли какой-либо обходной путь для прохождения этого ограничения в 1000 или другой способ получения репозиториев только для определенной темы?
PS: В настоящее время я использую search api.
Комментарии:
1. Использовать несколько токенов API?
2. Вы хоть представляете, сколько репозиториев размещено на GitHub? Вы говорите о тонне данных. Зачем вам это нужно?
3. Мне просто нужно только по теме nodejs, и я обнаружил, что на GitHub их около 60 тыс. И о том, что я работаю над проектом, ничего подозрительного.
4. @DroidX86 использование нескольких токенов API не помогает. GitHub предоставляет результат, возможно, используя LIMIT 1000 где-то в своем запросе. Речь идет не об ограничении скорости, а о получении большего результата.