Блог

Я пытаюсь использовать Tweepy API Twitter для быстрого и масштабируемого сканирования и хранения данных Twitter. Меня больше всего интересуют отношения подписчика / подписчика. Есть ли у меня способ добиться этого быстрее, чем я сейчас? Похоже, что с 15-минутным периодом обновления я могу хранить только, возможно, дюжину подключений за 15 минут. tweepy.Строка курсора, похоже, является узким местом.

 for iters in range(20):
    nameSearching = namesToSearch[0]
    print("getting followers of "   nameSearching)
    for id in tweepy.Cursor(api.followers_ids, screen_name='elonmusk').items(bfs_value):
        print(id)
        ids.append(id)
    print("ids loaded")
    namesToSearch.pop(0)
    nodeSearching = nodemap[nameSearching]