Блог

Фон и код

У меня есть приведенная ниже функция для обработки ограничения скорости в API V2 Twitter на основе кодов состояния HTTP.

 from datetime import datetime
from osometweet.utils import pause_until

def manage_rate_limits(response):
    """Manage Twitter V2 Rate Limits
    This method takes in a `requests` response object after querying
    Twitter and uses the headers["x-rate-limit-remaining"] and
    headers["x-rate-limit-reset"] headers objects to manage Twitter's
    most common, time-dependent HTTP errors.
    Wiki Reference: https://github.com/osome-iu/osometweet/wiki/Info:-HTTP-Status-Codes-and-Errors
    Twitter Reference: https://developer.twitter.com/en/support/twitter-api/error-troubleshooting
    """
    while True:

        # The x-rate-limit-remaining parameter is not always present.
        #    If it is, we want to use it.
        try:
            # Get number of requests left with our tokens
            remaining_requests = int(response.headers["x-rate-limit-remaining"])

            # If that number is one, we get the reset-time
            #   and wait until then, plus 15 seconds (your welcome Twitter).
            # The regular 429 exception is caught below as well,
            #   however, we want to program defensively, where possible.
            if remaining_requests == 1:
                buffer_wait_time = 15
                resume_time = datetime.fromtimestamp( int(response.headers["x-rate-limit-reset"])   buffer_wait_time )
                print(f"One request from being rate limited. Waiting on Twitter.ntResume Time: {resume_time}")
                pause_until(resume_time)
        
        except Exception as e:
            print("An x-rate-limit-* parameter is likely missing...")
            print(e)

        # Explicitly checking for time dependent errors.
        # Most of these errors can be solved simply by waiting
        # a little while and pinging Twitter again - so that's what we do.
        if response.status_code != 200:

            # Too many requests error
            if response.status_code == 429:
                buffer_wait_time = 15
                resume_time = datetime.fromtimestamp( int(response.headers["x-rate-limit-reset"])   buffer_wait_time )
                print(f"Too many requests. Waiting on Twitter.ntResume Time: {resume_time}")
                pause_until(resume_time)

            # Twitter internal server error
            elif response.status_code == 500:
                # Twitter needs a break, so we wait 30 seconds
                resume_time = datetime.now().timestamp()   30
                print(f"Internal server error @ Twitter. Giving Twitter a break...ntResume Time: {resume_time}")
                pause_until(resume_time)

            # Twitter service unavailable error
            elif response.status_code == 503:
                # Twitter needs a break, so we wait 30 seconds
                resume_time = datetime.now().timestamp()   30
                print(f"Twitter service unavailable. Giving Twitter a break...ntResume Time: {resume_time}")
                pause_until(resume_time)

            # If we get this far, we've done something wrong and should exit
            raise Exception(
                "Request returned an error: {} {}".format(
                    response.status_code, response.text
                )
            )

        # Each time we get a 200 response, exit the function and return the response object
        if response.ok:
            return response
 

Эта функция получает объект ответа из requests вызова, подобного приведенному ниже

 response = requests.get(
            url,
            headers=self._header,
            params=payload
            )

response = manage_rate_limits(response)
 

В приведенном выше ответе параметры следующие:

где

• url = URL базовой конечной точки Twitter (в данном случае это академический поиск по полному архиву)
• params / payload = комбинация операторов поиска конечных точек (они должны быть неактуальными, но я могу включить при необходимости)
• headers / self._bearer_token является пользователем bearer_token в приведенной ниже правильной форме заголовка

 self._header = {"Authorization": f"Bearer {MY_BEARER_TOKEN}"}
 

Вопрос и ошибка:

Используя приведенный выше код, я получаю долго работающий скрипт, который возвращает приведенную ниже ошибку из rate_limit_manager функции.

 Traceback (most recent call last):
  File "/scratch/mdeverna/Superspreaders/src/get_rts_of_user.py", line 218, in get_rts_of_user
    full_archive_search = True
  File "/nfs/nfs5/home/scratch/mdeverna/osometweet/osometweet/api.py", line 248, in search
    response = self._oauth.make_request(url, payload)
  File "/nfs/nfs5/home/scratch/mdeverna/osometweet/osometweet/oauth.py", line 181, in make_request
    response = manage_rate_limits(response)
  File "/nfs/nfs5/home/scratch/mdeverna/osometweet/osometweet/rate_limit_manager.py", line 67, in manage_rate_limits
    response.status_code, response.text
Exception: Request returned an error: 429 {"title":"Too Many Requests","type":"about:blank","status":429,"detail":"Too Many Requests"}
 

Чего я не понимаю, так это того, что строка, которая печатает это исключение…

 # If we get this far, we've done something wrong and should exit
raise Exception(
    "Request returned an error: {} {}".format(
        response.status_code, response.text
         )
 

… и это иллюстрирует response.status_code печать (равно) 429 , однако условие ранее в этой функции проверяет именно этот код состояния, но, похоже, пропускает его. Похоже, что условие, которое проверяет, пропускается ли код состояния = 429, только для того, чтобы напечатать ниже, что код состояния равен 429?

Что здесь происходит?

Даже если код состояния равен 429 или 500 или 503, вы будете стекать с нижней части последовательности if / elif / elif и прямо в raise . Вы намеревались return в конце каждого? Или вы имели в raise виду, чтобы быть в else: предложении?