Блог

Главная - Вопросы по программированию - Как быстрее всего разместить миллион запросов с URL, заголовками и телом?

Как быстрее всего разместить миллион запросов с URL, заголовками и телом?

#python

Вопрос:

У меня есть статический URL-адрес, заголовки и данные. Можно ли сделать миллион запросов на публикацию одновременно с помощью python? Это тот самый file.py:

 import json
import requests

url = "https://abcd.com"
headers = "headers"
body = "body"
resp = requests.post(url, headers=headers, data=body)
json_resp = json.loads(resp.content)["data"]
print(json_resp)

Комментарии:

1. Вы могли бы сделать это с помощью тем, но если вы быстро размещаете сообщения на одном и том же сайте, вас может остановить ограничитель скорости.

2. Чего вы пытаетесь достичь?

Ответ №1:

Возможно, вы захотите использовать для этого некоторые инструменты python, такие как:

Ваш файл будет выглядеть так:

   from locust import HttpUser, task, between

  class QuickstartUser(HttpUser):
      
      @task
      def task_name(self):
          self.client.post(url, headers=headers, data=body)

Вы могли бы скормить его саранче таким образом:

 locust --headless --users <number_of_user> -f <your_file.py>

Ответ №2:

Вы можете сделать это несколькими способами, что является лучшим методом и идеей async работы. Второй метод ThreadPoolExecutor , который я не очень рекомендую

для этого есть пример.

 # modified fetch function with semaphore
import random
import asyncio
from aiohttp import ClientSession

async def fetch(url, session):
    async with session.get(url) as response:
        delay = response.headers.get("DELAY")
        date = response.headers.get("DATE")
        print("{}:{} with delay {}".format(date, response.url, delay))
        return await response.read()


async def bound_fetch(sem, url, session):
    # Getter function with semaphore.
    async with sem:
        await fetch(url, session)


async def run(r):
    url = "http://localhost:8080/{}"
    tasks = []
    # create instance of Semaphore
    sem = asyncio.Semaphore(1000)

    # Create client session that will ensure we dont open new connection
    # per each request.
    async with ClientSession() as session:
        for i in range(r):
            # pass Semaphore and session to every GET request
            task = asyncio.ensure_future(bound_fetch(sem, url.format(i), session))
            tasks.append(task)

        responses = asyncio.gather(*tasks)
        await responses

number = 10000
loop = asyncio.get_event_loop()

future = asyncio.ensure_future(run(number))
loop.run_until_complete(future)
Метки: ,