Блог

В настоящее время я разработал простое веб-приложение с использованием фреймворка Flask. Основной язык, который я использую, — Python.

Я предполагаю, что у меня есть 2 основных файла, которые являются сервером Flask и клиентом Flask.

Сервер Flask инициализирует модель глубокого обучения (например, обнаружение объектов).

Клиент Flask будет извлекать кадры из источника камеры и отправлять их на сервер Flask, чтобы получить ограничивающие рамки объектов.

Мой вопрос здесь в том, слишком ли велики видеокадры (разрешение 4k). Для передачи кадров потребуется много времени. Время будет составлять 200 мс только для одного кадра.

Я хочу создать приложение реального времени на стороне клиента. Кто-нибудь знает хороший подход для передачи фреймов из этого приложения на Python в другое приложение на Python? Я считаю, что прогресс происходит только в локальной сети (на том же компьютере).

В Python 3.8 есть именно то, что вам нужно — разделяемая память. Вы можете создать блок общей памяти и получить к нему доступ из независимых процессов Python на том же компьютере. Я создал очень простой пример с одним кадром видео 4k UHD (3840×2160), разделяемым между двумя отдельными процессами Python. Итак, запустите этот ( shmemA.py ) в одном терминале, предпочтительно в IPython:

 #!/usr/bin/env python3

import numpy as np
from multiprocessing import shared_memory

# Define dimensions of 4k video
w, h = 3840, 2160

# Create a named SharedMemory object
shm = shared_memory.SharedMemory(create=True, name="SharedVideoBuffer", size=w*h*3)

# Create a Numpy array backed by that SharedMemory
im = np.ndarray((h,w,3), dtype=np.uint8, buffer=shm.buf)

# Fill that array such that the other process can see it
im[:] = 32
  

И после этого запускать это ( shmemB.py ) в отдельном терминале:

 #!/usr/bin/env python3

import numpy as np
from multiprocessing import shared_memory

# Define dimensions of 4k video
w, h = 3840, 2160

# Attach to existing SharedMemory created by our buddy
existing_shm = shared_memory.SharedMemory(name='SharedVideoBuffer')

# Create Numpy array backed by that SharedMemory
im = np.ndarray((h,w,3), dtype=np.uint8, buffer=existing_shm.buf)
  

Теперь вы можете определить, сколько времени требуется для записи из первого процесса во второй с помощью:

 %timeit im[:]=56
776 µs ± 20.2 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
  

И вы можете видеть, что для передачи кадра 4K между процессами требуется 776 микросекунд, поэтому скорость передачи может превышать 1000 кадров в секунду.

В вашем сценарии вы могли бы рассмотреть возможность двойной буферизации (т. Е. пинг-понга) между двумя буферами, чтобы один процесс записывал второй, в то время как другой считывал первый. Таким образом, вы должны создать 2 буфера общей памяти (или один в два раза большего размера) и чередовать их. Вы могли бы использовать multiprocessing Queue между двумя процессами, чтобы сообщить читателю, какой буфер только что был заполнен.

Ключевые слова: Python, разделяемая память, SharedMemory, быстрый IPC, пинг-понг, двойная буферизация, быстрая передача изображений.