Блог

Я пытаюсь использовать pillow.grab для получения кадров моего экрана. Для последующего обнаружения объектов для каждого кадра.

 import numpy as np
import cv2
from PIL import ImageGrab as ig
import time


# Load Yolo
net = cv2.dnn.readNet("yolov3_training_last.weights", "yolov3_testing.cfg")

# Name custom object
classes = ["amongus"]

layer_names = net.getLayerNames()
output_layers = [layer_names[i[0] - 1] for i in net.getUnconnectedOutLayers()]
colors = np.random.uniform(0, 255, size=(len(classes), 3))

last_time = time.time()
while(True):
    img_ = ig.grab(bbox=None)
    
    open_cv_image = np.array(img_) 
    open_cv_image = open_cv_image[:, :, ::-1].copy() 
    
    img = cv2.resize(open_cv_image, None, fx=0.4, fy=0.4)
    height, width, channels = img.shape

    # Detecting objects
    blob = cv2.dnn.blobFromImage(img, 0.00392, (416, 416), (0, 0, 0), True, crop=False)

    net.setInput(blob)
    outs = net.forward(output_layers)

    # Showing informations on the screen
    class_ids = []
    confidences = []
    boxes = []
    for out in outs:
        for detection in out:
            scores = detection[5:]
            class_id = np.argmax(scores)
            confidence = scores[class_id]
            if confidence > 0.3:
                # Object detected
                print(class_id)
                center_x = int(detection[0] * width)
                center_y = int(detection[1] * height)
                w = int(detection[2] * width)
                h = int(detection[3] * height)

                # Rectangle coordinates
                x = int(center_x - w / 2)
                y = int(center_y - h / 2)

                boxes.append([x, y, w, h])
                confidences.append(float(confidence))
                class_ids.append(class_id)

    indexes = cv2.dnn.NMSBoxes(boxes, confidences, 0.5, 0.4)
    print(indexes)
    font = cv2.FONT_HERSHEY_PLAIN
    for i in range(len(boxes)):
        if i in indexes:
            x, y, w, h = boxes[i]
            label = str(classes[class_ids[i]])
            color = colors[class_ids[i]]
            cv2.rectangle(img, (x, y), (x   w, y   h), color, 2)
            #cv2.putText(img, label, (x, y   30), font, 3, color, 2)


    cv2.imshow("Image", np.array(img_))
    #key = cv2.waitKey(0)

cv2.destroyAllWindows()
 

Если я раскомментирую #key = cv2.waitKey(0) работы, потому что я беру только один кадр при каждом нажатии клавиши, но как только я прокомментирую эту часть, я получу этот экран.

Я предполагаю (совсем не уверен, что это из-за этого), что это происходит из-за того, что поступает много кадров, но если я sleep(n) пока fps будет таким низким. (Я думаю?)

Что происходит / как это исправить?