Блог

Я написал код для оценки позы, используя библиотеку OpenCV и mediapipe. Программа работала хорошо, и я получал около 30-35 кадров в секунду. Когда я попытался преобразовать одну и ту же программу в модуль, чтобы я мог легко использовать ее в будущем для разных проектов, частота кадров в секунду нового кода(модуля) резко снизилась до 3-4 кадров в секунду. Моя оригинальная программа:

 import cv2
import mediapipe as mp
import time

cap = cv2.VideoCapture(1)
pTime = 0
cTime = 0

mpDraw = mp.solutions.drawing_utils
mpPose = mp.solutions.pose
pose = mpPose.Pose()  
   
while True:
    success, img1 = cap.read()
    img = cv2.flip(img1, 1)  

    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    results = pose.process(imgRGB)

    if results.pose_landmarks:
        mpDraw.draw_landmarks(img, results.pose_landmarks, mpPose.POSE_CONNECTIONS)

        for id, lm in enumerate(results.pose_landmarks.landmark):
            h, w, c = img.shape
            cx, cy = int(lm.x*w), int(lm.y*h)
            cv2.circle(img, (cx, cy), 5, (255, 0, 0), cv2.FILLED)
        
    cTime = time.time()
    fps = 1/(cTime - pTime)
    pTime = cTime

    cv2.putText(img, "FPS : "   str(int(fps)), (10, 50), cv2.FONT_HERSHEY_COMPLEX, 1, (255, 0, 8), 2)

    cv2.imshow("Live Feed", img)
    if cv2.waitKey(1) amp; 0xFF == ord('q'):
        break
 

Моя попытка преобразовать его в модуль :

 import cv2
import mediapipe as mp
import time

class poseDetector():
    def __init__(self, mode=False, upBody=False, smooth=True, detectionCon = 0.5, trackingCon=0.5):
        self.mode = mode
        self.upBody = upBody
        self.smooth = smooth
        self.detectionCon = detectionCon
        self.trackingCon = trackingCon

        self.mpDraw = mp.solutions.drawing_utils
        self.mpPose = mp.solutions.pose
        self.pose =self.mpPose.Pose(self.mode, self.upBody, self.smooth, self.detectionCon, self.trackingCon)         

    def findPose(self, img, draw=True):
        imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        self.results = self.pose.process(imgRGB)

        if self.results.pose_landmarks:
            if draw:
                 self.mpDraw.draw_landmarks(img, self.results.pose_landmarks, self.mpPose.POSE_CONNECTIONS)
    return img

    def findPosition(self, img, draw=True):
        lmList = []
        if self.results.pose_landmarks:
            for id, lm in enumerate(self.results.pose_landmarks.landmark):
                h, w, c = img.shape
                cx, cy = int(lm.x*w), int(lm.y*h)
                lmList.append([id, cx, cy])
                if draw:
                    cv2.circle(img, (cx, cy), 5, (255, 0, 0), cv2.FILLED)
        return lmList

def main():
    cap = cv2.VideoCapture(1)
    pTime = 0
    cTime = 0

    while True:
        success, img1 = cap.read()
        img = cv2.flip(img1, 1)

        detector = poseDetector()
        img = detector.findPose(img) 
        lmList = detector.findPosition(img)

        cTime = time.time()
        fps = 1/(cTime - pTime)
        pTime = cTime

        cv2.putText(img, "FPS : "   str(int(fps)), (10, 50), cv2.FONT_HERSHEY_COMPLEX, 1, (255, 0, 8), 2)

        cv2.imshow("Live Feed", img)
        if cv2.waitKey(1) amp; 0xFF == ord('q'):
            break 

if __name__ == '__main__':
    main()
 

По моему мнению , оба кода должны были работать одинаково, но это не так. Кто-нибудь может сказать, где я совершаю ошибку ?

Вам нужно место detector = poseDetector() , чтобы быть перед while True: :

 detector = poseDetector()

while True:
    success, img1 = cap.read()
    ...
 

Ваша реализация «модуля» создает новый poseDetector объект на каждой итерации основного цикла.
Каждое выполнение detector = poseDetector() включает в себя вызов poseDetector.__init__ , который вызывает self.pose =self.mpPose.Pose …
Здесь много накладных расходов…

 while True:
    success, img1 = cap.read()
    img = cv2.flip(img1, 1)

    detector = poseDetector()
    ...
 

В вашей оригинальной («немодульной») реализации вы выполняете pose = mpPose.Pose() только один раз (перед циклом).

 pose = mpPose.Pose()  
   
while True:
    success, img1 = cap.read()
    ...
 

Я протестировал ваш код до и после выхода detector = poseDetector() из цикла.
После перемещения строки над циклом частота кадров будет такой же, как в реализации «без модуля».