Как использовать собственную камеру react для определения позы в реальном времени?

#typescript #react-native #tensorflow

Вопрос:

Я пытался использовать собственную камеру react для захвата изображения. Это изображение предоставляется в качестве входных данных в posenet-модель. Обнаруженная поза должна быть нарисована на холсте.

 const takePicture = async () => {
    if (cameraRef !== null) {
        const options = {quality: 0.5, base64: true}
        const data = await cameraRef.current!.takePictureAsync(options)

    }
}
takePicture()

return (
    <View style={screenStyle}>
        <RNCamera
            ref={cameraRef}
            style={cameraStyle as ViewStyle}
            type={RNCamera.Constants.Type.back}
            flashMode={RNCamera.Constants.FlashMode.auto}
        />
        <View style={{ flex: 0, flexDirection: 'row', justifyContent: 'center' }}>
            <TouchableOpacity onPress={takePicture} >
                <Text style={{ fontSize: 14 }}> SNAP </Text>
            </TouchableOpacity>
        </View>
    </View>
);
 

Я хотел знать, есть ли лучший способ использовать камеру для извлечения кадров и обработки их в модель. Не могли бы вы помочь мне разобраться в логике этого.

Спасибо