Блог

Я реализовал следующий код, который позволяет мне отслеживать различные выражения лица человека. Но с помощью этого кода я не могу отслеживать движения головы человека вверх и вниз с помощью ARKit в Xcode. Я был бы признателен, если бы кто-нибудь мог сообщить мне, как мне отслеживать движение головы человека вверх и вниз с помощью ARKit, используя Xcode!

 import UIKit
import SceneKit
import ARKit

class ViewController: UIViewController, ARSCNViewDelegate {

@IBOutlet var sceneView: ARSCNView!
@IBOutlet weak var faceLabel: UILabel!
@IBOutlet weak var labelView: UIView!
var analysis = ""

override func viewDidLoad() {
    super.viewDidLoad()
    
    labelView.layer.cornerRadius = 10
    
    sceneView.delegate = self
    sceneView.showsStatistics = true
    guard ARFaceTrackingConfiguration.isSupported else {
        fatalError("Face tracking is not supported on this device")
    }
}

override func viewWillAppear(_ animated: Bool) {
    super.viewWillAppear(animated)
    
    // Create a session configuration
    let configuration = ARFaceTrackingConfiguration()

    // Run the view's session
    sceneView.session.run(configuration)
}

override func viewWillDisappear(_ animated: Bool) {
    super.viewWillDisappear(animated)
    
    // Pause the view's session
    sceneView.session.pause()
}

// MARK: - ARSCNViewDelegate
func renderer(_ renderer: SCNSceneRenderer, nodeFor anchor: ARAnchor) -> SCNNode? {
    let faceMesh = ARSCNFaceGeometry(device: sceneView.device!)
    let node = SCNNode(geometry: faceMesh)
    node.geometry?.firstMaterial?.fillMode = .lines
    return node
}

func renderer(_ renderer: SCNSceneRenderer, didUpdate node: SCNNode, for anchor: ARAnchor) {
    if let faceAnchor = anchor as? ARFaceAnchor, let faceGeometry = node.geometry as? ARSCNFaceGeometry {
        faceGeometry.update(from: faceAnchor.geometry)
        expression(anchor: faceAnchor)
        
        DispatchQueue.main.async {
            self.faceLabel.text = self.analysis
        }
        
    }
}

func expression(anchor: ARFaceAnchor) {
    let smileLeft = anchor.blendShapes[.mouthSmileLeft]
    let smileRight = anchor.blendShapes[.mouthSmileRight]
    let cheekPuff = anchor.blendShapes[.cheekPuff]
    let tongue = anchor.blendShapes[.tongueOut]
    self.analysis = ""
    
    if ((smileLeft?.decimalValue ?? 0.0)   (smileRight?.decimalValue ?? 0.0)) > 0.9 {
        self.analysis  = "You are smiling. "
    }
    
    if cheekPuff?.decimalValue ?? 0.0 > 0.1 {
        self.analysis  = "Your cheeks are puffed. "
    }
    
    if tongue?.decimalValue ?? 0.0 > 0.1 {
        self.analysis  = "Don't stick your tongue out! "
    }
}
}
  

Свойство экземпляра blendShapes представляет собой словарь из 52 коэффициентов, представляющих выражения лица. Кивки головой — это не выражения лица, которые нужно обнаруживать, поэтому самый быстрый способ реализовать кивок головы — это управлять ARFaceAnchor направлением или ориентацией узла.

 func renderer(_ renderer: SCNSceneRenderer,
          didUpdate node: SCNNode,
              for anchor: ARAnchor) {

    if let faceAnchor = anchor as? ARFaceAnchor,
       let faceGeo = node.geometry as? ARSCNFaceGeometry {
            
        if faceAnchor.lookAtPoint.y <= 0 {
            print("A head is...")
        }
            
        if node.orientation.x >= Float.pi/32 {
            print("A head is...")
        }
    }
}