Блог

Как я могу извлечь ARMeshGeometry, сгенерированную новым SceneReconstruction API, и работать с ней на iPad Pro? Я использую пример приложения / кода для визуализации семантики сцены от Apple

Я пытаюсь прикрепить AudioKit AKOscillator () к центру «лица» в качестве источника 3D-звука, созданного в режиме реального времени.

Из кода примера LiDAR я вижу, что это «кажется» точкой, в которой создается «лицо», однако у меня возникают проблемы с объединением данных извлечения / просмотра «лица» и добавлением источника звука AudioKit.

Вот где, я полагаю, определяется лицо (я новичок в swift, может быть, очень ошибаюсь):

 DispatchQueue.global().async {
for anchor in meshAnchors {
    for index in 0..<anchor.geometry.faces.count {
        // Get the center of the face so that we can compare it to the given location.
        let geometricCenterOfFace = anchor.geometry.centerOf(faceWithIndex: index)
        
        // Convert the face's center to world coordinates.
        var centerLocalTransform = matrix_identity_float4x4
        centerLocalTransform.columns.3 = SIMD4<Float>(geometricCenterOfFace.0, geometricCenterOfFace.1, geometricCenterOfFace.2, 1)
        let centerWorldPosition = (anchor.transform * centerLocalTransform).position
         
  

Мне действительно было бы полезно увидеть необработанные данные массива, если это достижимо? Это из ARGeometrySource?? Можно ли это распечатать или просмотреть / извлечь??

Затем я хочу добавить что-то вроде генератора / генератора шума к этому «лицу» в трехмерном местоположении мира, и оно будет распределено по пространству с использованием данных массива / местоположения, используя что-то вроде:

     var oscillator = AKOscillator() Create the sound generator
AudioKit.output = oscillator    Tell AudioKit what to output
AudioKit.start()    Start up AudioKit
oscillator.start()  Start the oscillator
oscillator.frequency = random(in: 220...880)    Set oscillator parameters
  

Я понимаю, что это почти двойной вопрос, однако приветствуется любой подход к извлечению / использованию данных ARMeshGemotery или реализации источника звука в центре каждой «грани» или обоих.
Дополнительный код для лидара, визуализирующий пример семантики сцены по ссылке выше.

Спасибо, мы высоко ценим вашу помощь,

R