Блог

У меня есть эта модель:

Который представляет собой слой conv, который должен определять эмоции лица, я пытаюсь реализовать его в своем TensorFlowJS, поэтому я преобразовал его, и когда я пытаюсь ввести ввод, для этого требуется тензор 4d с null в качестве первого ввода, но tensor4d этого не допустит:

Форма должна быть только числом, но когда я пытаюсь добавить ее в свою модель, она запрашивает значение null, что мне делать? Это функция, с помощью которой я конвертирую jpg в тензоры:

 const imageToTensor = (rawData: ArrayBuffer) => {
    const { width, height, data } = jpeg.decode(rawData, true);
    const buffer = new Uint8Array(width * height * 3);
    let offset = 0;
    for (let i = 0; i < buffer.length; i  = 3) {
      buffer[i] = data[offset]; //red
      buffer[i   1] = data[offset   1]; //green
      buffer[i   2] = data[offset   2]; //blue
      offset  = 4; //skips Alpha value
    }
      //instead of 1 I need null, but wont let me -----
    return tf.tensor4d(buffer, [1, height, width, 3]);
  };
  

РЕДАКТИРОВАТЬ: это моя функция прогнозирования :

 const trypredict = async () => {
    try {
      let image = require("../assets/smile.jpg");
      image = tf.browser
        .fromPixels(image)
        .mean(2)
        .toFloat()
        .expandDims(0)
        .expandDims(-1);
      const imageAssetPath = Image.resolveAssetSource(image);
      const response = await fetch(imageAssetPath.uri, {}, { isBinary: true });
      const imageData = await response.arrayBuffer();

      let imageTensor = imageToTensor(imageData);
      imageTensor = imageTensor.resizeBilinear([48, 48]);
      if (model) {
        const prediction = await model.predict(imageTensor);
      }
    } catch (error) {
      console.log(error);
    }
  };
  

Вам нужно изменить размер тензора с [1,560, 617,3] на [null,48,48,1]

Но ваша модель принимает изображения в оттенках серого, поэтому вам нужно сначала преобразовать его из RGB в оттенки серого:

Способ 1

 tf.browser.fromPixels(image)
    .mean(2)
    .toFloat()
    .expandDims(0)
    .expandDims(-1)
  

Затем вы можете изменить его размер.

Массив для второго параметра представляет [newHeight,newWidth] .

Тензор — это тензор, размер которого вы хотите изменить до новой формы, которая будет изображением в оттенках серого.

  const alignCorners = true;
 const imageResize = tf.image.resizeBilinear(
          tensor,
          [48, 48],
          alignCorners
        );
  

Способ 2

Или более простым способом было бы использовать cameraWithTensor и немедленно изменить размер тензора. Вы можете сделать это, используя следующее, после чего вам просто нужно будет преобразовать его в тензор 4D:

 return <View>
      <TensorCamera
       // Standard Camera props
       style={styles.camera}
       type={Camera.Constants.Type.front}
       // Tensor related props
       cameraTextureHeight={textureDims.height}
       cameraTextureWidth={textureDims.width}
       resizeHeight={48}
       resizeWidth={48}
       resizeDepth={1}
       onReady={this.handleCameraStream}
       autorender={true}
      />
    </View>
  

Затем вы можете преобразовать его в тензор 4D:

 image = image.reshape(1,48,48,1)
  

Вот пример кода с использованием cameraWithTensor с подробным кодом для него