Блог

После квантования весов модели и последующего сохранения ее для обслуживания TF я могу получить прогноз, хотя и медленнее, чем раньше.

Однако, после квантования весов, а также модели, а затем сохранения ее для обслуживания и использования, я получаю следующую ошибку от клиента, выполняющего это на V100 в tf-обслуживающих контейнерах docker (tensorflow / serving:latest-gpu) — как клиента, так и моделей

_Rendezvous: <_Rendezvous RPC, который завершился с помощью: status = StatusCode.НЕОСУЩЕСТВЛЕННЫЕ детали = «Трансляция между [1,9,4] и [221,1,4] пока не поддерживается. [[{{привязка узла 3 / add_2/eightbit}}]] [[{{node filtered_detections/map/while/non_max_suppression_47/NonMaxSuppressionV3 с фильтром}}]]» debug_error_string = «{«создано»: «@1552349235.607723578″,»описание»: «Ошибка, полученная от однорангового узла», «файл»: «src / core /lib/ surface/call.cc», «file_line»:1017, «grpc_message»: «Широковещательная передача между [1,9,4] и [221,1,4] пока не поддерживается.n t [[{{привязка узла 3/add_2/eightbit}}]]n t [[{{node filtered_detections/map/while/non_max_suppression_47/NonMaxSuppressionV3}}]]», «grpc_status»:12}»

На стороне обслуживания TF я получаю следующую ошибку

2019-03-12 00:07:13.149087: Я внешний/org_tensorflow/tensorflow/core/kernels/quantized_add_op.cc:546] ndims =3 2019-03-12 00:07:13.149233: Я внешний/org_tensorflow/tensorflow/core/kernels/quantized_add_op.cc:547] bcast.x_reshape()=[1,9,4] 2019-03-12 00:07:13.149309: Я внешний/org_tensorflow/tensorflow/core/kernels/quantized_add_op.cc:549] bcast.y_reshape()=[221,1,4] 2019-03-12 00:07:13.149348: Я внешний/org_tensorflow/tensorflow/core/kernels/quantized_add_op.cc:551] bcast.x_bcast()=[221,1,1] 2019-03-12 00:07:13.149385: Я внешний/org_tensorflow/tensorflow/core/kernels/quantized_add_op.cc:553] bcast.y_bcast()=[1,9,1]

Модель — это модель обнаружения изображения

 MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:

signature_def['serving_default']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['input_image'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, -1, -1, 3)
        name: input_1_2:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['filtered_detections/map/TensorArrayStack/TensorArrayGatherV3:0'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 300, 4)
        name: filtered_detections/map/TensorArrayStack/TensorArrayGatherV3:0
    outputs['filtered_detections/map/TensorArrayStack_1/TensorArrayGatherV3:0'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 300)
        name: filtered_detections/map/TensorArrayStack_1/TensorArrayGatherV3:0
    outputs['filtered_detections/map/TensorArrayStack_2/TensorArrayGatherV3:0'] tensor_info:
        dtype: DT_INT32
        shape: (-1, 300)
        name: filtered_detections/map/TensorArrayStack_2/TensorArrayGatherV3:0
  Method name is: tensorflow/serving/predict