Блог

Системная информация

Платформа и дистрибутив ОС: Windows 10 MLflow установлен: с помощью pip Версия MLflow: версия 1.20.2 **Версия Python: Python 3.9.7 **

Проблема

Я сохранил модель keras .h5, и когда я попытался выполнить mlflow.keras.load_model(«выполнить:/id_run/модель»), я ждал почти час, но это не закончилось. Поэтому я остановил выполнение и получил следующую ошибку:

 ERROR:root:Internal Python error in the inspect module. Below is the traceback from this internal error.  ERROR:root:Internal Python error in the inspect module. Below is the traceback from this internal error.  Traceback (most recent call last):  File "~anaconda3envspython_38libsite-packagesIPythoncoreinteractiveshell.py", line 3441, in run_code  exec(code_obj, self.user_global_ns, self.user_ns)  File "lt;ipython-input-3-277d37cc6084gt;", line 1, in lt;modulegt;  keras_model = mlflow.keras.load_model("runs:/483745e28a864eceb738c852cf062774/model")  File "~AppDataRoamingPythonPython38site-packagesmlflowkeras.py", line 585, in load_model  local_model_path = _download_artifact_from_uri(artifact_uri=model_uri)  File "~AppDataRoamingPythonPython38site-packagesmlflowtrackingartifact_utils.py", line 83, in _download_artifact_from_uri  return get_artifact_repository(artifact_uri=root_uri).download_artifacts(  File "~AppDataRoamingPythonPython38site-packagesmlflowstoreartifactruns_artifact_repo.py", line 125, in download_artifacts  return self.repo.download_artifacts(artifact_path, dst_path)  File "~AppDataRoamingPythonPython38site-packagesmlflowstoreartifactartifact_repo.py", line 180, in download_artifacts  return download_artifact_dir(  File "~AppDataRoamingPythonPython38site-packagesmlflowstoreartifactartifact_repo.py", line 147, in download_artifact_dir  download_artifact_dir(  File "~AppDataRoamingPythonPython38site-packagesmlflowstoreartifactartifact_repo.py", line 152, in download_artifact_dir  download_artifact(  File "~AppDataRoamingPythonPython38site-packagesmlflowstoreartifactartifact_repo.py", line 129, in download_artifact  self._download_file(  File "~AppDataRoamingPythonPython38site-packagesmlflowstoreartifactazure_blob_artifact_repo.py", line 136, in _download_file  container_client.download_blob(remote_full_path).readinto(file)  File "~anaconda3envspython_38libsite-packagesazurestorageblob_download.py", line 617, in readinto  downloader.process_chunk(chunk)  File "~anaconda3envspython_38libsite-packagesazurestorageblob_download.py", line 129, in process_chunk  chunk_data = self._download_chunk(chunk_start, chunk_end - 1)  File "~anaconda3envspython_38libsite-packagesazurestorageblob_download.py", line 211, in _download_chunk  chunk_data = process_content(response, offset[0], offset[1], self.encryption_options)  File "~anaconda3envspython_38libsite-packagesazurestorageblob_download.py", line 52, in process_content  content = b"".join(list(data))  File "~anaconda3envspython_38libsite-packagesazurecorepipelinetransport_requests_basic.py", line 158, in __next__  chunk = next(self.iter_content_func)  File "~anaconda3envspython_38libsite-packagesrequestsmodels.py", line 758, in generate  for chunk in self.raw.stream(chunk_size, decode_content=True):  File "~anaconda3envspython_38libsite-packagesurllib3response.py", line 576, in stream  data = self.read(amt=amt, decode_content=decode_content)  File "~anaconda3envspython_38libsite-packagesurllib3response.py", line 519, in read  data = self._fp.read(amt) if not fp_closed else b""  File "~anaconda3envspython_38libhttpclient.py", line 459, in read  n = self.readinto(b)  File "~anaconda3envspython_38libhttpclient.py", line 503, in readinto  n = self.fp.readinto(b)  File "~anaconda3envspython_38libsocket.py", line 669, in readinto  return self._sock.recv_into(b)  File "~anaconda3envspython_38libssl.py", line 1241, in recv_into  return self.read(nbytes, buffer)  File "~anaconda3envspython_38libssl.py", line 1099, in read  return self._sslobj.read(len, buffer) KeyboardInterrupt  During handling of the above exception, another exception occurred:  Traceback (most recent call last):  File "~anaconda3envspython_38libsite-packagesIPythoncoreinteractiveshell.py", line 2061, in showtraceback  stb = value._render_traceback_() AttributeError: 'KeyboardInterrupt' object has no attribute '_render_traceback_'  During handling of the above exception, another exception occurred:  Traceback (most recent call last):  File "~anaconda3envspython_38libsite-packagesIPythoncoreultratb.py", line 1101, in get_records  return _fixed_getinnerframes(etb, number_of_lines_of_context, tb_offset)  File "~anaconda3envspython_38libsite-packagesIPythoncoreultratb.py", line 248, in wrapped  return f(*args, **kwargs)  File "~anaconda3envspython_38libsite-packagesIPythoncoreultratb.py", line 281, in _fixed_getinnerframes  records = fix_frame_records_filenames(inspect.getinnerframes(etb, context))  File "~anaconda3envspython_38libinspect.py", line 1515, in getinnerframes  frameinfo = (tb.tb_frame,)   getframeinfo(tb, context)  File "~anaconda3envspython_38libinspect.py", line 1473, in getframeinfo  filename = getsourcefile(frame) or getfile(frame)  File "~anaconda3envspython_38libinspect.py", line 708, in getsourcefile  if getattr(getmodule(object, filename), '__loader__', None) is not None:  File "~anaconda3envspython_38libinspect.py", line 754, in getmodule  os.path.realpath(f)] = module.__name__  File "~anaconda3envspython_38libntpath.py", line 647, in realpath  path = _getfinalpathname(path) KeyboardInterrupt  

Мой артефакт sotrage — это хранилище больших двоичных объектов Azure, а мой сервер MLflow работает на сервере axeternal

Я проверил модель в пользовательском интерфейсе, и она была там, поэтому я попытался загрузить ее с помощью кнопки загрузки. Но загрузка останавливается, как вы можете видеть на изображениях, а затем перезапускается снова и снова. Я заметил, что он весит 355 МБ, поэтому я зарегистрировал модель dicrectory, сжатую как артефакт с более или менее одинаковым весом, и при попытке загрузить его возникает та же проблема.

Чтобы воспроизвести эту проблему

Просто зарегистрируйте файл с тем же весом и попробуйте восстановить его