Блог

Я пытаюсь выполнить приведенную ниже команду в записной книжке Azure synapse.

 from transformers import AutoTokenizer, AutoModelForMaskedLM 
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModelForMaskedLM.from_pretrained("bert-base-uncased")
 

Однако я получаю следующую ошибку.

 ImportError: tokenizers>=0.10.1,<0.11 is required for a normal functioning of this module, but found tokenizers==0.9.2.
Try: pip install transformers -U or pip install -e '.[dev]' if you're working with git master
Traceback (most recent call last):

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/transformers/__init__.py", line 43, in <module>
    from . import dependency_versions_check

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/transformers/dependency_versions_check.py", line 41, in <module>
    require_version_core(deps[pkg])

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/transformers/utils/versions.py", line 120, in require_version_core
    return require_version(requirement, hint)

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/transformers/utils/versions.py", line 114, in require_version
    _compare_versions(op, got_ver, want_ver, requirement, pkg, hint)

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/transformers/utils/versions.py", line 50, in _compare_versions
    f"{requirement} is required for a normal functioning of this module, but found {pkg}=={got_ver}.{hint}"

ImportError: tokenizers>=0.10.1,<0.11 is required for a normal functioning of this module, but found tokenizers==0.9.2.
Try: pip install transformers -U or pip install -e '.[dev]' if you're working with git master
 

Вышеуказанная ошибка присутствует даже после того, как я обновил версию трансформатора и токенизатора и проверил ее с помощью кода ниже:

 import pkg_resources
for d in pkg_resources.working_set:
    print(d)
 

Пример вывода приведенного выше кода:

 transformers 4.10.3
tokenizers 0.10.3
 

Есть какие-нибудь мысли или предложения? Заранее спасибо.

 ImportError: tokenizers>=0.10.1,<0.11 is required for a normal functioning of this module, but found tokenizers==0.9.2
 

Эта ошибка может быть вызвана тем, что в ваших средах разные версии, вы можете попробовать это для принудительной установки :

 pip install -I transformers --no-cache-dir --force-reinstall
 

Вы можете обратиться к аналогичной проблеме здесь, в Github.