Блог

Главная - Вопросы по программированию - как мне преобразовать конфигурацию моего супервизора из python2 в python3?

как мне преобразовать конфигурацию моего супервизора из python2 в python3?

#python #docker #docker-compose #celery #supervisord

#python #docker #docker-compose #сельдерей #супервизор

Вопрос:

пожалуйста, проверьте ОБНОВЛЕНИЯ ниже

я еще не видел ни одного рабочего примера конфигурации супервизора 3, поэтому в супервизоре 3 нет полезного документа, и поэтому здесь я ищу помощь

у меня следующая конфигурация супервизора

 [unix_http_server]
file=/tmp/supervisor.sock   ; (the path to the socket file)

[supervisord]
logfile=/tmp/supervisord.log ; (main log file;default $CWD/supervisord.log)
logfile_maxbytes=50MB        ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10           ; (num of main logfile rotation backups;default 10)
loglevel=info                ; (log level;default info; others: debug,warn,trace)
pidfile=/tmp/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
nodaemon=false               ; (start in foreground if true;default false)
minfds=1024                  ; (min. avail startup file descriptors;default 1024)
minprocs=200                 ; (min. avail process descriptors;default 200)
user=root            ;

; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL  for a unix socket

[program:uvicorn]
command = uvicorn --host 0.0.0.0 --port 5000 app.app:app
autostart=true
autorestart=true
priority=5
stdout_events_enabled=true
stderr_events_enabled=true
stdout_logfile=/dev/stdout
stdout_logfile_maxbytes=0
stderr_logfile=/dev/stderr
stderr_logfile_maxbytes=0

[program:celery-worker]
command=celery -A app.app:celery worker -l info
autostart=true
autorestart=true
priority=10
stdout_events_enabled=true
stderr_events_enabled=true
stdout_logfile=/dev/stdout
stdout_logfile_maxbytes=0
stderr_logfile=/dev/stderr
stderr_logfile_maxbytes=0

[program:celery-beat]
command=celery -A app.app:celery beat -l info
autostart=true
autorestart=true
priority=10
stdout_events_enabled=true
stderr_events_enabled=true
stdout_logfile=/dev/stdout
stdout_logfile_maxbytes=0
stderr_logfile=/dev/stderr
stderr_logfile_maxbytes=0

и я запускаю супервизор со следующей командой

 /usr/bin/supervisord -n -c /etc/supervisor/conf.d/supervisord.conf

вот что я вижу в запущенных процессах

 # ps aux

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.1   5488  3072 ?        Ss   05:41   0:00 /bin/bash entrypoint.test.sh
root         6  0.0  1.0  26996 20960 ?        S    05:41   0:01 /usr/bin/python2 /usr/bin/supervisord -n -c /etc/supervisor/conf.d/supervisord.conf
root         9  0.7  1.7 115232 34672 ?        Sl   05:41   0:11 /usr/local/bin/python /usr/local/bin/uvicorn --host 0.0.0.0 --port 5000 app.app:app
root        10  0.4  2.3  56344 48520 ?        S    05:41   0:07 /usr/local/bin/python /usr/local/bin/celery -A app.app:celery worker -l info
root        11  0.0  2.2  54684 46380 ?        S    05:41   0:01 /usr/local/bin/python /usr/local/bin/celery -A app.app:celery beat -l info
root        15  0.0  1.8  53724 37328 ?        S    05:41   0:00 /usr/local/bin/python /usr/local/bin/celery -A app.app:celery worker -l info
root        16  0.0  1.8  53728 37180 ?        S    05:41   0:00 /usr/local/bin/python /usr/local/bin/celery -A app.app:celery worker -l info
root        28  0.1  0.1   5752  3600 pts/0    Ss   06:06   0:00 bash
root        34  0.0  0.1   9392  3048 pts/0    R    06:06   0:00 ps aux

как вы можете видеть, это работает supervisor 2 с python2
, но какие изменения мне внести в файл конфигурации супервизора для использования supervisor 3 с python3?

Спасибо

Обновить:

супервизор был установлен в образе docker с apt-get install supervisor

нужно ли мне делать pip install supervisor вместо этого? не уверен, может ли это быть проблемой здесь

 # pip -V
pip 20.2.4 from /usr/local/lib/python3.8/site-packages/pip (python 3.8)

# python -V
Python 3.8.3

# pip freeze
amqp==5.0.2
billiard==3.6.3.0
celery==5.0.2
click==7.1.2
click-didyoumean==0.0.3
click-repl==0.1.6
fastapi==0.61.2
h11==0.11.0
kombu==5.0.2
prompt-toolkit==3.0.8
pydantic==1.7.2
pytz==2020.4
redis==3.5.3
six==1.15.0
starlette==0.13.6
uvicorn==0.12.2
vine==5.0.0
wcwidth==0.2.5

полезная ссылка о супервизоре 2-3
http://supervisord.org/upgrading.html

наконец, установите также pip install supervisor и получите тот же супервизор 2

 # pip freeze
amqp==5.0.2
billiard==3.6.3.0
celery==5.0.2
click==7.1.2
click-didyoumean==0.0.3
click-repl==0.1.6
fastapi==0.61.2
h11==0.11.0
kombu==5.0.2
prompt-toolkit==3.0.8
pydantic==1.7.2
pytz==2020.4
redis==3.5.3
six==1.15.0
starlette==0.13.6
supervisor==4.2.1
uvicorn==0.12.2
vine==5.0.0
wcwidth==0.2.5

Проблема связана с пакетом apt-get для Debian 10, который является базовой ОС для базового образа docker на python 3, который я использую, поставляется с supervisor 3.3.5
, а не с последней версией supervisor 4.2.1, так что, похоже, именно
в этом проблема

 File "/usr/local/lib/python3.8/site-packages/pkg_resources/__init__.py", line 787, in resolve raise DistributionNotFound(req, requirers)
pkg_resources.DistributionNotFound: The 'supervisor==3.3.5' distribution was not found and is required by the application

и из репозитория supervisor github

Супервизор предназначен для работы на Python 3 версии 3.4 или более поздней и на Python 2 версии 2.7.

итак, все, что находится ниже supervisor 3.4, будет использовать python 2

Поэтому нужно найти способ установить пакет операционной системы supervisor из исходного кода

Комментарии:

1. Вы удаляете celery и переустанавливаете его для Python 3: python3 -m pip install celery

2. что вы имеете в виду? celery работает в python3… используемый базовый образ docker — python3 … не уверен, что вы имеете в виду… также супервизор — это то, что работает с python2, а не с сельдереем

3. Это вопрос Python или вопрос версии супервизора? Я не понимаю, какое отношение версия Python должна иметь к синтаксису файла конфигурации супервизора.

4. прочитайте вопрос.. будь то python или supervisor.. какое это имеет значение? все, что я хочу, это чтобы супервизор работал с python3… просто прочитайте вопрос и не беспокойтесь о метке того, о каком теге идет речь

5. То же самое относится и к супервизору. Вам необходимо переустановить его для Python 3. Но если вы использовали дистрибутивный пакет, было бы неплохо остаться с Python 2.

Ответ №1:

Проблема связана с пакетом apt-get для Debian 10, который является базовой ОС для базового образа docker на python 3, который я использую, поставляется с supervisor 3.3.5, а не с последней версией supervisor 4.2.1, так что, похоже, именно в этом проблема

 # cat /etc/*release
PRETTY_NAME="Debian GNU/Linux 10 (buster)"
NAME="Debian GNU/Linux"
VERSION_ID="10"
VERSION="10 (buster)"
VERSION_CODENAME=buster
ID=debian
HOME_URL="https://www.debian.org/"
SUPPORT_URL="https://www.debian.org/support"
BUG_REPORT_URL="https://bugs.debian.org/"

# apt-cache show supervisor
Package: supervisor
Version: 3.3.5-1
Installed-Size: 1447
Maintainer: Python Applications Packaging Team <python-apps-team@lists.alioth.debian.org>
Architecture: all
Depends: lsb-base, python-pkg-resources, python-meld3, python:any (<< 2.8), python:any (>= 2.7~)
Suggests: supervisor-doc
Description: System for controlling process state
Description-md5: 965223e7558e3d49e112406ca88bda2b
Homepage: http://supervisord.org/
Tag: implemented-in::python, role::program
Section: admin
Priority: optional
Filename: pool/main/s/supervisor/supervisor_3.3.5-1_all.deb
Size: 284260
MD5sum: 4a40c0ed0774b8b43c5645967129eeb1
SHA256: 9f68f3559eac10840d54301d56cca6ba8f7e202398b2f24bbf8e71a2a59785cb

и вот ошибка, которую я получаю

 File "/usr/local/lib/python3.8/site-packages/pkg_resources/__init__.py", line 787, in resolve raise DistributionNotFound(req, requirers)
pkg_resources.DistributionNotFound: The 'supervisor==3.3.5' distribution was not found and is required by the application

и из репозитория supervisor github
https://github.com/Supervisor/supervisor#supported-platforms

Супервизор предназначен для работы на Python 3 версии 3.4 или более поздней и на Python 2 версии 2.7.

итак, все, что находится ниже supervisor 3.4, будет использовать python 2

Поэтому нужно найти способ установить пакет операционной системы supervisor из исходного кода

ИСПРАВЛЕНИЕ: я обновил базовый образ python docker для использования python:alpine , который поставляется с supervisor 4.2.0

 / # apk add supervisor
(1/9) Installing python3 (3.8.5-r0)
(2/9) Installing py3-meld3 (2.0.1-r0)
(3/9) Installing py3-ordered-set (4.0.1-r0)
(4/9) Installing py3-appdirs (1.4.4-r1)
(5/9) Installing py3-parsing (2.4.7-r0)
(6/9) Installing py3-six (1.15.0-r0)
(7/9) Installing py3-packaging (20.4-r0)
(8/9) Installing py3-setuptools (47.0.0-r0)
(9/9) Installing supervisor (4.2.0-r0)
Executing busybox-1.31.1-r16.trigger
OK: 63 MiB in 44 packages

и вот мы идем

 # ps aux
PID   USER     TIME  COMMAND
    1 root      0:00 /bin/sh entrypoint.alpine.sh
    6 root      0:00 {supervisord} /usr/bin/python3 /usr/bin/supervisord -n -c /etc/supervisord.conf
    8 root      0:01 {uvicorn} /usr/local/bin/python /usr/local/bin/uvicorn --host 0.0.0.0 --port 5000 app.app:app
    9 root      0:00 {celery} /usr/local/bin/python /usr/local/bin/celery -A app.app:celery beat -l info
   10 root      0:01 {celery} /usr/local/bin/python /usr/local/bin/celery -A app.app:celery worker -l info
   12 root      0:00 {celery} /usr/local/bin/python /usr/local/bin/celery -A app.app:celery worker -l info
   13 root      0:00 {celery} /usr/local/bin/python /usr/local/bin/celery -A app.app:celery worker -l info
   21 root      0:00 sh
   27 root      0:00 ps aux

ГОТОВО!!!