Блог

Главная - Вопросы по программированию - Как настроить несколько брокеров в Django и Celery?

Как настроить несколько брокеров в Django и Celery?

#django #celery #amazon-sqs #django-celery #django-settings

#джанго #сельдерей #amazon-sqs #django-celery #django-настройки #django-сельдерей

Вопрос:

Требование: Django использует RabbitMQ (внутренний) и SQS / Kafka, обе задачи используют общие модели DB / Django.

Настройки Django поддерживают только одну конфигурацию брокера по состоянию на октябрь 2016 года

Как создать общие задачи с различными конфигурациями очередей и настройками брокера ?

Комментарии:

1. смогли ли вы найти решение для этого? У меня есть похожий вариант использования, и я не могу найти никаких конкретных решений.

2. Существуют различные способы настройки брокера. Вы пробовали использовать 2 разных приложения для сельдерея? Вы можете передать брокера в конструкторе напрямую. Т.Е. app1 = Celery(broker='amqp://') и app2 = Celery(broker='sqs://.....') . Вдобавок ко всему, я думаю, вам пришлось бы использовать shared_task docs.celeryproject.org/en/latest/django /… . Я не пробовал этого, но я думаю, что это должно сработать.

Ответ №1:

Я использовал приведенный ниже код, чтобы указать нескольких брокеров. Если я правильно помню, Celery пробует их в указанном порядке и использует первый работающий.

Примечание: IP-адреса и имена хостов, используемые в приведенном ниже примере, приведены в иллюстративных целях и должны быть адаптированы к вашей среде.

 from __future__ import absolute_import
import os
from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'backend.settings')

app = Celery('proj', broker=["redis://redis:6379/0", "redis://192.168.99.100:6379/0", "redis://192.168.99.102:6379/0"])

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()