Контекст

Я совсем новичок в Django и пытаюсь написать сложный запрос, который, как мне кажется, будет легко записываться в необработанном SQL, но для которого я изо всех сил использую ORM.

Модели

У меня есть несколько моделей с именами SignalValue , SignalCategory , SignalSubcategory , SignalType , SignalSubtype которые имеют ту же структуру, что и следующая модель:

 class MyModel(models.Model):
    id = models.BigAutoField(primary_key=True)
    name = models.CharField()
    fullname = models.CharField()
 

У меня также есть явные модели, которые представляют отношения между моделью SignalValue и другими моделями SignalCategory , SignalSubcategory , SignalType , SignalSubtype . Каждое из этих отношений названо SignalValueCategory , SignalValueSubcategory , SignalValueType , SignalValueSubtype соответственно. Ниже SignalValueCategory приведена модель в качестве примера:

 class SignalValueCategory(models.Model):
    signal_value = models.OneToOneField(SignalValue)
    signal_category = models.ForeignKey(SignalCategory)
 

Наконец, у меня также есть две следующие модели. ResultSignal хранит все сигналы, связанные с моделью Result :

 class Result(models.Model):
    pass


class ResultSignal(models.Model):
    id = models.BigAutoField(primary_key=True)

    result = models.ForeignKey(
        Result
    )
    signal_value = models.ForeignKey(
        SignalValue
    )
 

Запрос

Чего я пытаюсь добиться, так это следующего. Для данного Result я хочу получить все ResultSignal s , которые ему принадлежат, отфильтровать их, чтобы сохранить те, которые меня интересуют, и аннотировать их двумя полями, которые мы будем называть filter_group_id и filter_group_name . Значения двух полей определяются по SignalValue заданному ResultSignal значению .

С моей точки зрения, самый простой способ достичь этого-сначала снабдить SignalValue s соответствующими filter_group_name и filter_group_id , а затем соединить полученный результат QuerySet с ResultSignal s. Тем не менее, я думаю, что в Django невозможно объединить две QuerySet группы вместе. Следовательно, я думал, что мы могли бы, возможно, использовать Prefetch объекты для достижения того, что я пытаюсь сделать, но, похоже, я не в состоянии заставить это работать должным образом.

Код

Теперь я опишу текущее состояние моих запросов.

First, annotating the SignalValue s with their corresponding filter_group_name and filter_group_id . Note that filter_aggregator in the following code is just a complex filter that allows me to select the wanted SignalValue s only. group_filter is the same filter but as a list of subfilters. Additionally, filter_name_case is a conditional expression ( Case() construct):

 # Attribute a group_filter_id and group_filter_name for each signal
signal_filters = SignalValue.objects.filter(
    filter_aggregator
).annotate(
    filter_group_id=Window(
        expression=DenseRank(),
        order_by=group_filters
    ),
    filter_group_name=filter_name_case
)
 

Затем, пытаясь присоединиться/прокомментировать SignalResult s:

 prefetch_object = Prefetch(
    lookup="signal_value",
    queryset=signal_filters,
    to_attr="test"
 )

result_signals: QuerySet = (
    last_interview_result
        .resultsignal_set
        .filter(signal_value__in=signal_values_of_interest)
        .select_related(
            'signal_value__signalvaluecategory__signal_category', 
            'signal_value__signalvaluesubcategory__signal_subcategory',
            'signal_value__signalvaluetype__signal_type',
            'signal_value__signalvaluesubtype__signal_subtype',
        )
        .prefetch_related(
            prefetch_object
        )
        .values(
            "signal_value",
            "test",
            category=F('signal_value__signalvaluecategory__signal_category__name'), 
            subcategory=F('signal_value__signalvaluesubcategory__signal_subcategory__name'),
            type=F('signal_value__signalvaluetype__signal_type__name'),
            subtype=F('signal_value__signalvaluesubtype__signal_subtype__name'),
        )
)
 

Обычно, насколько я понимаю, в результате QuerySet должно быть поле «тест», которое теперь доступно, которое будет содержать поля signal_filter первого QuerySet . Однако Джанго жалуется, что "test" не найден при вызове .values(...) в последней части моего кода: Cannot resolve keyword 'test' into field. Choices are: [...] . Это похоже to_attr на то, что параметр Prefetch объекта вообще не учитывался.

Вопросы

1. Неужели я неправильно понял функционирование annotate() и prefetch_related() функции? Если нет, то что я делаю не так в своем коде, чтобы указанный параметр to_attr не существовал в моем результате QuerySet ?
2. Есть ли лучший способ объединить два QuerySet s в Django или мне лучше использовать RawSql? Альтернативным способом было бы переключиться на Pandas, чтобы выполнить объединение в памяти, но очень часто более эффективно выполнять такие преобразования на стороне SQL с помощью хорошо продуманных запросов.

Вы на правильном пути, но просто упускаете то, что делает префетч.

1. Ваши аннотации верны, но предварительная выборка «тест» на самом деле не является атрибутом. Вы пакуете SELECT * FROM signal_value запросы, поэтому вам не нужно выполнять выбор для каждой строки. Просто отбросьте аннотацию «тест», и все будет в порядке. https://docs.djangoproject.com/en/3.2/ref/models/querysets/#prefetch-related
2. Пожалуйста, не используйте панд, в этом определенно нет необходимости, и это накладные расходы. Как вы сами сказали, более эффективно выполнять преобразования на стороне sql

Из документов на prefetch_related :

Помните, что, как всегда в случае с наборами запросов, любые последующие цепные методы, подразумевающие другой запрос к базе данных, будут игнорировать ранее кэшированные результаты и извлекать данные с помощью нового запроса к базе данных.

Это не очевидно, но values() вызов является частью этих цепных методов, которые подразумевают другой запрос и фактически отменят prefetch_related его. Это должно сработать, если вы его удалите.