Будет ли Флинк терять какое-то старое состояние с ключом при изменении параллелизма

#apache-flink #flink-streaming

Вопрос:

Будет ли Flink терять какое-то старое состояние с ключом при изменении параллелизма, например 2 — > 5 или 5 ->> 3?

Ответ №1:

Нет, Flink не потеряет никакого состояния (с ключом или иным образом) при масштабировании. Все, что делает масштабирование в состояние с ключом, — это перераспределение данных путем изменения сопоставления между группами ключей и слотами задач.

Комментарии:

1. Спасибо за ваш повтор. Если мы не установим максимальный параллелизм и изменим параллелизм на очень большое число, будет ли потеря состояния?

2. Вы не сможете установить фактический параллелизм на что-то большее, чем максимальный параллелизм (по умолчанию 128). Поэтому, чтобы увеличить параллелизм сверх этого предела, вам придется либо отказаться от состояния, либо использовать API процессора состояний для изменения максимального параллелизма.