Блог

Главная - Вопросы по программированию - Ошибка Apache — количество слов — исключение NoResourceAvailableException

Ошибка Apache — количество слов — исключение NoResourceAvailableException

#java #apache-flink

#java #apache-flink

Вопрос:

Установка (загрузка и загрузка zxf) Apache Flink 1.11.1 и запуск: ./bin/flink run examples/streaming/WordCount.jar он отображается в приятном сообщении более чем через 5 минут. попытка отправки:

    Caused by: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate the required slot within slot request timeout. Please make sure that the cluster has enough resources.
    at org.apache.flink.runtime.scheduler.DefaultScheduler.maybeWrapWithNoResourceAvailableException(DefaultScheduler.java:441)
    ... 45 more
Caused by: java.util.concurrent.CompletionException: java.util.concurrent.TimeoutException
    at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292)
    at java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.java:308)
    at java.util.concurrent.CompletableFuture.uniApply(CompletableFuture.java:607)
    at java.util.concurrent.CompletableFuture$UniApply.tryFire(CompletableFuture.java:591)

Это конфигурация Flink по умолчанию.

 Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                8
On-line CPU(s) list:   0-7
Thread(s) per core:    1
Core(s) per socket:    1

свободно -g

               total        used        free      shared  buff/cache   available
Mem:             62           1          23           3          37          57
Swap:             7           0           7

есть ли какие-то советы по поводу: что здесь произошло?

Комментарии:

1. Можно ли проверить, что в JobManager зарегистрированы исполнители задач? Вы должны увидеть это в веб-интерфейсе или в журналах JobManager.

2. Информация о журналах: 2020-10-07 17:11:25,233 INFO org.apache. flink.runtime.taskexecutor. TaskExecutor [] — выделенный слот для 36ab206aecabb3dc5f45b77d3bf671fb. 2020-10-07 17:11:25,233 INFO 2020-10-07 17:11:25,236 INFO org.apache. flink.runtime.taskexecutor. DefaultJobLeaderService [] — разрешенный адрес JobManager, начало регистрации 2020-10-07 17:11:35,233 INFO org.apache. flink.runtime.taskexecutor.слот. TaskSlotTableImpl [] — свободный слот TaskSlot (индекс: 0, состояние: ВЫДЕЛЕНО, профиль ресурса: ResourceProfile{CPUCores=1.0000000000000000, taskHeapMemory= 843.600мб, taskOffHeapMemory= 0 байт

3. Не могли бы вы поделиться с нами полными журналами для обоих процессов?

4. конечно, Хачатрян Роман — из вашей команды? Я отправил ему полные журналы.

5. Не могли бы вы также опубликовать журналы здесь (если они не содержат конфиденциальной информации)? Это также дало бы сообществу возможность помочь.

Ответ №1:

Эта проблема была исправлена в Flink 1.11.3. Обратитесь к этой ссылке.