Можно ли извлекать данные хранилища данных AWS IoT analytics в набор данных в режиме реального времени?

#aws-iot #aws-iot-analytics #aws-iot-core

#aws-iot #aws-iot-analytics #aws-iot-core

Вопрос:

Я использую AWS QuickSight для отображения диаграмм. Источником данных является набор данных AWS IoT analytics.

Возможно ли переносить данные хранилища данных AWS IoT analytics в набор данных в режиме реального времени? Я знаю, что мы можем сделать это вручную run now , и у этого будут данные на момент нажатия кнопки run now . Есть ли какой-либо способ автоматического добавления данных в реальном времени в набор данных?

В настоящее время минимальная частота автоматического извлечения данных из хранилища данных в набор данных составляет 1 минуту. Это означает, что данные в наборе данных (и, следовательно, диаграммы QuickSight) всегда будут устаревать на 1 минуту.

Ответ №1:

Планирование регулярного выполнения запроса для обновления набора данных — единственный автоматический вариант при использовании наборов данных AWS IoT Analytics. Самая высокая частота составляет 1 минуту (почти в режиме реального времени), что идеально подходит для большинства решений с поддержкой Интернета вещей.

Альтернативным решением, которое стоит изучить, было бы использование AWS IoT Core и пересылка сообщений из потока тем в Lambda с помощью правил IoT Core, затем размещение записей в потоке доставки данных Amazon Kinesis Firehose и, наконец, использование Amazon QuickSight для визуализации данных, хранящихся в корзине S3. Эта ссылка представляет собой руководство о том, как это сделать.

Комментарии:

1. Как насчет AWS DynamoDB или AWS Timestream db вместо корзины S3?

2. Это действительно зависит от вашего варианта использования. Как вы знаете, S3 не является базой данных и подходит для хранения статических наборов данных, предлагая значительное преимущество в затратах. Если ваша бизнес-проблема зависит от времени и зависит от потоковых данных, я бы предложил рассмотреть базу данных временных рядов. В этом случае вам также следует задаться вопросом, достаточно ли хорош Amazon QuickSight для уровня представления. Надеюсь, это поможет.

3. Что касается IoT, каковы другие варианты уровня представления?

4. Кроме того, вы упомянули «сообщения из темы передаются в Lambda через основные правила IoT, а затем помещают записи в поток доставки пожарного шланга Amazon Kinesis Data» — вместо действия Lambda почему бы не напрямую в действие «Пожарный шланг Kinesis Data»?

5. Для уровня представления я бы рекомендовал вам взглянуть на Grafana. Очевидно, что это не управляемый сервис AWS, но его все равно можно легко развернуть и масштабировать на AWS. Lambda предоставляет вам дополнительный уровень гибкости для обработки полезной нагрузки, добавления некоторой бизнес-логики и маршрутизации в разные пункты назначения. Опять же, это действительно зависит от вашей бизнес-проблемы, о которой у меня мало подробностей.