Когда использовать API “/ весь” против “/ последнего” в Azure Anomaly Detector?

#anomaly-detection #azure-anomaly-detection #azure-anomaly-detector

#обнаружение аномалий #azure-обнаружение аномалий #azure-anomaly-detector

Вопрос:

Просматривая документы API-интерфейсов детектора аномалий, я обнаружил, что существует два API (или «режима»): /last и /весь. В документе говорится, что они работают в потоковом и пакетном режимах. Однако я не думаю, что сообщение очень четкое, и два API / режима, похоже, имеют действительно схожую функциональность. У меня есть некоторые данные IoT от датчиков на заводе; Я мог бы предварительно обработать данные, чтобы убедиться, что они соответствуют требованиям API; я мог бы кодировать на C # в своем приложении. Кто-нибудь может помочь уточнить, как выбрать лучший API для использования в моем сценарии?

Я пробовал оба API в Azure notebook

Ответ №1:

Спасибо за использование Anomaly Detector.

Конечная точка пакетного обнаружения API Anomaly Detector позволяет обнаруживать аномалии по всем данным временных рядов. В этом режиме обнаружения создается единая статистическая модель, которая применяется к каждой точке в наборе данных. Если ваш временной ряд имеет указанные ниже характеристики, мы рекомендуем использовать пакетное обнаружение для предварительного просмотра ваших данных за один вызов API.

  1. Сезонный временной ряд со случайными аномалиями.
  2. Временные ряды с фиксированным трендом, со случайными всплесками / провалами.

Мы не рекомендуем использовать пакетное обнаружение аномалий для мониторинга данных в режиме реального времени или использовать его для данных временных рядов, которые не имеют вышеуказанных характеристик.

  1. Обнаружение пакетов создает и применяет только одну модель, обнаружение для каждой точки выполняется в контексте всей серии.

    Если данные временных рядов имеют тенденцию к росту и снижению без учета сезонности, модель может пропустить некоторые моменты изменения (провалы и всплески в данных). Аналогично, некоторые моменты изменений, которые являются менее значимыми, чем последующие в наборе данных, могут не считаться достаточно значительными для включения в модель.

  2. Обнаружение пакетов происходит медленнее, чем обнаружение состояния аномалии последней точки при мониторинге данных в режиме реального времени, из-за большого количества анализируемых точек.

Для мониторинга данных в режиме реального времени мы рекомендуем определять состояние аномалий только для вашей последней точки данных. Благодаря постоянному применению новейших методов определения точек мониторинг потоковых данных может осуществляться более эффективно и точно.

Приведенный ниже пример описывает влияние, которое эти режимы обнаружения могут оказать на производительность. На первом рисунке показан результат непрерывного обнаружения последней точки статуса аномалии вдоль 28 ранее замеченных точек данных. Красные точки — это аномалии.

Изображение, показывающее обнаружение аномалий с использованием последней точки

Ниже приведен тот же набор данных с использованием пакетного обнаружения аномалий. Модель, построенная для этой операции, проигнорировала несколько аномалий, отмеченных прямоугольниками.

Изображение, показывающее обнаружение аномалий с использованием пакетного метода

Еще раз спасибо, мы добавим эту информацию в общедоступную документацию рекламного сервиса.

Комментарии:

1. Это ответ на мой вопрос. Учитывая проблемы с производительностью (задержкой), кажется, я бы выбрал /last и посмотрел, как он влияет на точность. спасибо за исчерпывающий ответ.