Azure Sentinel, ссылающийся на большие наборы данных

#kql #azure-log-analytics #azure-sentinel

#kql #azure-log-analytics #azure-sentinel

Вопрос:

Я пытался найти наиболее эффективное (элегантное) решение для достижения того, что я пытаюсь сделать. Я хотел бы услышать мнение сообщества, спасибо.

Ситуация:

  • Необходимо геообогащать записи IP-адресов в Sentinel. Пример: журналы успешной регистрации, поскольку обогащение MSFT иногда генерирует «Неизвестные» результаты в картах обогащения IP.
  • Внешний ссылочный файл (subnet, country_code, country_name) доступен публично, однако размер и количество записей довольно велики. (~ 12 МБ, более 200 Тыс. записей).

Проблема:

  • Попытался использовать blob-объект учетной записи хранилища для размещения «справочной таблицы», по-видимому, превысив ограничение на максимальный размер blob-объекта в учетной записи хранилища.
  • Похоже, что их максимум. 30.000 записей в рабочих книгах для чтения из внешних источников с помощью команды ‘externaldata’. Следовательно, можно считывать и ссылаться только на частичные справочные данные.

Рассмотренные варианты:

  1. Вставьте справочную таблицу в рабочую область log analytics, выполните объединение / поиск в этой пользовательской справочной таблице для обогащения
  2. Экспортируйте IP-адреса из таблицы SigninLogs в хранилище больших двоичных объектов, дополните IP-адрес с помощью logicapps, а затем поместите его обратно в «эталонное» хранилище больших двоичных объектов. затем прочитайте «ссылочное» хранилище больших двоичных объектов, используя синтаксис «externaldata».

Наблюдаемое ограничение:

  • Пришел к выводу, что Sentinel не может выполнить вызов API для обогащения из внешних данных. (CMIIW). Я делал аналогичные вещи с Splunk, и мы могли бы обогащать данные на лету, вызывая несколько вызовов API для внешней базы данных.

Ответ №1:

  1. Ввод данных — как вы уже упоминали, ввод данных и объединение таблиц. Вам нужно будет регулярно использовать это, чтобы убедиться, что вы можете выполнять поиск данных в пределах требуемого временного диапазона (например, если у вас есть правило аналитики, то это позволяет просматривать данные только за 14-дневный период).
  2. Используйте учебник — если вам нужен поиск по гео-IP после инцидента, вы можете выполнить это с помощью приложения Logic
  3. Используйте записные книжки Jupyter — это позволяет гибко выполнять вызовы API для внешних расположений и присоединять данные к данным, размещенным в Sentinel. Примером записной книжки является записная книжка IP Explorer. Используйте записные книжки Jupyter для поиска угроз безопасности
  4. Анализ угроз — корпорация Майкрософт дополняет все импортированные показатели анализа угроз данными геолокации и WhoIs, которые отображаются вместе с другими подробными сведениями об индикаторах.

Комментарии:

1. Спасибо, Алистер, в итоге я принял данные, гораздо более простые решения