Блог

Существует ли концепция машинного обучения (алгоритм или система с несколькими классификаторами), которая может обнаруживать различия в сетевых атаках (или пытаться).

Одной из самых больших проблем для систем обнаружения вторжений на основе сигнатур является неспособность обнаруживать новые или альтернативные атаки.

Чтение, обнаружение аномалий, по-видимому, все еще является статистическим методом, основанным на анализе. это относится к обнаружению шаблонов в заданном наборе данных, что не то же самое, что обнаружение изменений в полезной нагрузке пакетов. NIDS на основе аномалий отслеживает сетевой трафик и сравнивает его с установленным базовым уровнем нормального профиля трафика. Базовая линия характеризует то, что является «нормальным» для сети, например, нормальное использование полосы пропускания, используемые общие протоколы, правильные комбинации номеров портов и устройств и т. Д

Скажем, кто-то использует вирус A для распространения по сети, затем кто-то пишет правило для остановки вируса A, но другой человек пишет «вариацию» вируса A, называемую вирусом B, исключительно в целях уклонения от этого начального правила, но при этом использует большинство, если не все, тех же тактик / кода. Нет ли способа обнаружить отклонение?

Если есть общий термин, под который он подпадает, поскольку я был в иллюзии, что обнаружение аномалий было им.

Можно ли использовать машинное обучение для распознавания образов (а не сопоставления с образцом) на уровне полезной нагрузки пакета?

я думаю, что ваше намерение взглянуть на методы машинного обучения является правильным или окажется правильным (одной из самых больших проблем для систем обнаружения вторжений на основе сигнатур является неспособность обнаруживать новые или альтернативные атаки.) Превосходная производительность технологий ML в целом обусловлена способностью этих алгоритмов к обобщению (множество мягких ограничений, а не несколько жестких ограничений). и адаптация (обновления на основе новых обучающих экземпляров для устранения простых контрмер) — два атрибута, которые, как я полагаю, имеют решающее значение для выявления сетевых атак.

Помимо теоретического обещания, существуют практические трудности с применением методов ML к проблемам, подобным той, которая изложена в OP. Безусловно, наиболее значительным является сложность сбора данных для обучения классификатора. В частности, надежная маркировка точек данных как «вторжение», вероятно, непросто; аналогично, я предполагаю, что эти экземпляры редко распределены в необработанных данных «.

Я полагаю, что именно это ограничение привело к возросшему интересу (о чем свидетельствует, по крайней мере, опубликованная литература) к применению неконтролируемых методов ML к таким проблемам, как обнаружение сетевых вторжений.

Неконтролируемые методы отличаются от контролируемых методов тем, что данные передаются в алгоритмы без переменной ответа (т. Е. Без меток классов). В этих случаях вы полагаетесь на алгоритм для распознавания структуры в данных, то есть некоторого внутреннего упорядочения данных в достаточно стабильные группы или кластеры (возможно, то, что вы имели в виду под «дисперсией». Таким образом, при использовании неконтролируемого метода нет необходимости явно показывать экземпляры алгоритмов каждого класса, а также нет необходимости устанавливать базовые измерения и т. Д.

Наиболее часто используемым неконтролируемым методом ML, применяемым к задачам такого типа, вероятно, является карта Кохонена (также иногда называемая самоорганизующейся картой или SOM).)

я часто использую карты Кохонена, но пока не для этой цели. Однако существует множество опубликованных отчетов об их успешном применении в интересующей вас области, например,

Динамическое обнаружение вторжений с использованием самоорганизующихся карт

Несколько самоорганизующихся карт для обнаружения вторжений

Я знаю, что в MATLAB есть по крайней мере одна доступная реализация карты Кохонена — SOM Toolbox. Домашняя страница этого набора инструментов также содержит краткое введение в карты Кохонена.