Сетевая безопасность долгие годы строилась на сигнатурном подходе: правило для известной атаки → алерт при совпадении. Этот подход надёжен против известных угроз, но имеет фундаментальный изъян. По данным исследований Verizon DBIR 2025, среднее время между первым вторжением в сеть и его обнаружением составляет несколько недель — именно потому, что современные атаки не производят сигнатур, известных правилам IDS.

Advanced Persistent Threat (APT) группировки специально адаптируют инструменты под конкретные организации, медленно перемещаются по сети, маскируя активность под легитимный трафик. Зашифрованный трафик (в 2026 году — более 95% всего HTTP-трафика) делает анализ содержимого пакетов невозможным без дешифрования. Новые протоколы, нестандартные порты, туннелирование через DNS и ICMP — всё это обходит сигнатурные правила.

Машинное обучение меняет парадигму. Вместо вопроса «совпадает ли этот пакет с известной сигнатурой?» ML задаёт другой вопрос: «соответствует ли это поведение норме для данной сети?». Аномалия — любое отклонение от установленного базиса. Атака, которую никто ещё не видел, всё равно отклоняется от нормы.

В этом руководстве рассматривается полный стек: от теоретических основ алгоритмов до рабочего кода на Python, интеграции с Zeek и Suricata, подключения к SIEM и продвинутых техник на базе нейронных сетей.

> *⚠️ Все практические примеры предназначены для работы с собственной сетевой инфраструктурой или в авторизованных тестовых средах. Перехват и анализ чужого трафика без разрешения является нарушением законодательства.*

2. Что такое аномалия в сетевом трафике: таксономия угроз

Прежде чем выбирать алгоритм, необходимо понять, какие именно аномалии мы ищем. Не все отклонения от нормы означают атаку — и не все атаки выглядят как явные отклонения.

Три класса аномалий по характеру отклонения

Точечные аномалии (Point Anomalies) — единичное наблюдение резко отличается от остальных. Пример: один хост генерирует 50 000 DNS-запросов за минуту вместо обычных 20. Хорошо обнаруживаются статистическими методами и алгоритмами типа Isolation Forest.

Контекстуальные аномалии (Contextual Anomalies) — поведение нормально в одних условиях, но аномально в других. Пример: большой объём FTP-трафика в 3 часа ночи в воскресенье нормален для плановых резервных копий, но аномален в пиковое рабочее время. Требуют моделирования временны́х паттернов.

Коллективные аномалии (Collective Anomalies) — ни одно отдельное наблюдение не выглядит аномальным, но группа наблюдений в совокупности — да. Пример: медленное горизонтальное сканирование (1 попытка в час на каждый хост) не детектируется по отдельному событию, но коллективно указывает на разведку. Требуют корреляции событий во времени.

Категории угроз, обнаруживаемых ML

Категория угрозы	Что ищем	Тип аномалии	Сложность обнаружения
DDoS и флуд-атаки	Аномальный объём трафика к одному хосту	Точечная	Низкая
Port scanning / Nmap	Обращения к нестандартным портам, sweeping	Точечная / Коллективная	Средняя
Exfiltration данных	Необычно большой исходящий поток к внешним IP	Контекстуальная	Средняя
C2 beaconing	Периодические соединения через равные интервалы	Коллективная	Высокая
Lateral movement	Необычные SMB/RDP соединения между внутренними хостами	Контекстуальная	Высокая
DNS tunneling	Длинные поддомены, высокая энтропия DNS-запросов	Точечная	Средняя
Slow & low атаки	Минимальные отклонения, растянутые во времени	Коллективная	Очень высокая
Инсайдерские угрозы	Нетипичный доступ к ресурсам в нерабочее время	Контекстуальная	Очень высокая

> *💡 Ключевой вывод: разные классы аномалий требуют разных алгоритмов. Один универсальный детектор не решает все задачи — профессиональные системы строятся как ансамбль специализированных моделей.*

3. Алгоритмы ML для обнаружения аномалий: сравнительный обзор

В задаче обнаружения аномалий используется несколько семейств алгоритмов. Выбор зависит от типа данных, наличия меток, требований к скорости и интерпретируемости.

Unsupervised-алгоритмы (не требуют размеченных данных)

Isolation Forest — случайный лес, изолирующий аномалии. Принцип: аномальные точки изолируются быстрее нормальных, так как их меньше и они «дальше» от основного распределения. Преимущества: быстрый, масштабируемый, работает на высокоразмерных данных. Хорошо подходит для обнаружения точечных аномалий в сетевых потоках (flow-данных).

Local Outlier Factor (LOF) — оценивает локальную плотность точки относительно её соседей. Аномалия — точка с локальной плотностью значительно ниже соседей. Преимущества: выявляет кластеры аномалий разной плотности. Ограничение: медленнее на больших данных.

DBSCAN (Density-Based Spatial Clustering) — кластеризация на основе плотности. Точки, не вошедшие ни в один кластер — аномалии. Хорошо работает когда аномалии — это разрозненные «шумовые» точки вне плотных кластеров нормального поведения.

One-Class SVM — обучается только на нормальных данных, строит гиперплоскость. Всё что снаружи — аномалия. Хорошо для чётко определённого профиля нормального трафика. Требователен к настройке параметров.

Autoencoder (нейронная сеть) — обучается сжимать и восстанавливать нормальные данные. Аномальные данные восстанавливаются с высокой ошибкой (reconstruction error). Мощный метод для сложных паттернов, требует больше данных и вычислительных ресурсов.

Supervised-алгоритмы (требуют размеченных данных)

Random Forest / XGBoost — классификация с метками «нормально / аномалия». Высокая точность при наличии хороших данных. Главная проблема: разметка реальных атак трудоёмка, а дисбаланс классов (аномалий мало) требует специальной обработки (SMOTE, class_weight).

Deep Learning (LSTM, Transformer) — учитывают временну́ю последовательность. LSTM-сеть моделирует нормальное поведение трафика во времени; отклонение от предсказанного паттерна = аномалия. Особенно эффективно для C2 beaconing и slow & low атак.

Сравнительная таблица

Алгоритм	Метки нужны	Скорость	Интерпретируемость	Лучший сценарий
Isolation Forest	Нет	Высокая	Средняя	Аномальные flow-записи
LOF	Нет	Средняя	Высокая	Кластеры нетипичных хостов
DBSCAN	Нет	Средняя	Высокая	Выброски в поведении хостов
One-Class SVM	Нет	Низкая	Низкая	Строгий профиль нормы
Autoencoder	Нет	Средняя	Низкая	Сложные многомерные паттерны
Random Forest	Да	Высокая	Высокая	Классификация известных атак
LSTM	Да/Нет	Низкая	Низкая	Временны́е паттерны, beaconing

4. Сбор и подготовка данных: источники сетевого трафика

Качество ML-модели напрямую определяется качеством данных. В сетевой безопасности существует несколько уровней представления трафика, каждый со своими преимуществами.

Форматы и источники данных

PCAP (Packet Capture) — полный захват пакетов. Максимум информации: содержимое пакетов, заголовки всех уровней. Недостатки: огромный объём (1 Гбит/с трафика = ~450 GB/час PCAP), невозможен анализ зашифрованного содержимого, требует dpkt/scapy для парсинга.

NetFlow / IPFIX / sFlow — агрегированные записи о потоках (flows). Каждая запись: src/dst IP, src/dst port, протокол, количество пакетов и байт, время начала и конца потока. Не содержит payload — работает на зашифрованном трафике. Стандарт для крупных сетей. Генерируется маршрутизаторами Cisco, Juniper, Linux (nfacctd, softflowd).

Zeek Logs — Zeek (бывший Bro) генерирует структурированные JSON-логи уровня приложения: conn.log (все соединения), dns.log (DNS-запросы), http.log (HTTP), ssl.log (TLS), files.log (переданные файлы). Идеальный источник для ML — богатые признаки, структурированный формат.

Suricata EVE JSON — логи обнаружения Suricata в формате JSON. Содержат как срабатывания правил, так и метаданные потоков (flow, dns, http, tls) при включённых app layer логах.

Windows Event Logs / Sysmon — для анализа сетевой активности на уровне хоста: Sysmon Event 3 (NetworkConnect), DNS lookup, создание соединений процессами. Важен для lateral movement detection.

Публичные датасеты для обучения и тестирования

Обучение модели на реальных атаках без специализированного датасета невозможно. Проверенные открытые датасеты:

- CICIDS 2017/2018 (Canadian Institute for Cybersecurity) — flow-данные с размеченными атаками: DoS, DDoS, BruteForce, XSS, SQL Injection, Infiltration. Наиболее используемый датасет в академических работах.

- UNSW-NB15 — синтетический датасет с 9 категориями атак, 49 признаками. Хорош для бенчмаркинга алгоритмов.

- CTU-13 — реальный трафик ботнетов от Czech Technical University. Ценен для C2 и beaconing detection.

- CAIDA — реальный anonymized трафик от интернет-обменников. Для задач без атак (построение базиса нормы).

- PCAP репозиторий Wireshark — примеры аномального трафика разных типов для тестирования.

Предобработка данных

python

import pandas as pd

import numpy as np

from sklearn.preprocessing import StandardScaler, LabelEncoder



# Загрузка Zeek conn.log (после конвертации в CSV через zeek-cut)

df = pd.read_csv('conn.log.csv', sep='\t',

                 low_memory=False, na_values=['-', '(empty)'])



# Основные признаки из conn.log

features = ['duration', 'orig_bytes', 'resp_bytes',

            'orig_pkts', 'resp_pkts', 'orig_ip_bytes', 'resp_ip_bytes']



# Заполнение пропусков

df[features] = df[features].fillna(0)



# Преобразование протокола в числовой признак

le = LabelEncoder()

df['proto_enc'] = le.fit_transform(df['proto'].fillna('unknown'))

df['service_enc'] = le.fit_transform(df['service'].fillna('unknown'))



# Нормализация числовых признаков

scaler = StandardScaler()

X = df[features + ['proto_enc', 'service_enc']]

X_scaled = scaler.fit_transform(X)



print(f"Итого записей: {len(df)}")

print(f"Признаков: {X_scaled.shape[1]}")

> *⚠️ Дисбаланс классов — главная проблема сетевых датасетов: атаки составляют 0.1–5% от нормального трафика. Не применяйте accuracy как метрику — используйте Precision, Recall, F1 и ROC-AUC.*

5. Признаки (features): что извлекать из трафика для ML

Качество признаков важнее выбора алгоритма. Один и тот же алгоритм с хорошими признаками превзойдёт сложную модель с плохими.

Признаки уровня потока (flow-level features)

Базовые статистические признаки, извлекаемые из NetFlow или Zeek conn.log:

- Объём данных: orig_bytes, resp_bytes, total_bytes, bytes_per_packet

- Временны́е характеристики: duration, inter_arrival_time (IAT), IAT mean/std/max

- Количество пакетов: orig_pkts, resp_pkts, packets_per_second

- Соотношения: bytes_ratio (orig/resp), pkts_ratio, payload_ratio

- Размер пакетов: avg_packet_size, min/max/std packet size

- Флаги TCP: count SYN, ACK, FIN, RST, PSH флагов

Признаки уровня хоста (host-level features)

Агрегация по IP-адресу за временно́е окно (например, 5 минут):

python

def compute_host_features(df, window='5min'):

    """

    Агрегация признаков по хосту за временное окно.

    df: DataFrame с Zeek conn.log полями

    """

    df['ts'] = pd.to_datetime(df['ts'], unit='s')

    df = df.set_index('ts')



    agg = df.groupby('id.orig_h').resample(window).agg(

        n_connections=('uid', 'count'),

        unique_dst_hosts=('id.resp_h', 'nunique'),

        unique_dst_ports=('id.resp_p', 'nunique'),

        total_bytes_sent=('orig_bytes', 'sum'),

        total_bytes_recv=('resp_bytes', 'sum'),

        avg_duration=('duration', 'mean'),

        unique_services=('service', 'nunique'),

        failed_connections=('conn_state', lambda x: (x == 'S0').sum())

    ).reset_index()



    # Производные признаки

    agg['bytes_ratio'] = (agg['total_bytes_sent'] /

                          (agg['total_bytes_recv'] + 1))

    agg['fan_out_ratio'] = (agg['unique_dst_hosts'] /

                            (agg['n_connections'] + 1))

    agg['fail_rate'] = (agg['failed_connections'] /

                        (agg['n_connections'] + 1))



    return agg

Признаки для специфических угроз

DNS tunneling: длина поддомена, энтропия Шеннона запроса, тип записи (TXT/NULL чаще используются для тоннелирования), frequency of unique subdomains.

python

import math

from collections import Counter



def shannon_entropy(s: str) -> float:

    """Энтропия Шеннона строки — высокая при DNS-туннелировании"""

    if not s:

        return 0.0

    freq = Counter(s.lower())

    length = len(s)

    return -sum((c/length) * math.log2(c/length) for c in freq.values())



# Применение к DNS-логам Zeek

df_dns['query_entropy'] = df_dns['query'].apply(shannon_entropy)

df_dns['subdomain_len'] = df_dns['query'].apply(

    lambda x: len(x.split('.')[0]) if '.' in str(x) else 0

)

# Типичный порог: entropy > 3.5 и subdomain_len > 40 = подозрительно

C2 Beaconing: периодичность соединений, стандартное отклонение интервалов между соединениями, jitter (вариативность интервала). C2-маяки имеют низкий jitter (соединяются через строго заданный интервал).

6. Supervised vs Unsupervised: выбор подхода под задачу

Правильный выбор подхода определяет 50% успеха проекта. Критерии выбора зависят от реальных условий вашей среды.

Когда выбрать Unsupervised

- У вас нет размеченных данных атак (типичная ситуация в production)

- Вам важно обнаружить неизвестные, ранее не виданные угрозы (zero-day)

- Вы строите baseline нормального поведения сети

- Нет команды аналитиков для разметки тысяч образцов трафика

Ограничения: высокий уровень ложных срабатываний (FP), требует ручной интерпретации аномалий, результат — «это не похоже на норму», но не «это атака X».

Когда выбрать Supervised

- У вас есть исторические размеченные инциденты (SIEM-события, отчёты IR)

- Нужна классификация конкретных типов атак (DDoS vs Scan vs Exfiltration)

- Требуется высокая точность с минимальными FP для автоматического реагирования

- Доступны публичные датасеты (CICIDS) для предобучения и transfer learning

Ограничения: модель не обнаружит то, что не видела при обучении; требует регулярного переобучения при изменении трафика.

Гибридный подход — оптимальное решение

Большинство зрелых систем используют комбинацию:

1. Unsupervised → выявление всех аномалий → кластеризация и группировка

2. Supervised → классификация известных кластеров → приоритизация алертов

3. Analyst feedback loop → разметка новых кластеров → дообучение supervised-части

> *💡 Начинайте с Isolation Forest как baseline: он работает без разметки, быстро обучается и даёт разумный FP-rate при правильной настройке contamination-параметра (обычно 0.01–0.05).*

7. Установка и настройка рабочей среды: Python + Zeek + Suricata

Установка Zeek на Ubuntu/Debian

bash

# Zeek из официального репозитория

echo 'deb http://download.opensuse.org/repositories/security:/zeek/xUbuntu_22.04/ /' \

    | sudo tee /etc/apt/sources.list.d/security:zeek.list



curl -fsSL https://download.opensuse.org/repositories/security:zeek/\

xUbuntu_22.04/Release.key | gpg --dearmor \

    | sudo tee /etc/apt/trusted.gpg.d/security_zeek.gpg > /dev/null



sudo apt update && sudo apt install zeek -y



# Настройка интерфейса для мониторинга

sudo nano /opt/zeek/etc/node.cfg

# Изменить: interface=eth0  (ваш интерфейс)



# Запуск

sudo /opt/zeek/bin/zeekctl deploy

sudo /opt/zeek/bin/zeekctl status



# Логи появятся в /opt/zeek/logs/current/

ls /opt/zeek/logs/current/

# conn.log  dns.log  http.log  ssl.log  files.log  weird.log ...

Включение JSON-вывода Zeek

bash

# В /opt/zeek/share/zeek/site/local.zeek добавить:

echo '@load policy/tuning/json-logs.zeek' \

    | sudo tee -a /opt/zeek/share/zeek/site/local.zeek



sudo /opt/zeek/bin/zeekctl deploy

Установка Python-окружения для ML

bash

# Создание виртуального окружения

python3 -m venv ~/anomaly_detection

source ~/anomaly_detection/bin/activate



# Установка зависимостей

pip install pandas numpy scikit-learn \

    matplotlib seaborn tensorflow keras \

    pyarrow fastparquet zeek-logs \

    elasticsearch kafka-python



# Для работы с PCAP

pip install scapy dpkt pyshark

8. Практика: обнаружение аномалий на Python с примерами кода

Полный pipeline: Isolation Forest на Zeek conn.log

python

import pandas as pd

import numpy as np

from sklearn.ensemble import IsolationForest

from sklearn.preprocessing import StandardScaler

import json



#  Загрузка Zeek conn.log (JSON формат) 

def load_zeek_conn(filepath: str) -> pd.DataFrame:

    records = []

    with open(filepath) as f:

        for line in f:

            if line.startswith('#'):

                continue  # Пропустить заголовки

            try:

                records.append(json.loads(line))

            except json.JSONDecodeError:

                continue

    df = pd.DataFrame(records)

    return df



df = load_zeek_conn('/opt/zeek/logs/current/conn.log')



#  Выбор и подготовка признаков 

FEATURES = [

    'duration', 'orig_bytes', 'resp_bytes',

    'orig_pkts', 'resp_pkts', 'missed_bytes'

]



# Числовые значения, заполнение пропусков

for col in FEATURES:

    df[col] = pd.to_numeric(df[col], errors='coerce').fillna(0)



# Добавить производные признаки

df['bytes_ratio'] = df['orig_bytes'] / (df['resp_bytes'] + 1)

df['pkt_size_orig'] = df['orig_bytes'] / (df['orig_pkts'] + 1)

df['pkt_size_resp'] = df['resp_bytes'] / (df['resp_pkts'] + 1)



FEATURES_EXTENDED = FEATURES + ['bytes_ratio', 'pkt_size_orig', 'pkt_size_resp']

X = df[FEATURES_EXTENDED].values



#  Нормализация 

scaler = StandardScaler()

X_scaled = scaler.fit_transform(X)



#  Обучение Isolation Forest 

# contamination: ожидаемая доля аномалий (0.01 = 1%)

model = IsolationForest(

    n_estimators=200,

    max_samples='auto',

    contamination=0.01,

    random_state=42,

    n_jobs=-1

)

model.fit(X_scaled)



#  Предсказание 

# -1 = аномалия, 1 = нормально

df['anomaly_label'] = model.predict(X_scaled)

df['anomaly_score'] = model.decision_function(X_scaled)



#  Результаты 

anomalies = df[df['anomaly_label'] == -1].copy()

anomalies = anomalies.sort_values('anomaly_score')  # Самые аномальные первые



print(f"Всего записей: {len(df)}")

print(f"Аномалий найдено: {len(anomalies)} ({len(anomalies)/len(df)*100:.2f}%)")

print("\nТоп-10 наиболее аномальных соединений:")

print(anomalies[['ts', 'id.orig_h', 'id.resp_h', 'id.resp_p',

                  'proto', 'orig_bytes', 'resp_bytes',

                  'anomaly_score']].head(10).to_string())

Детектор C2 Beaconing через анализ периодичности

python

from scipy import stats



def detect_beaconing(df_conn: pd.DataFrame,

                     min_connections: int = 10,

                     jitter_threshold: float = 0.3) -> pd.DataFrame:

    """

    Обнаружение C2-beaconing по регулярности соединений.

    Возвращает пары src→dst с подозрительной периодичностью.

    """

    df = df_conn.copy()

    df['ts'] = pd.to_numeric(df['ts'], errors='coerce')

    df = df.dropna(subset=['ts', 'id.orig_h', 'id.resp_h'])



    # Группировка по паре src→dst

    groups = df.groupby(['id.orig_h', 'id.resp_h'])



    beacon_candidates = []



    for (src, dst), group in groups:

        if len(group) < min_connections:

            continue



        timestamps = sorted(group['ts'].values)

        intervals = np.diff(timestamps)  # Интервалы между соединениями



        if len(intervals) < 3:

            continue



        mean_interval = np.mean(intervals)

        std_interval = np.std(intervals)



        # Jitter = коэффициент вариации (низкий = регулярно = beaconing)

        jitter = std_interval / (mean_interval + 1e-9)



        if jitter < jitter_threshold and mean_interval > 0:

            beacon_candidates.append({

                'src': src,

                'dst': dst,

                'n_connections': len(group),

                'mean_interval_sec': round(mean_interval, 2),

                'jitter': round(jitter, 4),

                'dst_port': group['id.resp_p'].mode()[0]

                            if not group['id.resp_p'].empty else None,

                'total_bytes': group['orig_bytes'].sum()

            })



    result = pd.DataFrame(beacon_candidates)

    if not result.empty:

        result = result.sort_values('jitter')  # Наиболее регулярные первые

    return result



# Применение

df_conn = load_zeek_conn('/opt/zeek/logs/current/conn.log')

beacons = detect_beaconing(df_conn, min_connections=15, jitter_threshold=0.25)

print(f"\nПотенциальные C2 beacons: {len(beacons)}")

print(beacons.to_string())

> *✅ Jitter <>9. Интеграция с SIEM и SOAR: автоматизация реагирования
Standalone ML-детектор — это только первый шаг. Реальная ценность раскрывается при интеграции с SOC-инфраструктурой.

Отправка алертов в Elasticsearch / OpenSearch

python

from elasticsearch import Elasticsearch

from datetime import datetime



es = Elasticsearch(['http://localhost:9200'])



def send_alert(anomaly_record: dict, index: str = 'network-anomalies'):

    """Отправка аномалии в Elasticsearch для визуализации в Kibana"""

    doc = {

        '@timestamp': datetime.utcnow().isoformat(),

        'event.category': 'network',

        'event.type': 'anomaly',

        'rule.name': 'ML-IsolationForest',

        'source.ip': anomaly_record.get('id.orig_h'),

        'destination.ip': anomaly_record.get('id.resp_h'),

        'destination.port': anomaly_record.get('id.resp_p'),

        'network.protocol': anomaly_record.get('proto'),

        'network.bytes': (anomaly_record.get('orig_bytes', 0) +

                          anomaly_record.get('resp_bytes', 0)),

        'ml.anomaly_score': anomaly_record.get('anomaly_score'),

        'ml.model': 'isolation_forest_v1',

    }

    es.index(index=index, document=doc)



# Отправить топ-аномалии

for _, row in anomalies.head(50).iterrows():

    send_alert(row.to_dict())



print("Алерты отправлены в Elasticsearch")

Интеграция с Kafka для потокового анализа

python

from kafka import KafkaConsumer, KafkaProducer

import json

import pickle



# Загрузить предобученную модель

with open('isolation_forest_model.pkl', 'rb') as f:

    model = pickle.load(f)

with open('scaler.pkl', 'rb') as f:

    scaler = pickle.load(f)



consumer = KafkaConsumer(

    'zeek-conn-logs',

    bootstrap_servers=['kafka:9092'],

    value_deserializer=lambda m: json.loads(m.decode('utf-8'))

)



producer = KafkaProducer(

    bootstrap_servers=['kafka:9092'],

    value_serializer=lambda m: json.dumps(m).encode('utf-8')

)



FEATURES_EXTENDED = [

    'duration', 'orig_bytes', 'resp_bytes',

    'orig_pkts', 'resp_pkts', 'missed_bytes',

    'bytes_ratio', 'pkt_size_orig', 'pkt_size_resp'

]



for message in consumer:

    record = message.value

    # Подготовка признаков

    feats = [float(record.get(f, 0) or 0) for f in FEATURES_EXTENDED]

    X = scaler.transform([feats])

    label = model.predict(X)[0]

    score = model.decision_function(X)[0]



    if label == -1 and score < -0.1:  # Фильтр значимых аномалий

        alert = {

            record,

            'ml_label': 'anomaly',

            'ml_score': round(float(score), 4),

            'alert_time': datetime.utcnow().isoformat()

        }

        producer.send('network-anomaly-alerts', alert)

10. Коммерческие и open-source платформы: сравнение решений

Построение собственной системы — не единственный вариант. Рынок предлагает готовые решения разного масштаба.

Open-source решения

Zeek + Rita — Rita (Real Intelligence Threat Analytics) от BinaryDefense — open-source инструмент, работающий поверх Zeek-логов. Специализируется на: beaconing detection, DNS tunneling, long connections, scanning. Установка: github.com/activecm/rita.

bash

# Быстрый старт Rita

git clone https://github.com/activecm/rita

cd rita

./install.sh

rita import /opt/zeek/logs/current/ my-dataset

rita show-beacons my-dataset

rita show-long-connections my-dataset

rita show-bl-hostnames my-dataset  # Blacklisted hostnames

rita html-report my-dataset  # HTML-отчёт

Arkime (бывший Moloch) — full-packet capture + индексация + поиск. Масштабируемое решение для хранения и анализа PCAP. ML-интеграция через плагины.

Malcolm — от CISA (Агентство кибербезопасности США) — комплексная платформа: Zeek + Suricata + Arkime + OpenSearch + Kibana в Docker Compose. Лучший выбор для быстрого развёртывания SOC-окружения.

bash

# Развёртывание Malcolm

git clone https://github.com/cisagov/Malcolm

cd Malcolm

python3 scripts/install.py

# Следовать интерактивному установщику

docker compose up -d

Коммерческие платформы

Платформа	Подход	Особенности	Целевая аудитория
Darktrace	Unsupervised AI, "Enterprise Immune System"	Самообучение, нативный ML	Enterprise, MSSP
Vectra AI	NTA + ML, облачный + on-premise	Фокус на lateral movement и C2	Средний и крупный бизнес
ExtraHop Reveal(x)	Wire data + ML	Глубокий анализ протоколов	Финансы, здравоохранение
Cisco Stealthwatch	NetFlow + ML	Интеграция в экосистему Cisco	Крупные сети
Corelight	Zeek as a Service + аналитика	Коммерческий Zeek с дашбордами	SOC-команды

> *💡 Для большинства организаций Zeek + Rita + Malcolm — полнофункциональное бесплатное решение уровня enterprise. Коммерческие платформы оправданы при отсутствии инженерных ресурсов или наличии compliance-требований.*

11. Продвинутые техники: автоэнкодеры, GNN, LLM для трафика

Автоэнкодер для обнаружения сложных аномалий

Автоэнкодер обучается на нормальном трафике восстанавливать входные данные. Аномалии восстанавливаются плохо — высокая ошибка реконструкции.

python

import tensorflow as tf

from tensorflow.keras import layers, Model



def build_autoencoder(input_dim: int, encoding_dim: int = 8):

    """

    Автоэнкодер для обнаружения аномалий в сетевом трафике.

    input_dim: размерность входных признаков

    """

    # Энкодер

    inputs = layers.Input(shape=(input_dim,))

    encoded = layers.Dense(64, activation='relu')(inputs)

    encoded = layers.BatchNormalization()(encoded)

    encoded = layers.Dense(32, activation='relu')(encoded)

    encoded = layers.Dense(encoding_dim, activation='relu',

                           name='bottleneck')(encoded)



    # Декодер

    decoded = layers.Dense(32, activation='relu')(encoded)

    decoded = layers.BatchNormalization()(decoded)

    decoded = layers.Dense(64, activation='relu')(decoded)

    outputs = layers.Dense(input_dim, activation='linear')(decoded)



    autoencoder = Model(inputs, outputs, name='network_autoencoder')

    autoencoder.compile(optimizer='adam', loss='mse')

    return autoencoder



# Обучение только на нормальных данных

normal_data = X_scaled[df['anomaly_label'] == 1]  # Нормальные из IF



autoencoder = build_autoencoder(input_dim=X_scaled.shape[1])

autoencoder.fit(

    normal_data, normal_data,

    epochs=50, batch_size=256,

    validation_split=0.1,

    verbose=1,

    callbacks=[tf.keras.callbacks.EarlyStopping(patience=5)]

)



# Вычисление ошибки реконструкции

reconstructions = autoencoder.predict(X_scaled)

mse_errors = np.mean(np.power(X_scaled - reconstructions, 2), axis=1)



# Порог: 95-й перцентиль ошибок нормальных данных

threshold = np.percentile(

    mse_errors[df['anomaly_label'] == 1], 95

)

df['ae_anomaly'] = (mse_errors > threshold).astype(int)

print(f"Порог MSE: {threshold:.4f}")

print(f"Автоэнкодер выявил: {df['ae_anomaly'].sum()} аномалий")

Graph Neural Networks для lateral movement

Lateral movement — перемещение по сети между хостами — имеет характерную сетевую структуру. GNN позволяют моделировать граф сети и обнаруживать аномальные паттерны передвижения.

python

import networkx as nx



def build_network_graph(df_conn: pd.DataFrame,

                        time_window_minutes: int = 60) -> nx.DiGraph:

    """

    Построение графа сетевых взаимодействий за временное окно.

    Узлы — хосты, рёбра — соединения.

    """

    G = nx.DiGraph()



    for _, row in df_conn.iterrows():

        src = row.get('id.orig_h', '')

        dst = row.get('id.resp_h', '')

        if not src or not dst:

            continue



        # Вес ребра = объём трафика

        weight = float(row.get('orig_bytes', 0) or 0)



        if G.has_edge(src, dst):

            G[src][dst]['weight'] += weight

            G[src][dst]['count'] += 1

        else:

            G.add_edge(src, dst, weight=weight, count=1,

                       port=row.get('id.resp_p'))



    return G



# Аномальные узлы через network centrality

G = build_network_graph(df_conn)



# Высокий betweenness centrality = хост является мостом (pivot)

betweenness = nx.betweenness_centrality(G, normalized=True)

suspicious_pivots = {node: score for node, score in betweenness.items()

                     if score > 0.1}  # Порог настраивается



print("Потенциальные pivot-хосты (lateral movement):")

for host, score in sorted(suspicious_pivots.items(),

                           key=lambda x: -x[1])[:10]:

    print(f"  {host}: centrality={score:.4f}")

12. Типичные ошибки и как их избежать

За каждой из этих ошибок стоят реальные провалы проектов по внедрению ML в сетевую безопасность.

Ошибка 1: Обучение и тест на одном датасете. Модель показывает 99% accuracy — в реальности это переобучение. Всегда разделяйте данные по времени: обучение на трафике января, тест на феврале.

Ошибка 2: Игнорирование дрейфа данных. Нормальный трафик меняется: новые сервисы, изменение рабочих паттернов, сезонность. Модель, обученная год назад, будет генерировать всё больше FP. Внедряйте регулярное переобучение (monthly refit).

Ошибка 3: Неправильная метрика. В несбалансированных датасетах (99% нормы, 1% аномалий) accuracy 99% достигается предсказанием «всё нормально». Используйте F1-score, Precision-Recall curve, ROC-AUC.

Ошибка 4: Отсутствие baseline. Запустить Isolation Forest и ждать алертов — не работа. Сначала изучите нормальный трафик: топ-10 хостов по объёму, типичные порты, паттерны по времени суток. Без baseline невозможно оценить что аномально.

Ошибка 5: Слишком много алертов. 10 000 алертов в день = ни один не рассматривается. Начинайте с высокого порога (мало алертов, высокая уверенность), постепенно снижайте. Приоритизируйте по score, добавляйте context-фильтры.

Ошибка 6: Анализ только внешнего трафика. Большинство реальных атак развиваются внутри периметра. East-West трафик (хост к хосту внутри сети) содержит ключевые артефакты lateral movement. Мониторьте его отдельно.

> *⚠️ Главное правило: ML-система без аналитика бесполезна. Модель выдаёт candidates для расследования, а не окончательные вердикты. Автоматическое блокирование без проверки человеком приведёт к остановке легитимных сервисов.*

13. FAQ: 10 вопросов о AI-обнаружении аномалий

Вопрос 1: С какого объёма трафика имеет смысл внедрять ML?

Для Isolation Forest и статистических методов достаточно 10 000+ flow-записей за сутки. Для нейронных сетей и временны́х моделей — от 100 000+ записей. Небольшие сети с 50–100 хостами получают ощутимую пользу уже от Rita поверх Zeek.

Вопрос 2: Как часто нужно переобучать модель?

Unsupervised-модели (Isolation Forest, автоэнкодеры) — ежемесячно плюс при значительных изменениях сети (новые сервисы, слияния, удалённая работа). Supervised-модели — при появлении новых типов атак или при деградации метрик на тестовой выборке.

Вопрос 3: Можно ли анализировать зашифрованный HTTPS-трафик?

Содержимое нельзя, но metadata — да. Из TLS-хэндшейка: JA3/JA3S fingerprint клиента и сервера (идентифицирует SSL-библиотеки, характерные для малвари), SNI (Server Name Indication) — имя сервера, certificate данные. Из flow: объём, длительность, паттерн пакетов. Zeek ssl.log содержит все эти данные.

Вопрос 4: Что такое JA3 fingerprint и зачем он нужен?

JA3 — MD5-хэш параметров TLS ClientHello: версия, шифры, расширения, эллиптические кривые. Каждая SSL-библиотека имеет характерный JA3. Кобальтовый Strike, Metasploit, конкретные семейства малвари имеют известные JA3-отпечатки. База JA3: github.com/salesforce/ja3.

bash

# Zeek автоматически логирует JA3 в ssl.log

# Поиск известных вредоносных JA3

grep -f known_malicious_ja3.txt /opt/zeek/logs/current/ssl.log

Вопрос 5: Как снизить количество ложных срабатываний?

Методы снижения FP: whitelist легитимных внутренних IP и сервисов; контекстные фильтры по времени суток и дню недели; требование совпадения нескольких независимых детекторов (голосование); обогащение алертов IP-репутацией (Threat Intel feeds); tuning contamination-параметра после анализа первой партии алертов.

Вопрос 6: Нужен ли GPU для работы ML на трафике?

Для Isolation Forest и классических алгоритмов — нет, достаточно CPU. Для автоэнкодеров и LSTM — GPU значительно ускоряет обучение (в 10–50 раз), но не обязателен для небольших сетей. Инференс (применение обученной модели) работает быстро на CPU для всех методов.

Вопрос 7: Что такое RITA и чем она лучше самописного кода?

RITA (Real Intelligence Threat Analytics) — зрелый open-source инструмент с готовыми детекторами beaconing, DNS tunneling, long connections, scanning, blacklist-проверкой. Вместо написания detectors с нуля: установите Rita, натравите на Zeek-логи, получите HTML-отчёт за 5 минут. Ideal для команд без ML-инженеров.

Вопрос 8: Как организовать Threat Intelligence Enrichment?

python

import requests



def check_ip_reputation(ip: str, api_key: str) -> dict:

    """Проверка IP по AbuseIPDB"""

    url = f"https://api.abuseipdb.com/api/v2/check"

    headers = {'Key': api_key, 'Accept': 'application/json'}

    params = {'ipAddress': ip, 'maxAgeInDays': 90}

    resp = requests.get(url, headers=headers, params=params, timeout=5)

    if resp.status_code == 200:

        data = resp.json().get('data', {})

        return {

            'abuse_score': data.get('abuseConfidenceScore', 0),

            'total_reports': data.get('totalReports', 0),

            'country': data.get('countryCode', ''),

            'isp': data.get('isp', '')

        }

    return {}



# Обогащение топ-аномалий

for _, row in anomalies.head(20).iterrows():

    reputation = check_ip_reputation(

        row['id.resp_h'], api_key='YOUR_KEY'

    )

    if reputation.get('abuse_score', 0) > 50:

        print(f"⚠️ Высокорисковый IP: {row['id.resp_h']} "

              f"(score: {reputation['abuse_score']})")

Вопрос 9: Как хранить и версионировать ML-модели для production?

Используйте MLflow для трекинга экспериментов, версионирования моделей и управления lifecycle. Основные команды:

python

import mlflow

import mlflow.sklearn



with mlflow.start_run(run_name="isolation_forest_v2"):

    mlflow.log_params({

        'n_estimators': 200, 'contamination': 0.01

    })

    model = IsolationForest(n_estimators=200, contamination=0.01)

    model.fit(X_scaled)

    mlflow.log_metric("n_anomalies", int((model.predict(X_scaled)==-1).sum()))

    mlflow.sklearn.log_model(model, "model")

Вопрос 10: Какой датасет использовать для первоначального обучения supervised-модели?

Рекомендуется CICIDS 2017 — наиболее цитируемый датасет для NID. Содержит нормальный трафик и 14 типов атак в pcap и предобработанном CSV-формате. Скачать: cicresearch.ca/CICDataset/CIC-IDS-2017/. Для тестирования detectors специфических угроз: CTU-13 для ботнетов, UNSW-NB15 для общего benchmarking.

14. Заключение и теги

ML-подход к обнаружению аномалий в сетевом трафике в 2026 году — не экзотика, а необходимость для любой организации с реальными требованиями к безопасности. Зашифрованный трафик, zero-day угрозы, медленные APT-атаки — всё это не детектируется сигнатурными правилами, но оставляет статистический след, который улавливают ML-модели.

Практический путь внедрения: начните с Zeek для сбора структурированных логов → Rita для быстрого получения детекций beaconing и DNS-туннелирования → Isolation Forest на Python для кастомной аномальной аналитики → Elasticsearch + Kibana для визуализации → постепенное добавление supervised-моделей по мере накопления размеченных инцидентов.

Главное ограничение — не технологии, а люди. ML-система требует аналитиков, понимающих сеть, способных интерпретировать алерты и дообучать модели. Без этого компонента любая техническая система превратится в генератор шума.

Ответы (0)

Пока нет ответов. Станьте первым, кто ответит!

AI для обнаружения аномалий в сетевом трафике: от выбора алгоритма до production-развёртывания 2026

Оглавление

1. Введение: почему традиционные сигнатуры перестают работать

2. Что такое аномалия в сетевом трафике: таксономия угроз

Три класса аномалий по характеру отклонения

Категории угроз, обнаруживаемых ML

3. Алгоритмы ML для обнаружения аномалий: сравнительный обзор

Unsupervised-алгоритмы (не требуют размеченных данных)

Supervised-алгоритмы (требуют размеченных данных)

Сравнительная таблица

4. Сбор и подготовка данных: источники сетевого трафика

Форматы и источники данных

Публичные датасеты для обучения и тестирования

Предобработка данных

5. Признаки (features): что извлекать из трафика для ML

Признаки уровня потока (flow-level features)

Признаки уровня хоста (host-level features)

Признаки для специфических угроз

6. Supervised vs Unsupervised: выбор подхода под задачу

Когда выбрать Unsupervised

Когда выбрать Supervised

Гибридный подход — оптимальное решение

7. Установка и настройка рабочей среды: Python + Zeek + Suricata

Установка Zeek на Ubuntu/Debian

Включение JSON-вывода Zeek

Установка Python-окружения для ML

8. Практика: обнаружение аномалий на Python с примерами кода

Полный pipeline: Isolation Forest на Zeek conn.log

Детектор C2 Beaconing через анализ периодичности

Отправка алертов в Elasticsearch / OpenSearch

Интеграция с Kafka для потокового анализа

10. Коммерческие и open-source платформы: сравнение решений

Open-source решения

Коммерческие платформы

11. Продвинутые техники: автоэнкодеры, GNN, LLM для трафика

Автоэнкодер для обнаружения сложных аномалий

Graph Neural Networks для lateral movement

12. Типичные ошибки и как их избежать

13. FAQ: 10 вопросов о AI-обнаружении аномалий

14. Заключение и теги

Ответы (0)

Полезные материалы по теме

Wayback Machine: Полное руководство по анализу исторических версий сайтов 2026

Suricata: что такое, установка, настройка — обнаружение атак 2026

Мобильный sandbox для анализа банковского вредняка: сравнение Any.Run, Joe и Hatching — руководство 2026

Фишинг: Полное руководство по защите от фишинговых атак 2026

Войдите, чтобы ответить

Мы используем cookies