Введение
В мире автоматизации OSINT расследований SpiderFoot представляет собой одну из самых мощных и удобных платформ для автоматического сбора и анализа информации из открытых источников. В 2026 году SpiderFoot остается одним из самых популярных инструментов для OSINT расследований благодаря своей автоматизации, веб-интерфейсу и множеству модулей. Умение правильно установить и настроить SpiderFoot критически важно для специалистов по безопасности, исследователей, журналистов и всех, кто занимается легальными OSINT расследованиями.
Проблема установки и настройки SpiderFoot актуальна для многих специалистов: исследователи нуждаются в автоматизированных инструментах для сбора информации, специалисты по безопасности анализируют утечки данных и угрозы, журналисты проводят расследования, системные администраторы настраивают инструменты для корпоративной безопасности. Без правильной установки и настройки невозможно эффективно использовать SpiderFoot, проводить автоматизированные расследования или анализировать открытые источники. SpiderFoot решает проблему автоматизации OSINT, предоставляя мощную платформу с веб-интерфейсом и множеством модулей.
Преимущества использования SpiderFoot очевидны: платформа обеспечивает автоматизацию сбора информации, имеет удобный веб-интерфейс, поддерживает более 200 модулей для различных источников, предоставляет визуализацию данных, экспортирует результаты в различные форматы, и является бесплатной и открытой. Для исследователей SpiderFoot позволяет автоматизировать рутинные задачи сбора информации. Для специалистов по безопасности SpiderFoot помогает выявлять утечки и угрозы. Для начинающих веб-интерфейс делает работу проще, чем командная строка.
В этом полном руководстве мы подробно разберем все аспекты установки и настройки SpiderFoot: от системных требований и установки на различных платформах до настройки веб-интерфейса, работы с модулями, создания сканов, анализа результатов и практических примеров расследований. Вы узнаете, что такое SpiderFoot, как его установить на Linux, macOS и Windows, как настроить веб-интерфейс, как работать с модулями, как создавать и запускать сканы, как анализировать результаты, и как использовать SpiderFoot для различных типов расследований. Материал подходит как для начинающих, желающих установить свой первый OSINT инструмент, так и для опытных исследователей, стремящихся автоматизировать свои расследования.
ВАЖНО: Данное руководство создано исключительно в образовательных целях и для легального использования в расследованиях, исследованиях, безопасности и образовании. Использование описанных инструментов для незаконных целей, преследования или нарушения прав людей является незаконным.
Данное руководство создано на основе официальной документации SpiderFoot, практического опыта использования и актуальной информации 2026 года. Мы включили пошаговые инструкции по установке на различных платформах, настройке веб-интерфейса, работе с модулями, созданию сканов, анализу результатов и практическим примерам расследований. Каждый раздел содержит не только теоретическую информацию, но и практические примеры для легального использования.
Содержание
1. Что такое SpiderFoot: определение и базовые концепции
2. История развития SpiderFoot: создание и эволюция
3. Архитектура SpiderFoot: как работает платформа
4. Системные требования: что нужно для работы
5. Установка на Linux: пошаговая инструкция
6. Установка на macOS: пошаговая инструкция
7. Установка на Windows: пошаговая инструкция
8. Первый запуск: настройка веб-интерфейса
9. Работа с модулями: обзор и настройка
10. Создание сканов: типы целей и настройки
11. Анализ результатов: интерпретация данных
12. Визуализация данных: графы и связи
13. Экспорт результатов: форматы и использование
14. Настройка API ключей: интеграция с сервисами
15. Продвинутые настройки: оптимизация и кастомизация
16. Практические примеры расследований: кейсы
17. Решение типичных проблем: ошибки и исправления
18. Легальное использование: этика и законодательство
19. FAQ: ответы на частые вопросы
20. Заключение
---
1. Что такое SpiderFoot: определение и базовые концепции
Определение SpiderFoot
SpiderFoot - это автоматизированная платформа для OSINT (Open Source Intelligence) расследований, которая собирает информацию из множества открытых источников и анализирует данные. SpiderFoot предоставляет веб-интерфейс для создания сканов, настройки модулей и анализа результатов.
Основные характеристики SpiderFoot:
1. Автоматизация - автоматический сбор информации из множества источников
2. Веб-интерфейс - удобный графический интерфейс для работы
3. Множество модулей - более 200 модулей для различных источников
4. Визуализация - визуализация связей и данных
5. Экспорт - экспорт результатов в различные форматы
6. Бесплатный - открытый исходный код, бесплатно
Основные компоненты SpiderFoot
| Компонент | Описание | Назначение |
|---|---|---|
| Веб-интерфейс | Графический интерфейс | Управление сканами и настройками |
| Модули | Модули для сбора информации | Автоматический сбор из источников |
| База данных | Хранение результатов | Сохранение собранных данных |
| API | Программный интерфейс | Автоматизация через API |
| Визуализация | Графы и связи | Визуализация собранных данных |
Типы модулей
| Тип модуля | Описание | Примеры |
|---|---|---|
| Passive | Пассивный сбор (без прямого взаимодействия) | WHOIS, DNS, поиск в Google |
| Active | Активный сбор (прямое взаимодействие) | Сканирование портов, проверка сервисов |
| Footprint | Сбор информации о цели | Поддомены, IP адреса, email |
| Investigate | Исследование собранных данных | Анализ связей, проверка данных |
Зачем нужен SpiderFoot
| Область применения | Задачи | Легальное использование |
|---|---|---|
| OSINT расследования | Автоматический сбор информации | ✅ Легально для расследований |
| Безопасность | Выявление утечек данных, анализ угроз | ✅ Легально для безопасности |
| Журналистика | Проверка фактов, расследования | ✅ Легально для журналистики |
| Корпоративная безопасность | Анализ рисков, мониторинг | ✅ Легально с разрешением |
| Образование | Изучение OSINT методов | ✅ Легально для обучения |
| Преследование | Использование для преследования | ❌ НЕЗАКОННО |
⚠️ Правовое предупреждение
В Российской Федерации:
- OSINT является легальным методом сбора информации
- Использование должно соответствовать законодательству о персональных данных
- Запрещено использование для преследования или незаконных целей
- Соблюдайте этические принципы
---
2. История развития SpiderFoot: создание и эволюция
Создание SpiderFoot (2012)
SpiderFoot был создан в 2012 году как инструмент для автоматизации OSINT расследований. Проект разработан с фокусом на автоматизацию и удобство использования.
Эволюция платформы
| Год | Событие | Значение |
|---|---|---|
| 2012 | Создание SpiderFoot | Первая версия платформы |
| 2013-2015 | Развитие модулей | Расширение функциональности |
| 2016-2018 | Улучшение интерфейса | Улучшение веб-интерфейса |
| 2019-2021 | Стабилизация | Улучшение стабильности |
| 2022-2024 | Новые модули | Добавление новых источников |
| 2026 | Актуальная версия | Стабильная и функциональная платформа |
Версии SpiderFoot
| Версия | Описание | Статус |
|---|---|---|
| SpiderFoot 2.x | Ранние версии | Устарели |
| SpiderFoot 3.x | Текущая стабильная версия | Актуальна |
| SpiderFoot 4.x | Разработка | В разработке |
Тренды 2026 года
| Тренд | Описание | Примеры |
|---|---|---|
| Новые модули | Добавление модулей для новых источников | Новые социальные сети, API |
| Улучшение производительности | Оптимизация скорости работы | Параллельная обработка |
| Улучшение интерфейса | Более удобный веб-интерфейс | Новый дизайн, функции |
| Интеграции | Интеграция с другими инструментами | API, экспорт данных |
---
3. Архитектура SpiderFoot: как работает платформа
Архитектура платформы
SpiderFoot использует модульную архитектуру:
text
┌─────────────────────────────────────┐
│ Веб-интерфейс (Flask) │
│ - Управление сканами │
│ - Настройка модулей │
│ - Просмотр результатов │
└──────────────┬──────────────────────┘
│
┌──────────────▼──────────────────────┐
│ Ядро SpiderFoot │
│ - Управление модулями │
│ - Обработка данных │
│ - Управление базой данных │
└──────────────┬──────────────────────┘
│
┌──────────────▼──────────────────────┐
│ Модули (200+) │
│ - WHOIS модули │
│ - DNS модули │
│ - Социальные сети │
│ - Поисковые системы │
└──────────────┬──────────────────────┘
│
┌──────────────▼──────────────────────┐
│ База данных (SQLite) │
│ - Хранение результатов │
│ - Связи между данными │
└─────────────────────────────────────┘
Процесс работы
1. Создание скана:
- Пользователь создает новый скан через веб-интерфейс
- Указывает тип цели (домен, IP, email и т.д.)
- Выбирает модули для использования
2. Запуск модулей:
- SpiderFoot запускает выбранные модули
- Каждый модуль собирает информацию из своего источника
- Данные сохраняются в базу данных
3. Анализ данных:
- SpiderFoot анализирует собранные данные
- Создает связи между различными элементами
- Визуализирует результаты
4. Просмотр результатов:
- Пользователь просматривает результаты через веб-интерфейс
- Анализирует собранную информацию
- Экспортирует результаты
---
4. Системные требования: что нужно для работы
Требования для сервера
| Компонент | Минимальные требования | Рекомендуемые требования |
|---|---|---|
| ОС | Linux, macOS, Windows | Linux (Ubuntu 20.04+) |
| CPU | 1 ядро, 1 GHz | 2+ ядра, 2+ GHz |
| ОЗУ | 2 GB | 4 GB или более |
| Диск | 5 GB свободного места | 20 GB или более |
| Python | Python 3.6+ | Python 3.9+ |
| Интернет | Стабильное соединение | Высокоскоростное соединение |
Требования для клиента (веб-браузер)
| Компонент | Требование |
|---|---|
| Браузер | Современный браузер (Chrome, Firefox, Safari, Edge) |
| JavaScript | Включен JavaScript |
| Разрешение | Минимум 1024x768 |
Зависимости
| Зависимость | Описание | Установка |
|---|---|---|
| Python 3 | Язык программирования | Встроен в большинство систем |
| pip | Менеджер пакетов Python | `apt install python3-pip` |
| Git | Для клонирования репозитория | `apt install git` |
Проверка готовности системы
Для Linux:
bash
<h2 id="proverka-python">Проверка Python</h2>
python3 --version
<h2 id="proverka-pip">Проверка pip</h2>
pip3 --version
<h2 id="proverka-git">Проверка Git</h2>
git --version
<h2 id="proverka-ozu">Проверка ОЗУ</h2>
free -h
<h2 id="proverka-diska">Проверка диска</h2>
df -h
---
5. Установка на Linux: пошаговая инструкция
⚠️ Правовое предупреждение
Установка и использование SpiderFoot в Российской Федерации для незаконных целей является незаконным. Данная инструкция предназначена исключительно для:
- Легальных расследований и исследований
- Использования в корпоративной безопасности с соответствующими разрешениями
- Образовательных целей
- Понимания инструментов для защиты от утечек информации
Подготовка системы
Шаг 1: Обновление системы
bash
<h2 id="ubuntu-debian">Ubuntu/Debian</h2>
sudo apt update
sudo apt upgrade -y
<h2 id="centos-rhel">CentOS/RHEL</h2>
sudo yum update -y
<h2 id="ili">или</h2>
sudo dnf update -y
Шаг 2: Установка зависимостей
bash
<h2 id="ubuntu-debian">Ubuntu/Debian</h2>
sudo apt install -y python3 python3-pip python3-dev git
<h2 id="centos-rhel">CentOS/RHEL</h2>
sudo yum install -y python3 python3-pip git
<h2 id="ili">или</h2>
sudo dnf install -y python3 python3-pip git
Установка SpiderFoot
Метод 1: Клонирование с GitHub (рекомендуется)
bash
<h2 id="sozdanie-rabochey-direktorii">Создание рабочей директории</h2>
mkdir -p ~/tools
cd ~/tools
<h2 id="klonirovanie-repozitoriya">Клонирование репозитория</h2>
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
<h2 id="ustanovka-zavisimostey-python">Установка зависимостей Python</h2>
pip3 install -r requirements.txt
<h2 id="ili-s-ispolzovaniem-virtualnogo-okruzheniya-rekomenduetsya">Или с использованием виртуального окружения (рекомендуется)</h2>
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
Метод 2: Установка через pip
bash
<h2 id="ustanovka-spiderfoot-cherez-pip">Установка SpiderFoot через pip</h2>
pip3 install spiderfoot
<h2 id="ili-s-virtualnym-okruzheniem">Или с виртуальным окружением</h2>
python3 -m venv venv
source venv/bin/activate
pip install spiderfoot
Первый запуск
bash
<h2 id="perehod-v-direktoriyu-spiderfoot">Переход в директорию SpiderFoot</h2>
cd ~/tools/spiderfoot
<h2 id="aktivatsiya-virtualnogo-okruzheniya-esli-ispolzovali">Активация виртуального окружения (если использовали)</h2>
source venv/bin/activate
<h2 id="zapusk-spiderfoot">Запуск SpiderFoot</h2>
python3 sf.py
<h2 id="ili-s-ukazaniem-adresa-i-porta">Или с указанием адреса и порта</h2>
python3 sf.py -l 127.0.0.1:5001
Доступ к веб-интерфейсу:
Откройте браузер и перейдите по адресу: http://127.0.0.1:5001
Настройка автозапуска (опционально)
Создание systemd сервиса:
bash
sudo nano /etc/systemd/system/spiderfoot.service
Добавьте:
ini
[Unit]
Description=SpiderFoot OSINT Platform
After=network.target
[Service]
Type=simple
User=ваш_пользователь
WorkingDirectory=/home/ваш_пользователь/tools/spiderfoot
ExecStart=/usr/bin/python3 /home/ваш_пользователь/tools/spiderfoot/sf.py -l 0.0.0.0:5001
Restart=on-failure
RestartSec=5s
[Install]
WantedBy=multi-user.target
Активация сервиса:
bash
sudo systemctl daemon-reload
sudo systemctl enable spiderfoot
sudo systemctl start spiderfoot
sudo systemctl status spiderfoot
---
6. Установка на macOS: пошаговая инструкция
Подготовка системы
Шаг 1: Установка Homebrew (если не установлен)
bash
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
Шаг 2: Установка зависимостей
bash
<h2 id="ustanovka-python-i-git">Установка Python и Git</h2>
brew install python3 git
Установка SpiderFoot
bash
<h2 id="sozdanie-rabochey-direktorii">Создание рабочей директории</h2>
mkdir -p ~/tools
cd ~/tools
<h2 id="klonirovanie-repozitoriya">Клонирование репозитория</h2>
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
<h2 id="sozdanie-virtualnogo-okruzheniya">Создание виртуального окружения</h2>
python3 -m venv venv
source venv/bin/activate
<h2 id="ustanovka-zavisimostey">Установка зависимостей</h2>
pip install -r requirements.txt
Запуск
bash
<h2 id="aktivatsiya-virtualnogo-okruzheniya">Активация виртуального окружения</h2>
source venv/bin/activate
<h2 id="zapusk">Запуск</h2>
python3 sf.py -l 127.0.0.1:5001
Доступ к веб-интерфейсу:
Откройте браузер: http://127.0.0.1:5001
---
7. Установка на Windows: пошаговая инструкция
Подготовка системы
Шаг 1: Установка Python
1. Скачайте Python с https://www.python.org/downloads/
2. Установите Python (отметьте "Add Python to PATH")
3. Проверьте установку:
cmd
python --version
pip --version
Шаг 2: Установка Git
1. Скачайте Git с https://git-scm.com/download/win
2. Установите Git
3. Проверьте установку:
cmd
git --version
Установка SpiderFoot
Метод 1: Через Git Bash
bash
<h2 id="otkroyte-git-bash">Откройте Git Bash</h2>
<h2 id="sozdanie-direktorii">Создание директории</h2>
mkdir -p ~/tools
cd ~/tools
<h2 id="klonirovanie">Клонирование</h2>
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
<h2 id="sozdanie-virtualnogo-okruzheniya">Создание виртуального окружения</h2>
python -m venv venv
venv\Scripts\activate
<h2 id="ustanovka-zavisimostey">Установка зависимостей</h2>
pip install -r requirements.txt
Метод 2: Через командную строку
cmd
<h2 id="sozdanie-direktorii">Создание директории</h2>
mkdir C:\tools
cd C:\tools
<h2 id="klonirovanie-esli-git-ustanovlen">Клонирование (если Git установлен)</h2>
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
<h2 id="sozdanie-virtualnogo-okruzheniya">Создание виртуального окружения</h2>
python -m venv venv
venv\Scripts\activate.bat
<h2 id="ustanovka-zavisimostey">Установка зависимостей</h2>
pip install -r requirements.txt
Запуск
cmd
<h2 id="aktivatsiya-virtualnogo-okruzheniya">Активация виртуального окружения</h2>
venv\Scripts\activate.bat
<h2 id="zapusk">Запуск</h2>
python sf.py -l 127.0.0.1:5001
Доступ к веб-интерфейсу:
Откройте браузер: http://127.0.0.1:5001
---
8. Первый запуск: настройка веб-интерфейса
Доступ к веб-интерфейсу
Локальный доступ:
После запуска SpiderFoot откройте браузер и перейдите по адресу:
- http://127.0.0.1:5001 (локально)
- http://localhost:5001 (локально)
Удаленный доступ:
Для доступа с других компьютеров запустите с адресом 0.0.0.0:
bash
python3 sf.py -l 0.0.0.0:5001
Затем откройте: http://ВАШ_IP:5001
Первоначальная настройка
Шаг 1: Первый вход
При первом запуске вы увидите главную страницу SpiderFoot.
Шаг 2: Настройка профиля
1. Перейдите в Settings (Настройки)
2. Настройте базовые параметры:
- Timezone (часовой пояс)
- Language (язык)
- Theme (тема)
Шаг 3: Настройка API ключей
Для работы некоторых модулей потребуются API ключи:
- Shodan API
- VirusTotal API
- Have I Been Pwned API
- И другие
Настройка API ключей будет рассмотрена в разделе 14.
Интерфейс SpiderFoot
Основные разделы:
| Раздел | Описание |
|---|---|
| New Scan | Создание нового скана |
| Scans | Список сканов |
| Modules | Управление модулями |
| Settings | Настройки |
| Help | Помощь и документация |
---
9. Работа с модулями: обзор и настройка
Категории модулей
SpiderFoot имеет более 200 модулей, организованных по категориям:
| Категория | Описание | Примеры модулей |
|---|---|---|
| Footprint | Сбор базовой информации | WHOIS, DNS, Subdomain |
| Investigate | Исследование данных | Email verification, Phone validation |
| Passive | Пассивный сбор | Google search, Shodan |
| Active | Активный сбор | Port scan, Service detection |
| Social | Социальные сети | Twitter, Facebook, LinkedIn |
| Leak | Утечки данных | Have I Been Pwned, Breach databases |
Популярные модули
| Модуль | Категория | Описание |
|---|---|---|
| sfp_dns | Footprint | DNS информация |
| sfp_whois | Footprint | WHOIS данные |
| sfp_subdomain | Footprint | Поиск поддоменов |
| sfp_shodan | Passive | Поиск в Shodan |
| sfp_google | Passive | Поиск в Google |
| sfp_emailrep | Investigate | Проверка email |
| sfp_haveibeenpwned | Leak | Проверка утечек |
| sfp_twitter | Social | Поиск в Twitter |
Настройка модулей
Включение/отключение модулей:
1. Перейдите в раздел "Modules"
2. Найдите нужный модуль
3. Включите или отключите модуль
4. Настройте параметры модуля (если доступны)
Настройка параметров модуля:
Некоторые модули требуют настройки:
- API ключи
- Лимиты запросов
- Таймауты
- Другие параметры
Группы модулей
Предустановленные группы:
| Группа | Описание | Модули |
|---|---|---|
| Passive Only | Только пассивные модули | Без активного сканирования |
| Everything | Все модули | Максимальный охват |
| Custom | Пользовательская группа | Выбранные модули |
Создание пользовательской группы:
1. Перейдите в "Modules"
2. Выберите "Module Groups"
3. Создайте новую группу
4. Добавьте нужные модули
---
10. Создание сканов: типы целей и настройки
Типы целей
SpiderFoot поддерживает различные типы целей:
| Тип цели | Описание | Примеры |
|---|---|---|
| Domain | Доменное имя | example.com |
| IP Address | IP адрес | 192.168.1.1 |
| Email адрес | user@example.com | |
| Phone | Телефонный номер | +7 999 123-45-67 |
| Username | Имя пользователя | username |
| Person | Имя человека | Иван Иванов |
| Company | Название компании | ООО "Пример" |
Создание нового скана
Шаг 1: Открытие формы создания скана
1. Нажмите "New Scan" в главном меню
2. Откроется форма создания скана
Шаг 2: Ввод цели
1. Выберите тип цели из выпадающего списка
2. Введите значение цели (например, домен)
3. Укажите название скана (опционально)
Шаг 3: Выбор модулей
1. Выберите группу модулей или отдельные модули
2. Настройте параметры модулей (если нужно)
3. Проверьте выбранные модули
Шаг 4: Настройка скана
| Параметр | Описание | Рекомендация |
|---|---|---|
| Scan Name | Название скана | Описательное название |
| Target | Цель сканирования | Точное значение |
| Module List | Список модулей | Выберите подходящие |
| Scan Type | Тип скана | Passive или Active |
Шаг 5: Запуск скана
1. Нажмите "Start Scan"
2. Скан начнет выполняться
3. Прогресс отображается в реальном времени
Настройки скана
Базовые настройки:
- Scan Name - название скана
- Target - цель сканирования
- Module List - список модулей
- Scan Type - тип скана (Passive/Active)
Продвинутые настройки:
- Timeout - таймаут для модулей
- Threads - количество потоков
- Rate Limit - ограничение частоты запросов
---
11. Анализ результатов: интерпретация данных
Просмотр результатов скана
Шаг 1: Открытие скана
1. Перейдите в раздел "Scans"
2. Выберите нужный скан
3. Откройте результаты
Шаг 2: Просмотр данных
Результаты организованы по типам данных:
| Тип данных | Описание | Примеры |
|---|---|---|
| Domains | Домены | example.com, sub.example.com |
| IP Addresses | IP адреса | 192.168.1.1 |
| Email Addresses | Email адреса | user@example.com |
| Phone Numbers | Телефоны | +7 999 123-45-67 |
| Usernames | Имена пользователей | username |
| URLs | URL адреса | https://example.com/page |
| Files | Файлы | documents, images |
Шаг 3: Фильтрация результатов
Используйте фильтры для поиска конкретных данных:
- По типу данных
- По модулю, который нашел данные
- По дате
- По текстовому поиску
Интерпретация данных
Связи между данными:
SpiderFoot автоматически создает связи между различными элементами:
- Домен → IP адрес
- Email → Домен
- Username → Профили в соцсетях
- И другие связи
Анализ связей:
1. Просмотрите граф связей
2. Изучите связи между элементами
3. Определите важные узлы
4. Проанализируйте паттерны
Экспорт результатов
Форматы экспорта:
| Формат | Описание | Использование |
|---|---|---|
| JSON | Структурированные данные | Программная обработка |
| CSV | Табличные данные | Excel, анализ |
| XML | XML формат | Импорт в другие инструменты |
| TXT | Текстовый формат | Простой просмотр |
---
12. Визуализация данных: графы и связи
Граф связей
SpiderFoot автоматически создает граф связей между различными элементами данных.
Просмотр графа:
1. Откройте результаты скана
2. Перейдите в раздел "Graph"
3. Просмотрите визуализацию связей
Элементы графа:
| Элемент | Описание | Цвет |
|---|---|---|
| Узлы | Элементы данных | Разные цвета по типам |
| Связи | Связи между элементами | Линии между узлами |
| Метки | Информация об элементах | При наведении |
Настройка визуализации
Фильтрация графа:
- По типу данных
- По модулю
- По дате
- По важности
Масштабирование:
- Увеличение/уменьшение
- Перемещение по графу
- Выделение элементов
Экспорт графа
Форматы экспорта графа:
- PNG изображение
- SVG векторный формат
- PDF документ
---
13. Экспорт результатов: форматы и использование
Форматы экспорта
JSON экспорт:
bash
<h2 id="eksport-cherez-veb-interfeys">Экспорт через веб-интерфейс</h2>
<h2 id="scans-vyberite-skan-export-json">Scans → Выберите скан → Export → JSON</h2>CSV экспорт:
bash
<h2 id="eksport-v-csv-dlya-analiza-v-excel">Экспорт в CSV для анализа в Excel</h2>
<h2 id="scans-vyberite-skan-export-csv">Scans → Выберите скан → Export → CSV</h2>Использование экспортированных данных:
1. Импорт в другие инструменты
2. Анализ в Excel/Google Sheets
3. Обработка скриптами
4. Создание отчетов
Программный доступ через API
SpiderFoot API:
python
import requests
<h2 id="poluchenie-spiska-skanov">Получение списка сканов</h2>
response = requests.get('http://127.0.0.1:5001/api/v2/scans')
scans = response.json()
<h2 id="poluchenie-rezultatov-skana">Получение результатов скана</h2>
scan_id = scans[0]['id']
response = requests.get(f'http://127.0.0.1:5001/api/v2/scan/{scan_id}/results')
results = response.json()
---
14. Настройка API ключей: интеграция с сервисами
Необходимые API ключи
Многие модули SpiderFoot требуют API ключи для работы:
| Сервис | Модуль | Где получить ключ |
|---|---|---|
| Shodan | sfp_shodan | https://account.shodan.io |
| VirusTotal | sfp_virustotal | https://www.virustotal.com/gui/join-us |
| Have I Been Pwned | sfp_haveibeenpwned | https://haveibeenpwned.com/API/Key |
| Hunter.io | sfp_hunter | https://hunter.io/api |
| FullContact | sfp_fullcontact | https://www.fullcontact.com/developer/ |
Настройка API ключей
Через веб-интерфейс:
1. Перейдите в "Settings"
2. Выберите "API Keys"
3. Введите API ключи для нужных сервисов
4. Сохраните настройки
Через конфигурационный файл:
bash
<h2 id="redaktirovanie-konfiguratsii">Редактирование конфигурации</h2>
nano ~/tools/spiderfoot/spiderfoot.cfg
<h2 id="dobavlenie-api-klyuchey">Добавление API ключей</h2>
[modules]
sfp_shodan.apikey = YOUR_SHODAN_API_KEY
sfp_virustotal.apikey = YOUR_VIRUSTOTAL_API_KEY
Получение API ключей
Shodan:
1. Зарегистрируйтесь на https://account.shodan.io
2. Перейдите в API Keys
3. Создайте новый ключ
4. Скопируйте ключ
VirusTotal:
1. Зарегистрируйтесь на https://www.virustotal.com
2. Перейдите в API Key
3. Скопируйте ключ
Have I Been Pwned:
1. Зарегистрируйтесь на https://haveibeenpwned.com
2. Перейдите в API Key
3. Создайте ключ
4. Скопируйте ключ
---
15. Продвинутые настройки: оптимизация и кастомизация
Оптимизация производительности
Настройка потоков:
bash
<h2 id="v-nastroykah-spiderfoot">В настройках SpiderFoot</h2>
<h2 id="settings-advanced-threads">Settings → Advanced → Threads</h2>
<h2 id="uvelichte-kolichestvo-potokov-dlya-uskoreniya">Увеличьте количество потоков для ускорения</h2>Настройка таймаутов:
bash
<h2 id="uvelichenie-taymautov-dlya-medlennyh-moduley">Увеличение таймаутов для медленных модулей</h2>
<h2 id="settings-advanced-timeout">Settings → Advanced → Timeout</h2>Ограничение модулей:
Используйте только необходимые модули для ускорения сканирования.
Кастомизация
Настройка темы:
1. Settings → Appearance
2. Выберите тему (светлая/темная)
3. Сохраните настройки
Настройка языка:
1. Settings → Language
2. Выберите язык интерфейса
3. Сохраните настройки
---
16. Практические примеры расследований: кейсы
Пример 1: Анализ домена
Задача: Собрать информацию о домене example.com
Шаги:
1. Создайте новый скан
2. Тип цели: Domain
3. Значение: example.com
4. Выберите модули:
- sfp_whois
- sfp_dns
- sfp_subdomain
- sfp_shodan
5. Запустите скан
6. Анализируйте результаты:
- Поддомены
- IP адреса
- Email адреса
- Связанные домены
Пример 2: Поиск утечек данных
Задача: Проверить email на утечки данных
Шаги:
1. Создайте новый скан
2. Тип цели: Email
3. Значение: user@example.com
4. Выберите модули:
- sfp_haveibeenpwned
- sfp_emailrep
- sfp_hunter
5. Запустите скан
6. Проверьте результаты на утечки
Пример 3: Анализ IP адреса
Задача: Собрать информацию об IP адресе
Шаги:
1. Создайте новый скан
2. Тип цели: IP Address
3. Значение: 192.168.1.1
4. Выберите модули:
- sfp_shodan
- sfp_whois
- sfp_dns
5. Запустите скан
6. Анализируйте:
- Открытые порты
- Установленное ПО
- Геолокация
- Организация
---
17. Решение типичных проблем: ошибки и исправления
Проблема: SpiderFoot не запускается
Диагностика:
bash
<h2 id="proverka-python">Проверка Python</h2>
python3 --version
<h2 id="proverka-zavisimostey">Проверка зависимостей</h2>
pip3 list | grep -i spiderfoot
<h2 id="proverka-logov">Проверка логов</h2>
python3 sf.py 2>&1 | tee spiderfoot.log
Решения:
1. Установите все зависимости: `pip3 install -r requirements.txt`
2. Проверьте версию Python (должна быть 3.6+)
3. Проверьте права доступа к директории
4. Проверьте, не занят ли порт 5001
Проблема: Модули не работают
Диагностика:
1. Проверьте логи модулей в веб-интерфейсе
2. Проверьте наличие API ключей
3. Проверьте интернет соединение
Решения:
1. Настройте API ключи для модулей
2. Проверьте доступность источников данных
3. Увеличьте таймауты для медленных модулей
Проблема: Медленное сканирование
Решения:
1. Уменьшите количество модулей
2. Используйте только пассивные модули
3. Увеличьте количество потоков
4. Оптимизируйте настройки таймаутов
Проблема: Ошибки базы данных
Решения:
bash
<h2 id="ochistka-bazy-dannyh">Очистка базы данных</h2>
rm ~/tools/spiderfoot/spiderfoot.db
<h2 id="perezapusk-spiderfoot">Перезапуск SpiderFoot</h2>
python3 sf.py
---
18. Легальное использование: этика и законодательство
✅ Легальные сценарии использования
| Сценарий | Описание | Примеры |
|---|---|---|
| Безопасность | Выявление утечек данных, анализ угроз | Анализ собственных данных компании |
| Журналистика | Расследования, проверка фактов | Проверка информации для статей |
| Правоохранительные органы | Сбор доказательств, расследования | Легальные расследования |
| Корпоративная безопасность | Анализ рисков, защита данных | Анализ утечек информации |
| Исследования | Академические исследования | Научные исследования |
| Образование | Изучение OSINT методов | Обучение и практика |
❌ Незаконные сценарии
| Сценарий | Почему незаконно | Последствия |
|---|---|---|
| Преследование | Нарушение прав людей | Уголовная ответственность |
| Шпионаж | Незаконный сбор информации | Уголовная ответственность |
| Кража данных | Несанкционированный доступ | Уголовная ответственность |
Этические принципы
1. Уважение к приватности - не нарушайте права людей
2. Легальность - используйте только легальные методы
3. Цель - используйте информацию только для легальных целей
4. Верификация - проверяйте достоверность информации
5. Ответственность - несите ответственность за использование
---
19. FAQ: ответы на частые вопросы
Что такое SpiderFoot?
SpiderFoot - это автоматизированная платформа для OSINT расследований, которая собирает информацию из множества открытых источников.
Как установить SpiderFoot?
bash
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip3 install -r requirements.txt
python3 sf.py
Нужны ли API ключи?
Некоторые модули требуют API ключи (Shodan, VirusTotal и др.), но многие модули работают без них.
Как создать скан?
1. Нажмите "New Scan"
2. Выберите тип цели
3. Введите значение
4. Выберите модули
5. Запустите скан
Сколько времени занимает скан?
Время зависит от количества модулей и размера цели. Обычно от нескольких минут до нескольких часов.
Можно ли остановить скан?
Да, вы можете остановить скан в любой момент через веб-интерфейс.
Как экспортировать результаты?
Перейдите в результаты скана и нажмите "Export", выберите формат (JSON, CSV, XML).
Легален ли SpiderFoot?
Да, SpiderFoot легален при использовании для легальных целей. Использование для незаконных целей незаконно.
Как обновить SpiderFoot?
bash
cd ~/tools/spiderfoot
git pull
pip3 install -r requirements.txt
Можно ли использовать SpiderFoot в корпоративной безопасности?
Да, SpiderFoot широко используется в корпоративной безопасности для анализа утечек и угроз.
---
20. Заключение
SpiderFoot представляет собой мощную и удобную платформу для автоматизации OSINT расследований. В 2026 году SpiderFoot остается одним из самых популярных инструментов для OSINT благодаря своей автоматизации, веб-интерфейсу и множеству модулей. Правильная установка и настройка SpiderFoot критически важны для эффективного проведения автоматизированных расследований и сбора информации из открытых источников.
В этом руководстве мы рассмотрели все основные аспекты установки и настройки SpiderFoot: от системных требований и установки на различных платформах до настройки веб-интерфейса, работы с модулями, создания сканов, анализа результатов и практических примеров расследований. Мы изучили различные способы установки (Linux, macOS, Windows), настройку веб-интерфейса, работу с модулями, создание сканов, анализ результатов и решение типичных проблем.
⚠️ ВАЖНО: OSINT является легальным методом сбора информации, но использование должно соответствовать законодательству и этическим принципам. Использование для преследования, шпионажа или незаконных целей является незаконным. Используйте информацию ответственно и в соответствии с законодательством вашей страны.
Ключевые выводы из этого руководства:
1. Простота установки
SpiderFoot легко устанавливается на всех основных платформах. Установка занимает несколько минут.
2. Удобный интерфейс
Веб-интерфейс делает работу с SpiderFoot простой даже для начинающих.
3. Автоматизация
SpiderFoot автоматизирует рутинные задачи сбора информации, экономя время.
4. Множество модулей
Более 200 модулей покрывают различные источники информации.
5. Визуализация
Графы связей помогают понять отношения между данными.
6. Легальное использование
Используйте только для легальных целей и соблюдайте этику.
7. Практика
Регулярная практика улучшает навыки работы с SpiderFoot.
8. Образование
Изучение SpiderFoot важно для понимания OSINT методов в легальном контексте.
SpiderFoot остается незаменимым инструментом для автоматизации OSINT расследований. С правильной установкой, настройкой, пониманием модулей и соблюдением этики, SpiderFoot может значительно ускорить и улучшить процесс сбора информации из открытых источников.
Помните об этических принципах и используйте инструменты ответственно. Каждое использование должно соответствовать законодательству и уважать права людей.
Используйте информацию ответственно и в соответствии с законодательством вашей страны!
---
**⚠️ Дисклеймер:** Статья носит информационно-образовательный характер и не содержит инструкций для совершения противоправных действий.
