Проблема: Выбор конфигурации ПК для локального запуска LLM (Large Language Models) и нейросетей с учётом ограничений по бюджету, энергопотреблению, тепловыделению и лицензионной чистоте ПО.

Причины:
1. Ограничение VRAM: Современные LLM (7B, 13B, 70B параметров) требуют 6–48+ ГБ видеопамяти. GPU с 8–12 ГБ (RTX 3060/4060) не справляются с моделями 30B+.
2. Пропускная способность памяти: DDR4/DDR5 CPU сильно медленнее HBM2e/HBM3 GPU. Инференция на CPU через llama.cpp возможна, но прирост за GPU очевиден.
3. Зависимость от архитектуры: NVIDIA CUDA — де-факто стандарт. AMD ROCm/NVLink требует совместимости и настройки.
4. Легальность драйверов и ПО: Использование потребительских RTX 4090 в вычислениях (не для игр) не нарушает законодательство РФ, но нарушения EULA NVIDIA могут повлечь отказ в гарантии/обновлениях. Сборки с GPU на базе GeForce в серверах для аренды третьим лицам — зона риска по 272-ФЗ (неправомерный доступ) при отсутствии должной изоляции.
5. Энергопотребление и охлаждение: Сборки с 3–4 RTX 4090 требуют 2400+ Вт БП и мощного кондиционирования. Тихий домашний ПК — другая задача.

Решение:
1. Для задач до 13B (тестирование, дообучение LoRA):
- GPU: 1x RTX 3090/4090 (24 ГБ VRAM). RTX 3060 12 ГБ — бюджет, но меньше производительность.
- CPU: Ryzen 5 5600 / Intel i5-12400 (минимум 32 ГБ ОЗУ DDR5 6000+).
- ПО: CUDA 12.x, PyTorch, llama.cpp, Ollama. Команда проверки доступной VRAM: `nvidia-smi`.
2. Для 70B+ (инференция, батч-генерация):
- GPU сборка: 2x RTX 3090/4090 (NVLink не требуется, объединение через tensor parallelism). Или 1x A6000 48 ГБ (официально для дата-центров, легально с «серверным» контрактом).
- CPU: Ryzen 9 7950X / Intel i9-14900K (64–128 ГБ ОЗУ DDR5).
- Альтернатива (без GPU): Apple Mac Studio M2 Ultra 192 ГБ unified memory. Нативная поддержка MLX. Легально, тихо, но дорого. Команда: `pip install mlx mlx-lm`.
3. Оптимизация без потери точности:
- Квантизация: 4-bit (GPTQ/AWQ) снижает VRAM на 50% при ~1–2% падении метрик. Команда (AutoAWQ): `from awq import AutoAWQForCausalLM`.
- CPU инференция (бюджет): llama.cpp + Q4_K_M квантизация (поддерживает 64+ ГБ ОЗУ). Команда: `./main -m model.q4_k_m.gguf -p "prompt" -ngl 0`.
4. Юридическая чистота:
- Использовать открытые веса (Mistral-7B, LLaMA-3-8B, Gemma-2-9B по лицензии Apache 2.0 или MIT).
- Не использовать модели, обученные на взломанных базах (конкурентная разведка, вероятное нарушение ст. 146 УК РФ).
- Все драйверы CUDA: скачивать с официального сайта NVIDIA (лицензия позволяет некоммерческое использование). Для серверов — приобрести подписку на CUDA Enterprise.
5. Пример минимальной сборки (35–45 тыс. руб., РФ):
- CPU: AMD Ryzen 5 5600 + B550 + 32 GB DDR4 3200 — 15–20 тыс.
- GPU: RTX 3060 12 GB (б/у) — 18–20 тыс.
- БП: 650W Gold (поддержка пиковой нагрузки).
- ОС: Ubuntu 22.04 LTS.

Результат: Чистая система для запуска Mistral-7B/Qwen2.5-7B на 4-bit с ~8–10 токенов/сек.