{{ t.label }}
Модель и стратегия
{{ strategyLabel }}
МодельГотовые профили реальных моделей. Плотные (dense) должны целиком влезть в видеопамять; MoE держат большую часть «экспертов» в обычной RAM.
КвантизацияСжатие весов модели. Меньше бит — меньше файл и расход памяти, но ниже качество. Q5_K_XL — хороший баланс, Q4 — когда памяти мало, FP16 — без сжатия.
Всего параметровОпределяет, сколько памяти нужно суммарно (видеопамять + оперативная). Все эксперты вместе.
{{ moeTotalShow }}B
Активных параметровРаботают на каждый токен — именно они определяют скорость. У MoE их малая доля, поэтому модель быстрая.
{{ moeActiveShow }}B
{{ o.label }}
Параметры модели{{ denseParamsB }}B
Всего{{ moeTotalB }}B
Активных{{ moeActiveB }}B
Длина контекстаСколько токенов (примерно слов) модель держит «в голове» за один диалог. Чем больше — тем больше KV-кэш занимает видеопамять.k
--parallel (слотов)Сколько запросов сервер обрабатывает одновременно. Каждый слот множит размер KV-кэша. Для себя одного держите 1.
KV-кэшБуфер «памяти внимания» по всем токенам контекста. Формат q8_0 вдвое меньше f16 и освобождает видеопамять под слои модели.
{{ o.label }}
ЗрениеПоддержка картинок (мультимодальность). Подгружает проектор mmproj (1–3 ГБ) и требует дополнительный запас видеопамяти.
{{ o.label }}
MTPСпекулятивное декодирование: маленькая «черновая» голова предсказывает несколько токенов вперёд, а основная модель проверяет их за один шаг. Ускорение 2–2.6× — только у моделей с MTP-головами (Gemma 4, Qwen 3.6).
{{ o.label }}
Draft acceptance · доля принятых черновиков MTPСколько предсказанных черновой головой токенов основная модель принимает. Видно в логе llama-server: «draft acceptance». Чем выше — тем больше ускорение. На практике 0.6–0.8.
{{ acceptPctStr }} → ускорение ×{{ specMulStr }}
{{ budgetTitle }}Видеопамять — это бюджет. Сначала из неё вычитаются служебные расходы (рабочий стол, запас, KV-кэш), а что осталось — уходит под веса модели. Тяните ползунки и смотрите, как перестраивается стопка.
{{ budgetMeta }}
① Оперативная память — {{ ramTotalStr }} ГБ
эксперты в RAM: {{ expertsRamStr }} ГБ
{{ s.label }}{{ s.gb }} ГБ
② Видеопамять — {{ vram }} ГБ
{{ capLabel }}
{{ s.label }}{{ s.gb }} ГБ
{{ offloadTitle }}Веса, не поместившиеся в видеопамять, переезжают в обычную RAM. У плотных моделей это сильно тормозит (показано красным). У MoE так и задумано: в RAM уходят «эксперты», которые нужны не на каждый токен — это нормально (синим).{{ offloadStr }} ГБ → системная RAM ({{ ram }} ГБ)
{{ s.label }}{{ s.gb }} ГБ
{{ offloadMsg }}
Регулятор выгрузки · --n-cpu-moeЗадаёт, у скольких слоёв эксперты уходят в оперативную память. Вправо — освобождается видеопамять (больше под контекст), RAM заполняется, скорость падает. Влево — наоборот.
{{ regVal }} / {{ regMax }} слоёв в RAM · {{ offloadPctStr }}
{{ autoLabel }}
всё на GPU · быстро
всё в RAM · медленно
{{ regTitle }}
{{ regMsg }}
{{ unifiedTitle }}
{{ unifiedMsg }}
Прогноз скорости генерацииток/с — токены в секунду, то есть скорость, с которой текст появляется на экране. Примерно 7 ток/с ≈ скорость чтения. Это оценка, а не гарантия.
≈ {{ tpsRangeStr }} ток/с
{{ feelLabel }}
{{ f.range }}
▼
{{ xmpNote }}
{{ mtpNote }}
{{ boundNote }}
{{ ctxNote }}
⚠ Теперь критична скорость памяти — проверьте XMP/EXPO
Якорь · вся модель в VRAM
≈ {{ anchorFullStr }} ток/с
Якорь · все эксперты в RAM
≈ {{ anchorAllRamStr }} ток/с
Главный урок: даже при полной выгрузке MoE остаётся рабочей, а плотная модель того же размера на этой видеокарте — нет.
Попробуй сломать
Включайте аварии — и сразу видите падение скорости, симптом и исправление. Лучший способ понять, откуда берутся тормоза.
{{ b.label }}{{ b.state }}
{{ b.desc }}
Этап 2 · Рекомендации движкаНевидимый «мозг» симулятора: берёт ваше железо и выдаёт готовые решения — бэкенд, инструмент, модель, квантизацию и контекст.
Невидимый «мозг» превратил ваше железо в конкретные советы: чем считать, каким инструментом запускать и какая модель вообще влезет. Незнакомый термин? Наведите на него курсор.
Бэкенд вычислений«Движок», который реально считает модель на железе: CUDA (NVIDIA), Vulkan (AMD/Intel), Metal (Apple) или только ЦП.
{{ backend }}
{{ backendNote }}
ИнструментПрограмма, через которую вы запускаете модель: LM Studio (графика), Ollama (просто), llama.cpp (контроль), vLLM (много пользователей).
{{ tool }}
{{ toolNote }}
Какие модели потянет ваша VRAMГрубый ориентир по объёму видеопамяти. Подсвечена строка вашего уровня. Плотные модели должны влезть целиком, MoE — частично, с выгрузкой в RAM.
| VRAM | Плотные модели | Гибридные MoE |
|---|---|---|
| {{ r.vram }} | {{ r.dense }} | {{ r.moe }} |
КвантизацияУровень сжатия, который советуем для вашего бюджета памяти. Выше уровень — лучше качество, но больше расход видеопамяти.
{{ quantRec }}
{{ quantRecNote }}
КонтекстРекомендуемая длина окна под вашу задачу. Помните: контекст линейно растит KV-кэш в видеопамяти.
{{ contextRec }}
{{ contextRecNote }}
Спекулятивное MTPУскорение за счёт «черновой» головы, предсказывающей токены вперёд. Есть не у всех моделей; требует проверки точности KV-кэша.
{{ mtpRec }}
{{ mtpRecNote }}
Плотная против MoE — для вашего случаяДве архитектуры. Плотная: все параметры работают на каждый токен, модель нужна в видеопамяти. MoE: активна лишь малая доля, эксперты живут в RAM.
{{ strategyExplain }}
Этап 4 · Готовая команда запускаllama-server поднимает локальный HTTP-сервер с моделью. Каждый флаг настраивает память, контекст или скорость — справа простое пояснение.
{{ copyLabel }}
Это та самая команда, что запускает сервер. Каждая строка — один флаг; справа от неё простыми словами сказано, зачем он. Скопируйте всё целиком кнопкой выше и вставьте в терминал.
{{ c.code }}{{ c.note }}Этап 5 · Почему медленно?TG (генерация токенов) — это та скорость, что вы чувствуете. Сначала поймите, ЧТО именно медленно, и только потом крутите флаги.
«Тормозит» — это не одна причина, а десяток. Подсвечены те, что активны при ваших текущих настройках. Для каждой — симптом, исправление и, главное, как проверить, что дело именно в ней.
Причина
{{ d.cause }}
Симптом
{{ d.symptom }}
Исправление
{{ d.fix }}
Как убедиться, что причина именно эта
{{ d.confirm }}
Этап 6 · БезопасностьУ llama-server нет встроенного логина. Любой, кто достучится до порта, пользуется вашей моделью и видит запросы.
Локальный сервер — это всё равно HTTP-служба, доступная по сети. Нажимайте на пункт, когда выполнили его: оценка готовности и статус каждого риска обновляются вживую.
Готовность к выходу в сетьЧем больше пунктов закрыто, тем безопаснее открывать сервер за пределы своего компьютера.
{{ secVerdict }}
Закрыто {{ secCount }} из {{ secTotal }} пунктов
{{ r.check }}
{{ r.item }}
{{ r.why }}
{{ r.test }}{{ r.statusLabel }}{{ r.statusText }}