Хочешь общаться с ИИ-персонажем на своём ПК, но не знаешь, какую модель скачать? Начни с видеопамяти: для 6 GB стоит попробовать Stheno 8B Q4, для 8 GB — Qwen3.5-9B Q4 или Stheno Q5, для 12 GB — Saiga Nemo или Rocinante-X, для 16 GB — Gemory в компактной квантизации либо качественную 12B-модель. Ниже разберём, когда каждый вариант имеет смысл и где начинаются компромиссы.
У локального roleplay есть забавная проблема: умнее — не всегда интереснее. Модель может прекрасно решать задачи, а потом получить карточку язвительного контрабандиста и через пять сообщений превратить его в понимающего корпоративного психолога. Для ролевого чата важны голос персонажа, подтекст, инициативность и память о сцене. Одних баллов в тестах мало.
Это подборка команды Multiic на основе предоставленного авторского опыта и проверенных карточек моделей. Рекомендации по стилю — отправные точки для твоих тестов, а не независимый рейтинг. Замеров скорости и полного GPU-размещения на каждой видеокарте здесь нет. Технические сведения проверены 5 октября 2026 года; размеры относятся к указанным GGUF-сборкам.
Какую локальную модель выбрать: короткая таблица
| Видеопамять и задача | Что попробовать первым | Какой компромисс проверить |
|---|---|---|
| 6 GB, английский ролевой чат | Stheno 8B Q4_K_M | Начать с короткого контекста; сложный мир может даваться труднее |
| 6 GB, много языков и правила мира | Qwen3.5-9B Q3/IQ3 | Качество низкой квантизации и скорость с частичной выгрузкой в RAM |
| 8 GB, универсальный вариант | Qwen3.5-9B Q4_K_M | Свободную память после загрузки и корректный шаблон чата |
| 8 GB, диалоги на английском | Stheno Q5_K_M | Характер в длинном разговоре |
| 8 GB, русский RP | Saiga Nemo Q4_K_M с возможной выгрузкой в RAM | Скорость; не рассчитывать на большой контекст целиком в VRAM |
| 12 GB, русский RP | Saiga Nemo Q5_K_M; Q6_K при достаточном запасе | Q5 оставляет больше памяти для истории |
| 12 GB, английские истории | Rocinante-X Q5; Bloodmoon или Eclipse для сравнения | Как конкретная карточка держит характер |
| 16 GB, творческий RP | Gemory-26B-A4B Q3_K_M | Запас под кэш, поддержку архитектуры и потери от Q3 |
| 16 GB, сложная песочница | Gemma 4 26B-A4B или Qwen3.5-27B в подходящем quant | Размер файла, контекст и необходимость RAM-offload |
Сначала выбери две модели под свою задачу. Скачивать весь Hugging Face необязательно. Хотя SSD, конечно, может иметь другое мнение.
VRAM и размер GGUF: почему «помещается» ещё не значит «работает комфортно»
GGUF — формат файла модели для совместимых движков, например llama.cpp и KoboldCpp. Q4, Q5 и Q6 обозначают варианты квантизации: веса хранятся компактнее, обычно с некоторой потерей качества. VRAM — память видеокарты; RAM — оперативная память компьютера.
Память расходуется на веса + кэш контекста + рабочие буферы, а часть видеопамяти уже может занимать рабочий стол, игра или генератор изображений. Объём кэша зависит от архитектуры, длины контекста, точности и движка. Поэтому универсального правила «добавь ровно два гигабайта» нет.
Файл около 7.5 GB нельзя автоматически считать комфортным вариантом для 8 GB GPU. Это как втиснуть в комнату диван и решить, что теперь там можно танцевать. Частичный offload позволяет оставить часть вычислений и данных в RAM, но скорость зависит от процессора, памяти и подключения GPU. Технические оценки памяти тоже имеют оговорки: см. пояснения Google к загрузке весов и контексту.
Практический порядок: загрузи модель с умеренным контекстом, посмотри фактическое потребление памяти, проведи длинный разговор и только потом повышай настройки. В таблицах ниже — десятичные GB файлов, а не измеренное потребление VRAM; интерфейс может показывать GiB.
6 GB VRAM: Stheno 8B и осторожные эксперименты с Qwen
На 6 GB сначала сравни 8B RP-модели в Q4. Они оставляют больше шансов на отзывчивый диалог, чем крупная модель, которую приходится сильно сжимать. Qwen — отдельная ветка выбора, если правила мира важнее литературного стиля. Ссылки в названиях ведут на конкретные GGUF-сборки; размеры — только веса. Колонка «Зачем пробовать» описывает сценарий сравнения, а не измеренный рейтинг качества.
Языки в таблицах: EN — английский, RU — русский, ZH — китайский, JA — японский, HE — иврит. Жирным выделены рекомендации для RP из авторской подборки, а не результаты отдельного языкового бенчмарка. Многоязычность базы указана отдельно: fine-tune может изменить качество на других языках. У Nemo оценивались EN, FR, DE, ES, IT, PT, RU, ZH и JA; для его RP-производных это ориентир, а не гарантия. Официальный охват: Qwen3.5 — 201 язык и диалект, Qwen3 — 100+, Gemma 4 — 35+ из коробки. Bloodmoon отдельно заявляет добавление русского, японского и иврита.
| Модель и GGUF | База / тип | Quant для старта | Веса, GB | Языки и сильные стороны в RP | Зачем пробовать | Ограничения на 6 GB |
|---|---|---|---|---|---|---|
| Stheno v3.2 8B | Llama 3 / RP fine-tune | Q4_K_M | 4.92 | EN; другие не заявлены | Персонажный диалог, небольшая сцена | Начать с 4k; много NPC и флагов проверять отдельно |
| Lunaris v1 8B | Llama 3 / RP merge | Q4_K_M | 4.92 | EN; другие не заявлены | Сравнить со Stheno баланс творчества и логики | Та же тесная память; merge не гарантирует улучшения каждой карточки |
| Hathor v0.2 8B | Llama 3 / fine-tune | Q4_K_M | 4.92 | EN; другие не заявлены | Другой стиль повествования при том же размере | Проверить темп реплик и инструкции; начинать с короткой истории |
| Qwen3.5-9B | Qwen3.5 / универсальная | IQ3_M | 4.98 | 201 язык и диалект; для RP: EN, ZH | Секреты NPC, правила и зависимости | Сжатие сильнее Q4; проверить связность и поддержку IQ-quant |
Lunaris и Hathor: альтернативы Stheno без покупки новой GPU
Lunaris — merge с участием Stheno. Автор стремился совместить творчество и логику. Поэтому её полезно сравнивать со Stheno на одной карточке: поменять «актёра», сохранив почти тот же бюджет памяти.
Hathor обучалась в том числе на прозе и ролевых диалогах. Возьми её для второго теста, если первая модель пишет слишком однообразно. Это кандидат на другой стиль, а не обещание, что старая 8B вдруг станет безупречным ведущим сложной RPG.
L3-8B-Stheno-v3.2: начать с персонажа
Stheno — специализированная модель для roleplay и историй. В авторской подборке она остаётся хорошей отправной точкой для английских диалогов: небольшая сцена, выразительный герой, приключение или романтика. Карточка Stheno.
В сборке Bartowski Q4_K_M занимает примерно 4.92 GB, Q5_K_M — 5.73 GB. На 6 GB разумнее начать с Q4 и контекста около 4k, а затем проверить, что остаётся под историю. Это стартовая настройка для проверки, не гарантия размещения.
Когда в сцену добавляются пять NPC, инвентарь и квестовые флаги, сравни её с более современной универсальной моделью. Красивый диалог и точный учёт состояния мира — разные навыки.
Qwen3.5-9B: когда важна логика сцены
Qwen — кандидат для истории с правилами, секретами и несколькими действующими лицами. Попробуй сцену, где один NPC лжёт, второй знает правду, а третий должен сохранить тайну. Так гораздо легче понять, подходит ли тебе модель, чем по красивому первому приветствию.
У Qwen3.5-9B заявлены 201 язык и диалект и контекст 262,144 токена. Это возможности модели, а не обещание художественного качества на каждом языке или такого контекста на домашней GPU.
В GGUF Bartowski IQ4_XS — около 5.50 GB, Q4_K_M — 6.17 GB. Для 6 GB даже IQ4 оставляет тесный бюджет; безопаснее рассматривать Q3/IQ3 или частичный offload. Q4_K_M здесь не стоит планировать как полностью GPU-вариант.
8 GB VRAM: удобный класс 8–9B, тесный класс 12B
Здесь есть два пути: поднять качество quant у 8B или попробовать 12B с более тесным бюджетом. Для первого запуска удобнее 8–9B; 12B оставь для осознанного сравнения. Не покупай лишние секунды ожидания ради одного числа в названии.
| Модель и GGUF | База / тип | Quant для старта | Веса, GB | Языки и сильные стороны в RP | Зачем пробовать | Ограничения на 8 GB |
|---|---|---|---|---|---|---|
| Stheno v3.2 8B | Llama 3 / RP | Q5_K_M | 5.73 | EN; другие не заявлены | Диалоги; меньше сжатия, чем у Q4 | Длинная история всё равно требует проверки памяти |
| Lunaris v1 8B | Llama 3 / RP merge | Q5_K_M | 5.73 | EN; другие не заявлены | Альтернативный стиль без перехода на 12B | Не путать большой доступный контекст с хорошим удержанием сюжета |
| Hathor v0.2 8B | Llama 3 / fine-tune | Q5_K_M | 5.73 | EN; другие не заявлены | Сравнить прозу и голос героя | Качество многоязычного RP тестировать самостоятельно |
| Qwen3.5-9B | Qwen3.5 / универсальная | Q4_K_M | 6.17 | 201 язык и диалект; для RP: EN, ZH | Правила мира и несколько NPC | Нужен совместимый движок; проверить свободную VRAM |
| Rocinante-X 12B v1 | Mistral Nemo / RP | IQ4_XS | 6.74 | Для RP: EN; многоязычная база Nemo | Попробовать 12B до перехода на 12 GB | Тесно под кэш; возможен offload; нужен верный шаблон |
| Saiga Nemo 12B | Mistral Nemo / диалоговая | Q4_K_M | 7.48 | RU, EN; сильнее в RP: RU | Русская речь и разговорный RP | Эксперимент с небольшим контекстом и возможным RAM-offload |
Для универсального чата попробуй Qwen3.5-9B Q4_K_M. Для английского персонажного RP — Stheno Q5_K_M. Начни с 4–8k контекста, если движок и модель поддерживают выбранную длину, и проверь свободную память после загрузки.
Saiga Nemo 12B Q4_K_M на 8 GB — вариант с оговорками. Веса занимают около 7.48 GB; для истории и буферов остаётся мало места. Небольшой контекст, более компактный quant или выгрузка части модели в RAM могут помочь, но ощущение от диалога зависит и от задержки ответа.
Если одна реплика появляется мучительно долго, более лёгкая модель может оказаться приятнее. У ролевой игры есть ритм. Персонаж, который молчит минуту перед каждым «угу», делает его довольно своеобразным.
12 GB VRAM: Saiga Nemo, Rocinante-X, Bloodmoon и Eclipse
12B — интересный размер для домашнего RP: уже есть место для выразительного персонажа, а требования ещё не превращаются в покупку новой рабочей станции. Но Q6 и длинная история всё равно могут конкурировать за память.
| Модель и GGUF | База / тип | Quant для старта | Веса, GB | Языки и сильные стороны в RP | Зачем пробовать | Ограничения на 12 GB |
|---|---|---|---|---|---|---|
| Saiga Nemo 12B | Mistral Nemo / диалоговая | Q5_K_M | 8.73 | RU, EN; сильнее в RP: RU | Первый кандидат для естественной русской речи | Q6 — 10.1 GB; длинный контекст может потребовать Q5 |
| Rocinante-X 12B v1 | Mistral Nemo / RP | Q5_K_M | 8.73 | Для RP: EN; многоязычная база Nemo | Приключения и художественные диалоги | Шаблон Mistral v3 Tekken / Metharme по карточке автора |
| Impish Bloodmoon 12B | Mistral Nemo / RP fine-tune | Q5_K_M | 8.73 | EN, RU, JA, HE; для RP: EN | Персонажи с конфликтом и собственными интересами | Меньше позитивности — цель автора, не гарантия поведения |
| Angelic Eclipse 12B | Mistral Nemo / fine-tune | Q5_K_M | 8.73 | Для RP: EN; многоязычная база Nemo | Постепенное развитие отношений | Проверить инициативу NPC и устойчивость долгой сцены |
| NemoMix-Unleashed 12B | Mistral Nemo / RP merge | Q5_K_M | 8.73 | Для RP: EN; многоязычная база Nemo | Альтернативная проза и история | У автора свой Mistral-формат и preset; сверить их до теста |
| Gemma 4 12B IT | Gemma 4 / универсальная | Q4_K_M | 7.66 | 35+ языков; для RP: EN | Сравнить ведение мира с RP fine-tune | Q5 — 8.77 GB; размеры без дополнительных мультимодальных файлов |
| Qwen3-14B | Qwen3 / универсальная | Q4_K_M | 9.00 | 100+ языков и диалектов; для RP: EN, ZH | Промежуточный размер между 9B и 27B | Проверить режим thinking и запас под кэш |
| Qwen3.5-9B | Qwen3.5 / универсальная | Q5_K_M | 7.11 | 201 язык и диалект; для RP: EN, ZH | Меньшая модель с более высоким quant | Не специализирована под RP; сравнить выразительность |
NemoMix и Qwen3-14B: две причины расширить выбор
NemoMix-Unleashed добавляет ещё один вариант RP на Nemo. Автор выделяет истории и борьбу с повторениями; в карточке есть собственные настройки. Имеет смысл попробовать, если железо уже подходит под 12B, но стиль Rocinante или Bloodmoon не зацепил.
Qwen3-14B добавлена как универсальная контрольная модель. Она занимает промежуточную ступень: 9B уже не хватает для твоих правил, а 27B слишком тяжела. Для быстрого диалога проверь non-thinking mode по инструкции автора. Здесь интересен результат сравнения с RP-моделями, а не предположение, что reasoning автоматически даёт лучшего персонажа.
Saiga Nemo 12B: первый кандидат для русского roleplay
Для русского языка топ — Saiga Nemo. В предоставленном авторском опыте её сильная сторона — естественная русская речь: короткие реплики, сленг и смена эмоционального тона. Иногда ответ не выглядит интеллектуальнее, зато персонаж звучит человечнее. Это субъективная оценка RP, а не языковой benchmark. Карточка Saiga Nemo.
В GGUF QuantFactory доступны следующие размеры:
| Квантизация Saiga Nemo | Размер GGUF | С чего начать |
|---|---|---|
| Q4_K_M | 7.48 GB | Если важнее экономить память |
| Q5_K_M | 8.73 GB | Первый вариант для проверки на 12 GB |
| Q6_K | 10.1 GB | Если контекст умеренный и фактический запас позволяет |
| Q8_0 | 13 GB | На 12 GB полного GPU-размещения весов не получится |
Сборки и версии Saiga различаются. Сверяй исходную модель, версию и шаблон чата; одинаковое имя quant не делает разные файлы взаимозаменяемыми.
Rocinante-X 12B: английские истории и приключения
Rocinante-X стоит поставить рядом с Saiga для сравнения на английском. Автор делает акцент на RP, прозе и диалогах. Это направление обучения, а не обещание, что любая карточка будет работать идеально. Описание и требования к шаблону Rocinante-X.
Начни с Q5 при достаточной памяти. Важно: автор указывает Mistral v3 Tekken или Metharme и отдельно предупреждает о неподходящем оформлении system prompt. Прежде чем лечить странные ответы температурой, проверь шаблон. Ссылки на GGUF и варианты загрузки есть у автора.
Impish Bloodmoon и Angelic Eclipse: два разных характера
Автор Impish Bloodmoon выделяет снижение чрезмерной позитивности персонажей и работу с игровыми механиками. Попробуй её, если подозрительный или ревнивый герой постоянно превращается в услужливого помощника.
Angelic Eclipse позиционируется с акцентом на реалистичные реакции и постепенное развитие отношений. Для slow burn это любопытная альтернатива. Проверь обе на одной сцене: названия красивы, но решает то, как персонаж отвечает именно тебе.
Gemma 4 12B: когда у песочницы много правил
Gemma 4 12B тоже заслуживает теста, если модель одновременно играет NPC и следит за правилами мира. Google описывает Gemma 4 как универсальное семейство с reasoning и поддержкой system role. Для твоей сцены это повод сравнить её с RP fine-tune, а не заранее объявлять победителя.
16 GB VRAM: Gemory, Gemma 4 и Qwen3.5-27B
На 16 GB полезно сравнить 12B в хорошем quant, плотную 24B и 26B MoE в более компактном quant. Это три разных компромисса между качеством текста, размером кэша и скоростью. Для мультимодальных моделей ниже учтён только основной файл текстового движка.
| Модель и GGUF | База / тип | Quant для старта | Веса, GB | Языки и сильные стороны в RP | Зачем пробовать | Ограничения на 16 GB |
|---|---|---|---|---|---|---|
| Gemory-26B-A4B | Gemma 4 / творческая MoE | Q3_K_M | 13.3 | Для RP: EN; другие языки базы не проверены | Специализированный творческий RP | Сравнить с Q3_K_S 12.2 GB, если под кэш тесно |
| Gemma 4 26B-A4B IT | Gemma 4 / универсальная MoE | Q3_K_M | 13.02 | 35+ языков; для RP: EN | Персонажи вместе с правилами песочницы | IQ4_XS — 14.21 GB; кэш может потребовать offload |
| Cydonia 24B v4.1 | Mistral Small / плотная RP | Q4_K_S | 13.55 | Для RP: EN; база поддерживает 24 языка | Крупная RP-альтернатива Gemory | Q4_K_M — 14.33 GB; начать с умеренного контекста |
| Qwen3.5-27B | Qwen3.5 / универсальная | IQ3_M | 14.12 | 201 язык и диалект; для RP: EN, ZH | Проверить сложные зависимости и логику мира | Бюджет тесный; Q4_K_M не помещается, offload возможен |
| Qwen3-14B | Qwen3 / универсальная | Q5_K_M | 10.51 | 100+ языков и диалектов; для RP: EN, ZH | Меньше сжатия и больше места для истории | Не RP fine-tune; режим thinking влияет на темп |
| Rocinante-X 12B v1 | Mistral Nemo / RP | Q6_K | 10.06 | Для RP: EN; многоязычная база Nemo | Качественная 12B вместо большой Q3 | Оценивать сюжет и запас под кэш, а не только quant |
| Saiga Nemo 12B | Mistral Nemo / диалоговая | Q6_K | 10.1 | RU, EN; сильнее в RP: RU | Русский RP с запасом под историю | Q8 — 13 GB; дополнительный размер не всегда полезнее контекста |
Cydonia 24B: крупная RP-модель без MoE
Cydonia v4.1 дополняет сравнение: плотная 24B рядом с Gemory MoE и 12B Nemo. Начни с Q4_K_S, а Q4_K_M пробуй, если фактическая память позволяет. Автор указывает Mistral v7 Tekken — не копируй сюда шаблон Rocinante-X только потому, что обе модели от Drummer.
На 12 GB её Q3_K_M около 11.47 GB оставляет слишком тесный бюджет для удобной рекомендации. Именно поэтому Cydonia находится в категории 16 GB: возможность запустить модель и хороший первый выбор — разные вещи.
Gemory-26B-A4B: попробовать творческую MoE
Gemory — кандидат для творческого письма и ролевых разговоров. Карточка автора описывает специализацию; для файлов ниже используем конкретную конверсию Abiray.
| Квантизация Gemory | Размер GGUF | Что это означает для 16 GB |
|---|---|---|
| Q3_K_S | Около 12.2 GB | Больше места для истории, сильнее сжатие |
| Q3_K_M | Около 13.3 GB | Разумная отправная точка для проверки |
| Q4_K_S | Около 15.5 GB | Тесно: кэш и буферы тоже требуют памяти |
| Q4_K_M | Около 16.8 GB | Веса превышают 16 GB; понадобится offload |
У MoE на токен работает только часть параметров, но остальные веса не исчезают из памяти. Поэтому A4B нельзя воспринимать как обещание требований обычной 4B-модели. Архитектура Gemma 4 объясняет различие общего и активного числа параметров.
Обычная Gemma или Qwen 27B?
Gemma 4 26B-A4B стоит сравнить с Gemory, если нужен один движок и для персонажа, и для правил песочницы. Специализация fine-tune может менять поведение: одинаковая база ещё не означает одинаковый результат.
Qwen3.5-27B — другой кандидат, если сложная сцена не удаётся меньшим моделям. Но GGUF Bartowski показывает около 17.98 GB для Q4_K_M, 15.78 GB для IQ4_XS и 14.82 GB для Q3_K_M. Даже файл меньше 16 GB не гарантирует места под контекст. Рассматривай компактный quant и offload, а не обещание «27B Q4 без проблем».
Не забывай о 12B Q5/Q6: на 16 GB меньшая модель может оставить полезный запас под историю. Сравни большую сжатую модель с меньшей в хорошем quant, прежде чем решать, что больше параметров обязательно лучше.
Какой quant скачивать: Q4, Q5, Q6 или Q3?
Практическая последовательность — Q4_K_M, затем Q5_K_M или Q6_K, если хватает памяти. Сравнивай внутри одной модели и одной версии сборки.
- Q4_K_M: удобный старт для баланса размера и качества.
- Q5_K_M: следующий кандидат, когда хочется меньше компромиссов и остаётся запас для истории.
- Q6_K: имеет смысл, если не приходится жертвовать нужным контекстом или скоростью.
- Q8_0: скачивай ради конкретного сравнения, а не потому, что число больше.
- Q3/IQ3: способ попробовать крупную модель на ограниченной памяти; внимательно проверь связность и повторения.
Quant — один из факторов. Неудачная карточка или неверный шаблон могут испортить разговор сильнее, чем разница между Q4 и Q5.
Контекст и память персонажа: начни с 4–8k
В контекст входят инструкции, карточка героя, сведения о мире, история и будущий ответ. Лимит 8k не означает 8k только для твоих сообщений. Максимальные цифры в model card не обещают ни доступной памяти, ни одинаково хорошего удержания деталей на всей длине.
Начни с 4–8k там, где это поддерживается, затем проверяй 16k и выше по фактическому потреблению. Не расширяй контекст старой модели за пределы её возможностей только потому, что интерфейс позволяет ввести число.
Для долгой истории полезна короткая сводка: где герои, чего хотят, что знают и что изменилось. Обновляй её после важных событий. Отдельно сохраняй устойчивые факты о персонаже. Большой контекст не превращает LLM в базу данных — выдуманный брат всё ещё может появиться без приглашения.
Как настроить RP и проверить модель за один вечер
Сначала возьми шаблон и настройки из карточки модели. Если автор не даёт preset, температура около 0.8 и top-p около 0.9 могут служить экспериментальной точкой старта; это не универсальные оптимальные значения. Меняй один параметр за раз, чтобы понимать причину результата.
Для начала ограничь ответы 150–300 токенами. Короткие ходы позволяют быстрее проверить диалог и оставляют игроку место для действий. Штрафы повторений добавляй постепенно: чрезмерный штраф тоже способен испортить речь.
Вот сцена для сравнения:
Лея — механик на орбитальной станции. Она хочет покинуть станцию, но скрывает пропажу детали двигателя. Игрок помог ей вчера; она благодарна, но не доверяет ему. Охранник знает о пропаже, однако не знает виновника. Игрок просит Лею впустить его в мастерскую.
Добавь правило: «Описывай действия и речь NPC. Не решай за игрока, что он думает, говорит или делает». Проведи 20–30 ходов, сохраняя одинаковую карточку, сцену и доступный контекст. Шаблон используй подходящий каждой модели.
Смотри на семь вещей:
- Характер. Лея сохраняет недоверие, хотя благодарна игроку.
- Подтекст. Тайна влияет на речь, но не раскрывается без причины.
- Свобода игрока. Модель оставляет тебе твои реплики и решения.
- Состояние мира. Охранник не получает знания из воздуха.
- Инициатива. NPC предлагает действие, у сцены появляется движение.
- Длинный разговор. Нет постоянного перезапуска сцены и одинаковых оборотов.
- Скорость. Ожидание ответа не разрушает ритм.
Запиши настройки, версию файла и число регенераций. Затем повтори другую сцену: один удачный ответ ещё не показывает устойчивость модели.
Где запускать GGUF: KoboldCpp, SillyTavern и Multiic
Обычная схема — GGUF → совместимый движок → интерфейс чата или игра. KoboldCpp и llama.cpp запускают модель; SillyTavern и Multiic дают разные способы общения с персонажами. Проверь поддержку архитектуры в своей версии движка, особенно для новых Qwen и Gemma. KoboldCpp и llama.cpp.
Для Multiic используй инструкцию подключения локальной модели. Если ещё выбираешь между игрой и настраиваемым чатом, прочитай сравнение Multiic, SillyTavern и других вариантов. Локальная LLM — отдельная часть системы: облачный голос или генерация изображений сами по себе не становятся локальными вместе с ней.
В обзоре ролевых игр с ИИ в Multiic видно, за что выбранная модель отвечает внутри игры: карточки персонажей, групповые разговоры, контекст мира и дополнительная генерация медиа сцены.
Переезжаешь с Character.AI? Вот сравнение девяти альтернатив Character.AI — от онлайн-сервисов до полностью локальных вариантов.
Частые вопросы о локальных LLM для roleplay
Какая модель лучше для русского RP?
В этой подборке первый кандидат — Saiga Nemo 12B. На 12 GB начни с Q5_K_M, а Q6_K проверяй при умеренном контексте. Оцени её на своей карточке: естественная речь не гарантирует безошибочную память о сюжете.
Можно ли запустить 12B на 8 GB?
Да, в подходящей квантизации и конфигурации, иногда с частичным offload. Но 7.48 GB весов оставляют мало пространства для остальных данных. Более лёгкая 8–9B может дать удобнее скорость и историю.
Хватит ли 16 GB для 26B MoE?
Для некоторых компактных GGUF это реалистичная цель для проверки. Gemory Q3_K_M — один из кандидатов. Длину контекста и объём GPU-offload всё равно придётся подбирать; A4B не означает, что нужно хранить только четыре миллиарда параметров.
Почему персонаж повторяется или говорит за меня?
Проверь шаблон чата, карточку и примеры диалога. Убери инструкции, которые предлагают описывать обе стороны сцены. Если ошибка сохраняется на нескольких карточках, сравни другую модель; увеличение quant не гарантирует исправления поведения.
Можно ли играть без интернета?
После загрузки модели локальный движок может генерировать текст без облачного API. Для всего приложения офлайн-доступ зависит от остальных функций и ресурсов. Проверь отдельно голос, изображения и настройки подключения.
Выбирай модель как актёра: кому ты хочешь доверить этого персонажа? Хорошая реплика, память о вчерашней ссоре и вовремя сказанное «нет» для RP часто значат больше, чем ещё один красивый график.
Начни с первого диалога
Выбери готового персонажа. Подключение моделей и озвучки описано в помощи.