Хочеш персонажа зі ШІ на своєму ПК, але не знаєш, яку модель завантажити? Почни з відеопам’яті: Stheno 8B Q4 для 6 GB, Qwen3.5-9B Q4 або Stheno Q5 для 8 GB, 12B на кшталт Rocinante-X для 12 GB та компактний квант Gemory або хороший квант 12B для 16 GB. Розберемо компроміси, перш ніж забивати SSD.
У локального roleplay є кумедна особливість: розумніша модель не завжди грає цікавішого персонажа. Дай чудовому розв’язувачу задач картку саркастичного контрабандиста — і за п’ять ходів можеш розмовляти зі співчутливим корпоративним психотерапевтом. Голос, підтекст, ініціатива та послідовність сцени важливі не менше за загальні здібності.
Ця добірка команди Multiic поєднує рольовий досвід автора оригіналу з перевіреними картками моделей. Стильові рекомендації — орієнтири для власних порівнянь, а не незалежний рейтинг. Ми не вимірювали швидкість і повне розміщення на GPU на кожній відеокарті. Технічні дані перевірені 5 жовтня 2026 року; розміри стосуються вказаних GGUF-конвертацій.
Яку локальну модель для рольового чату спробувати першою?
| Відеопам’ять і завдання | Перший кандидат | Що перевірити |
|---|---|---|
| 6 GB, чат із персонажем англійською | Stheno 8B Q4_K_M | Короткий контекст; складні сцени тестувати окремо |
| 6 GB, багатомовна симуляція світу | Qwen3.5-9B Q3/IQ3 | Якість низького кванта та швидкість із вивантаженням у RAM |
| 8 GB, універсальний чат | Qwen3.5-9B Q4_K_M | Вільна пам’ять і правильний шаблон чату |
| 8 GB, англомовні діалоги | Stheno Q5_K_M | Послідовність персонажа в довгих розмовах |
| 8 GB, експеримент із 12B | Saiga Nemo Q4_K_M, можливо з вивантаженням у RAM | Час відповіді та обмежений бюджет контексту |
| 12 GB, історії та пригоди | Rocinante-X Q5; порівняти Bloodmoon або Eclipse | Поведінка з твоєю карткою персонажа |
| 12 GB, ще один розмовний кандидат | Saiga Nemo Q5_K_M | Стиль письма та місце для контексту |
| 16 GB, творча рольова гра | Gemory-26B-A4B Q3_K_M | Кеш, підтримка бекенду та якість Q3 |
| 16 GB, складна пісочниця | Gemma 4 26B-A4B або компактний квант Qwen3.5-27B | Розмір файлу, контекст і можливе вивантаження |
Обери двох кандидатів під своє завдання. Завантажувати весь хаб моделей необов’язково, хоч твій SSD уже може підозрювати інше.
Розмір GGUF і VRAM: розмістити ваги — лише початок
GGUF — формат моделі для сумісних рушіїв, зокрема llama.cpp і KoboldCpp. Q4, Q5 і Q6 — варіанти квантизації: ваги займають менше місця, зазвичай із певною втратою якості. VRAM — відеопам’ять; RAM — оперативна пам’ять ПК.
Бюджет включає ваги, кеш контексту та робочі буфери. Робочий стіл, гра й генератор зображень уже можуть використовувати VRAM. Кеш залежить від архітектури, довжини контексту, точності та бекенду. Універсального правила «додай рівно два гігабайти» немає.
Файл близько 7.5 GB не стає автоматично зручним для відеокарти на 8 GB. Умістити диван у кімнату — ще не залишити танцмайданчик. Часткове вивантаження переносить дані й роботу в RAM; швидкість залежить від CPU, RAM та з’єднання з GPU. Нотатки Google про пам’ять пояснюють потреби понад самі ваги.
Завантаж модель із помірним контекстом, перевір реальне споживання, проведи довшу розмову й лише потім піднімай налаштування. Нижче наведені десяткові GB файлів, а не виміряне споживання VRAM; програма може показувати GiB.
6 GB VRAM: Stheno 8B та обережні експерименти з Qwen
Почни з порівняння рольових моделей 8B у Q4. Вони часто залишають практичніший бюджет для розмови, ніж сильно стиснені великі моделі. Qwen — інший напрям, якщо правила світу важливіші за літературний стиль. Посилання ведуть на конкретні GGUF-конвертації; розміри враховують лише ваги. «Навіщо пробувати» описує сценарій порівняння, а не виміряний рейтинг.
Мови в таблицях: EN — англійська, RU — російська, ZH — китайська, JA — японська, HE — іврит. Жирним виділені рекомендації для RP з авторської добірки, а не результати окремого мовного бенчмарку. Багатомовність бази вказана окремо: донавчання може змінити якість. Nemo оцінювали на EN, FR, DE, ES, IT, PT, RU, ZH і JA; для RP-похідних це орієнтир, не гарантія. Офіційне охоплення: Qwen3.5 — 201 мова й діалект, Qwen3 — 100+, Gemma 4 — 35+ одразу. Bloodmoon окремо заявляє додаткове навчання для російської, японської та івриту.
| Модель і GGUF | База / тип | Квант для старту | Ваги, GB | Мови та сильні сторони в RP | Навіщо пробувати | Обмеження пам’яті |
|---|---|---|---|---|---|---|
| Stheno v3.2 8B | Llama 3 / донавчання для RP | Q4_K_M | 4.92 | EN; інші не заявлені | Діалоги персонажів, невеликі сцени | Старт із 4k; кількох NPC і стани перевіряти окремо |
| Lunaris v1 8B | Llama 3 / злиття для RP | Q4_K_M | 4.92 | EN; інші не заявлені | Порівняти творчість і логіку зі Stheno | Так само мало запасу; злиття не покращує кожну картку |
| Hathor v0.2 8B | Llama 3 / донавчання | Q4_K_M | 4.92 | EN; інші не заявлені | Інший стиль оповіді за того самого розміру | Перевірити темп діалогу та інструкції з короткою історією |
| Qwen3.5-9B | Qwen3.5 / універсальна | IQ3_M | 4.98 | 201 мова й діалект; для RP: EN, ZH | Таємниці NPC, правила й залежності | Сильніше стиснення за Q4; перевірити зв’язність і підтримку IQ |
Lunaris і Hathor: альтернативи без заміни відеокарти
Lunaris — злиття моделей, яке включає Stheno. Автор прагнув поєднати творчість і логіку. Порівняй їх з однаковою карткою: інший актор майже за той самий бюджет пам’яті.
Hathor навчали зокрема на прозі й рольових діалогах. Спробуй, якщо стиль першої моделі став одноманітним. Це інша манера письма, але не гарантія, що старіша 8B бездоганно керуватиме складною RPG.
L3-8B-Stheno-v3.2: почни з персонажа
Stheno орієнтована на roleplay та оповіді. В авторській добірці вона залишається корисним стартом для невеликих англомовних сцен, виразних персонажів, пригод і романтики. Картка Stheno.
GGUF-конвертація Bartowski має близько 4.92 GB для Q4_K_M і 5.73 GB для Q5_K_M. На 6 GB почни з Q4 та приблизно 4k контексту, потім перевір залишок пам’яті. Це конфігурація для тесту, не гарантія повного розміщення на GPU.
Коли сцена виростає до п’яти NPC, інвентарю та станів квестів, порівняй новішу універсальну модель. Виразний діалог і надійний облік світу — різні навички.
Qwen3.5-9B: коли сцені потрібні правила
Перевір Qwen на сцені з таємницями й залежностями: один NPC бреше, інший знає правду, третій не повинен її розкрити. Це показує більше, ніж гарне привітання.
Qwen3.5-9B заявляє 201 мову й діалект та 262,144 токени контексту. Цифри не гарантують однакової літературної якості чи такого контексту на твоїй GPU.
У GGUF від Bartowski IQ4_XS має близько 5.50 GB, Q4_K_M — 6.17 GB. Навіть IQ4 залишає мало запасу на 6 GB. Розглянь Q3/IQ3 або часткове вивантаження; не плануй Q4_K_M тут як конфігурацію повністю у відеопам’яті.
8 GB VRAM: зручніші 8–9B, тісніші експерименти з 12B
Можна підвищити якість кванта 8B або спробувати 12B із меншим запасом. 8–9B — простіший старт; 12B варто брати для свідомого порівняння. Час відповіді важливий не менше за число в назві.
| Модель і GGUF | База / тип | Квант для старту | Ваги, GB | Мови та сильні сторони в RP | Навіщо пробувати | Обмеження пам’яті |
|---|---|---|---|---|---|---|
| Stheno v3.2 8B | Llama 3 / RP | Q5_K_M | 5.73 | EN; інші не заявлені | Діалоги з меншим стисненням, ніж Q4 | Довга історія все ще потребує перевірки пам’яті |
| Lunaris v1 8B | Llama 3 / злиття для RP | Q5_K_M | 5.73 | EN; інші не заявлені | Інший стиль без переходу на 12B | Доступний контекст не гарантує надійної пам’яті сюжету |
| Hathor v0.2 8B | Llama 3 / донавчання | Q5_K_M | 5.73 | EN; інші не заявлені | Порівняти прозу й голос персонажа | Інші мови перевірити самостійно |
| Qwen3.5-9B | Qwen3.5 / універсальна | Q4_K_M | 6.17 | 201 мова й діалект; для RP: EN, ZH | Правила світу та кілька NPC | Потрібен сумісний бекенд; перевірити вільну VRAM |
| Rocinante-X 12B v1 | Mistral Nemo / RP | IQ4_XS | 6.74 | Для RP: EN; багатомовна база Nemo | Спробувати 12B до переходу на 12 GB | Мало кешу; можливе вивантаження; потрібен правильний шаблон |
| Saiga Nemo 12B | Mistral Nemo / розмовна | Q4_K_M | 7.48 | RU, EN | Ще один розмовний кандидат | Експеримент із коротким контекстом і можливим вивантаженням у RAM |
Спробуй Qwen3.5-9B Q4_K_M як універсальну модель або Stheno Q5_K_M для англомовних персонажів. Почни з 4–8k контексту, якщо він підтримується, і перевір вільну пам’ять після завантаження.
Saiga Nemo 12B Q4_K_M на 8 GB — експеримент із застереженнями. Приблизно 7.48 GB ваг залишають мало місця для історії та буферів. Короткий контекст, менший квант або часткове вивантаження в RAM можуть допомогти. Порівнюй швидкість і прозу.
Якщо відповіді надто повільні, менша модель може подарувати кращий вечір. У рольової гри є ритм. Персонаж, який готує кожне «так» цілу хвилину, має дуже своєрідний.
12 GB VRAM: Rocinante-X, Saiga Nemo, Bloodmoon і Eclipse
12B — привабливий розмір для домашнього roleplay: достатньо місця для персонажа без вимог робочої станції. Вищі кванти й довгі розмови все одно змагаються за пам’ять.
| Модель і GGUF | База / тип | Квант для старту | Ваги, GB | Мови та сильні сторони в RP | Навіщо пробувати | Обмеження пам’яті |
|---|---|---|---|---|---|---|
| Rocinante-X 12B v1 | Mistral Nemo / RP | Q5_K_M | 8.73 | Для RP: EN; багатомовна база Nemo | Пригоди та творчі діалоги | Mistral v3 Tekken / Metharme за вказівкою автора |
| Saiga Nemo 12B | Mistral Nemo / розмовна | Q5_K_M | 8.73 | RU, EN | Порівняти діалог і безперервність сцени | Q6 має 10.1 GB; для довшого контексту може краще підійти Q5 |
| Impish Bloodmoon 12B | Mistral Nemo / донавчання для RP | Q5_K_M | 8.73 | EN, RU, JA, HE; для RP: EN | Конфлікти й персонажі з власними інтересами | Менше надмірної позитивності — мета автора, не гарантія |
| Angelic Eclipse 12B | Mistral Nemo / донавчання | Q5_K_M | 8.73 | Для RP: EN; багатомовна база Nemo | Поступовий розвиток стосунків | Перевірити ініціативу NPC і послідовність довгих сцен |
| NemoMix-Unleashed 12B | Mistral Nemo / злиття для RP | Q5_K_M | 8.73 | Для RP: EN; багатомовна база Nemo | Інша проза та стиль оповіді | Спочатку перевірити формат Mistral і пресет автора |
| Gemma 4 12B IT | Gemma 4 / універсальна | Q4_K_M | 7.66 | 35+ мов; для RP: EN | Порівняти керування світом із RP-донавчанням | Q5 має 8.77 GB; додаткові мультимодальні файли не враховані |
| Qwen3-14B | Qwen3 / універсальна | Q4_K_M | 9.00 | 100+ мов і діалектів; для RP: EN, ZH | Проміжний розмір між 9B і 27B | Перевірити режим міркування й запас кешу |
| Qwen3.5-9B | Qwen3.5 / універсальна | Q5_K_M | 7.11 | 201 мова й діалект; для RP: EN, ZH | Менша модель із вищим квантом | Не спеціалізується на RP; порівняти виразність |
NemoMix і Qwen3-14B: два приводи розширити порівняння
NemoMix-Unleashed — ще один Nemo для RP. Автор наголошує на оповідях, зменшенні повторів і конкретних налаштуваннях. Спробуй, якщо 12B підходить твоєму ПК, але стиль Rocinante або Bloodmoon не зачепив.
Qwen3-14B — універсальний кандидат між 9B і 27B. Перевір інструкції режиму без міркування для швидших діалогів. Порівнюй поведінку з RP-моделями, не припускаючи, що краще міркування автоматично дає цікавішого героя.
Rocinante-X 12B: історії та пригоди
Rocinante-X варто спробувати для англомовних діалогів і творчих сцен. Автор підкреслює RP, прозу й розмову: це цілі навчання, не обіцянка для кожної картки. Опис і шаблони.
Почни з Q5, якщо вистачає пам’яті. Автор вказує Mistral v3 Tekken або Metharme й попереджає про неправильне оформлення системного промпту. Перевір шаблон, перш ніж виправляти дивні відповіді температурою. Завантаження GGUF.
Saiga Nemo 12B: ще один розмовний кандидат
Порівняй Saiga Nemo з тією самою карткою. Оціни діалог, послідовність і час відповіді у власних сценах. Оригінальна картка.
Ці розміри взяті з GGUF-конвертації QuantFactory:
| Квантизація Saiga Nemo | Розмір GGUF | Початкова конфігурація |
|---|---|---|
| Q4_K_M | 7.48 GB | Залишити більше вільної пам’яті |
| Q5_K_M | 8.73 GB | Перший кандидат для тесту на 12 GB |
| Q6_K | 10.1 GB | Помірний контекст за достатньої вільної пам’яті |
| Q8_0 | 13 GB | Самі ваги перевищують 12 GB |
Перевір оригінальну модель, версію й шаблон чату. Однакові назви квантів не роблять різні конвертації взаємозамінними.
Impish Bloodmoon і Angelic Eclipse: порівняй характери
Автор Impish Bloodmoon наголошує на меншій надмірній позитивності й підтримці ігрових механік. Спробуй, якщо підозрілий або ревнивий NPC постійно стає поступливим асистентом.
Angelic Eclipse орієнтована на реалістичні реакції та повільний розвиток стосунків. Порівняй обидві на однаковій сцені. Гарні назви — бонус; вирішують справжні відповіді персонажа.
Gemma 4 12B: складніша пісочниця
Порівняй Gemma 4 12B, якщо модель має грати NPC і стежити за правилами світу. Огляд Google описує універсальну сім’ю з міркуванням та підтримкою системної ролі. Це привід протестувати її проти RP-донавчання, а не оголосити переможця заздалегідь.
16 GB VRAM: Gemory, Gemma 4 і Qwen3.5-27B
Порівняй точнішу 12B, щільну 24B і компактнішу MoE на 26B. Вони по-різному балансують письмо, кеш і швидкість. Для мультимодальних моделей розміри включають лише головний файл мовної моделі.
| Модель і GGUF | База / тип | Квант для старту | Ваги, GB | Мови та сильні сторони в RP | Навіщо пробувати | Обмеження пам’яті |
|---|---|---|---|---|---|---|
| Gemory-26B-A4B | Gemma 4 / творча MoE | Q3_K_M | 13.3 | Для RP: EN; інші мови бази не перевірені | Спеціалізована творча рольова гра | За нестачі кешу порівняти Q3_K_S на 12.2 GB |
| Gemma 4 26B-A4B IT | Gemma 4 / універсальна MoE | Q3_K_M | 13.02 | 35+ мов; для RP: EN | Персонажі разом із правилами пісочниці | IQ4_XS має 14.21 GB; кеш може потребувати вивантаження |
| Cydonia 24B v4.1 | Mistral Small / щільна RP | Q4_K_S | 13.55 | Для RP: EN; база підтримує 24 мови | Більша RP-альтернатива Gemory | Q4_K_M має 14.33 GB; почати з помірного контексту |
| Qwen3.5-27B | Qwen3.5 / універсальна | IQ3_M | 14.12 | 201 мова й діалект; для RP: EN, ZH | Складні залежності та логіка світу | Мало запасу; Q4_K_M перевищує VRAM; можливе вивантаження |
| Qwen3-14B | Qwen3 / універсальна | Q5_K_M | 10.51 | 100+ мов і діалектів; для RP: EN, ZH | Менше стиснення й більше місця для історії | Не RP-донавчання; міркування впливає на темп |
| Rocinante-X 12B v1 | Mistral Nemo / RP | Q6_K | 10.06 | Для RP: EN; багатомовна база Nemo | Хороший квант 12B замість більшої Q3 | Оцінити також пам’ять сюжету та місце для кешу |
| Saiga Nemo 12B | Mistral Nemo / розмовна | Q6_K | 10.1 | RU, EN | Порівняння діалогів із запасом для історії | Q8 має 13 GB; контекст може бути кориснішим за точність |
Cydonia 24B: більша рольова модель без MoE
Cydonia v4.1 додає щільну 24B поруч із Gemory MoE та Nemo 12B. Почни з Q4_K_S, потім спробуй Q4_K_M за достатньої реальної пам’яті. Автор вказує Mistral v7 Tekken; не копіюй шаблон Rocinante-X лише через спільного автора Drummer.
На 12 GB її Q3_K_M приблизно на 11.47 GB залишає надто мало запасу для зручної рекомендації. Тому Cydonia тут у категорії 16 GB. Можливість запустити модель і хороший перший вибір — різні речі.
Gemory-26B-A4B: творча MoE для порівняння
Gemory орієнтована на творче письмо й roleplay. Переглянь картку автора; цифри нижче стосуються конвертації Abiray.
| Квантизація Gemory | Розмір GGUF | Що означає для 16 GB |
|---|---|---|
| Q3_K_S | Близько 12.2 GB | Більше місця для історії, сильніше стиснення |
| Q3_K_M | Близько 13.3 GB | Розумний кандидат для тесту |
| Q4_K_S | Близько 15.5 GB | Мало запасу після додавання кешу й буферів |
| Q4_K_M | Близько 16.8 GB | Ваги перевищують 16 GB; потрібне вивантаження |
Модель mixture-of-experts активує лише частину параметрів на токен, але решту ваг усе одно треба зберігати. A4B не означає потреби пам’яті звичайної 4B. Картка Gemma 4 пояснює загальні й активні параметри.
Стандартна Gemma чи Qwen 27B?
Порівняй Gemma 4 26B-A4B із Gemory, якщо один рушій має керувати персонажами та правилами пісочниці. Донавчання змінює поведінку; спільна база не гарантує однакового досвіду.
Qwen3.5-27B — кандидат, коли менші моделі не справляються зі сценами. Але GGUF Bartowski мають близько 17.98 GB для Q4_K_M, 15.78 GB для IQ4_XS і 14.82 GB для Q3_K_M. Навіть файл менший за 16 GB не гарантує місця для контексту. Розглянь компактні кванти й вивантаження.
12B Q5/Q6 залишається корисною альтернативою на 16 GB із більшим запасом для історії. Порівняй велику стиснену модель з меншою й точнішою, перш ніж обирати за кількістю параметрів.
Який квант завантажити: Q4, Q5, Q6 чи Q3?
Практична послідовність: Q4_K_M, потім Q5_K_M або Q6_K за достатньої пам’яті. Порівнюй ту саму модель і версію конвертації.
- Q4_K_M: корисний баланс розміру та якості для старту.
- Q5_K_M: наступний кандидат, якщо є запас для історії.
- Q6_K: вартий уваги, якщо зберігає потрібний контекст і швидкість.
- Q8_0: для конкретного порівняння, не лише більшої цифри.
- Q3/IQ3: спосіб спробувати великі моделі з малою пам’яттю; уважно перевіряй зв’язність і повтори.
Квантизація — один чинник. Невдала картка або неправильний шаблон можуть нашкодити діалогу більше, ніж різниця між Q4 і Q5.
Контекст і пам’ять персонажа: почни з 4–8k
Контекст включає інструкції, картку, світ, історію та місце для відповіді. Ліміт 8k не означає 8k лише для твоїх повідомлень. Максимум у картці не обіцяє вільної пам’яті чи однаково надійних спогадів на всій довжині.
Почни з підтримуваних 4–8k, потім тестуй 16k і більше за реальним споживанням. Не розтягуй старішу модель за межі її підтримуваного контексту лише тому, що поле приймає число.
Для довгих історій зберігай короткий підсумок: де персонажі, чого хочуть, що знають і що змінилося. Оновлюй після важливих подій, а сталі факти тримай окремо. Довгий контекст не перетворює LLM на базу даних. Вигаданий брат усе ще може прийти без запрошення.
Налаштувати roleplay й перевірити модель за вечір
Почни з шаблону й налаштувань картки. Без пресету автора температура близько 0.8 і top-p близько 0.9 можуть бути експериментальними стартовими значеннями, не універсальним оптимумом. Змінюй по одному параметру.
Спочатку обмеж відповіді до 150–300 токенів. Короткі ходи швидше оцінювати, і вони залишають гравцеві простір діяти. Підвищуй штрафи за повтори поступово; надмірні значення теж псують текст.
Сцена для порівняння:
Лея — механікиня на орбітальній станції. Вона хоче втекти, але приховує зниклу деталь двигуна. Гравець допоміг їй учора; вона вдячна, проте недовірлива. Охоронець знає про зникнення, але не знає, хто взяв деталь. Гравець просить Лею пустити його до майстерні.
Додай: «Описуй слова та дії NPC. Не вирішуй, що гравець думає, каже або робить». Зіграй 20–30 ходів з однаковою карткою, сценою й доступним контекстом. Для кожної моделі використовуй правильний шаблон.
Перевір сім речей:
- Характер. Лея залишається недовірливою, але пам’ятає допомогу.
- Підтекст. Таємниця впливає на її мову без довільного викриття.
- Свобода гравця. Модель залишає тобі твої репліки й рішення.
- Стан світу. Охоронець не отримує знань нізвідки.
- Ініціатива. NPC діють і рухають сцену вперед.
- Довгий діалог. Сцена не перезапускається й не повторює шаблонні фрази постійно.
- Швидкість. Очікування зберігає ритм розмови.
Запиши налаштування, версію файлу та кількість перегенерацій. Повтори з іншою сценою: одна хороша відповідь ще не доводить надійність.
Де запускати GGUF: KoboldCpp, SillyTavern і Multiic
Типова схема: GGUF → сумісний рушій генерації → інтерфейс чату або гра. KoboldCpp і llama.cpp запускають моделі; SillyTavern і Multiic пропонують різні способи взаємодії з персонажами. Перевір підтримку архітектури у встановленій версії бекенду, особливо для нових Qwen і Gemma. KoboldCpp та llama.cpp.
Для підключення скористайся інструкцією Multiic для локальних моделей. Якщо обираєш між грою й налаштовуваним чатом, прочитай порівняння Multiic, SillyTavern та аналогів. Локальна мовна модель — лише частина системи: хмарні голоси чи зображення не стають локальними разом із нею.
Що саме обрана модель рухає всередині гри — картки персонажів, групові розмови, контекст світу й необов’язкові зображення сцени, — видно в огляді рольових ігор з ШІ в Multiic.
Переїжджаєш із Character.AI? Ось порівняння дев’яти альтернатив Character.AI — від онлайн-сервісів до повністю локальних варіантів.
Часті запитання про локальні LLM для roleplay
З якої моделі почати англомовну рольову гру?
Stheno Q4 на меншій GPU або Rocinante-X Q5 із більшим запасом пам’яті. Порівняй Gemory, якщо маєш 16 GB і хочеш творчу MoE. Картка й сцена визначають, що підходить краще.
Чи працюватиме 12B на відеокарті з 8 GB?
Так, із відповідною квантизацією та конфігурацією, іноді з частковим вивантаженням. Але 7.48 GB ваг залишають мало для решти. Менша 8–9B може краще поєднати швидкість та історію.
Чи вистачить 16 GB для MoE на 26B?
Деякі компактні GGUF — реалістичні кандидати, зокрема Gemory Q3_K_M. Контекст і вивантаження з GPU все одно треба налаштувати. A4B не означає, що зберігати потрібно лише чотири мільярди параметрів.
Чому персонаж повторюється або пише мої дії?
Перевір шаблон, картку й приклади діалогів. Прибери інструкції, які заохочують писати обидві сторони сцени. Якщо проблема триває з різними картками, порівняй іншу модель. Вищий квант не гарантує кращої поведінки.
Чи можна грати без інтернету?
Після завантаження локальний рушій може генерувати текст без хмарного API. Офлайн-робота всієї програми залежить від інших функцій і ресурсів. Голоси, зображення й налаштування з’єднання перевір окремо.
Обирай модель як актора: хто має грати цього персонажа? Пам’ятна відповідь, продовження вчорашньої сварки й вчасна відмова можуть важити більше за черговий вражаючий графік.
Почни з першої розмови
Обери готового персонажа. Як підключити моделі й озвучення, описано в допомозі.