想在自己的电脑上运行 AI 角色,却不知道下载哪款模型?先看显存:6 GB 试 Stheno 8B Q4,8 GB 试 Qwen3.5-9B Q4 或 Stheno Q5,12 GB 试 Rocinante-X 等 12B 模型,16 GB 则比较紧凑量化的 Gemory 与高质量 12B 量化。 在填满 SSD 之前,先弄清这些选择的取舍。
本地角色扮演有个有趣的问题:更聪明的模型,不一定能演出更有趣的角色。给一个解题高手塞进“毒舌走私犯”的角色卡,五轮之后,你可能正在和一位善解人意的企业心理咨询师交谈。角色语气、潜台词、主动性和场景连续性,与通用能力一样重要。
这份 Multiic 团队的选型指南结合原作者的角色扮演经验与核查过的模型卡。风格建议是自行比较的起点,并非独立排行榜。我们没有在每张显卡上测量速度或验证模型能否完全放入显存。技术信息核查于 2026 年 10 月 5 日;文件大小对应文中链接的 GGUF 转换版本。
本地角色扮演先试哪款模型?
| 显存与用途 | 优先尝试 | 检查重点 |
|---|---|---|
| 6 GB,英文角色聊天 | Stheno 8B Q4_K_M | 先用短上下文;复杂场景单独测试 |
| 6 GB,多语言世界模拟 | Qwen3.5-9B Q3/IQ3 | 低量化质量与部分卸载到内存后的速度 |
| 8 GB,通用聊天 | Qwen3.5-9B Q4_K_M | 实际空闲显存与正确的聊天模板 |
| 8 GB,英文对话 | Stheno Q5_K_M | 长对话中的角色一致性 |
| 8 GB,尝试 12B | Saiga Nemo Q4_K_M,可能需要部分卸载到内存 | 响应时间与紧张的上下文预算 |
| 12 GB,故事与冒险 | Rocinante-X Q5;对比 Bloodmoon 或 Eclipse | 使用你的角色卡时的表现 |
| 12 GB,另一款对话候选 | Saiga Nemo Q5_K_M | 写作风格与上下文余量 |
| 16 GB,创意角色扮演 | Gemory-26B-A4B Q3_K_M | 缓存空间、后端支持与 Q3 质量 |
| 16 GB,复杂沙盒 | Gemma 4 26B-A4B 或紧凑量化的 Qwen3.5-27B | 文件大小、上下文与卸载需求 |
按用途挑两款就好。并不需要下载整个模型仓库,尽管你的 SSD 可能已经开始怀疑这一点。
GGUF 大小与显存:放得下权重只是开始
GGUF 是 llama.cpp、KoboldCpp 等兼容推理引擎使用的模型格式。Q4、Q5、Q6 是不同量化方案:减小权重占用,通常会损失一些质量。VRAM 指显存,RAM 指电脑的系统内存。
内存预算包含权重、上下文缓存和工作缓冲区。桌面、游戏和图像生成器也可能已经占用显存。缓存需求随架构、上下文长度、精度和后端而变,没有通用的“再加两 GB”公式。
约 7.5 GB 的文件,不代表能舒舒服服地在 8 GB 显卡上运行。沙发塞进房间,不等于还留着舞池。部分卸载会把数据与工作转移到系统内存,速度取决于 CPU、RAM 和 GPU 连接。Google 的内存规划说明解释了权重之外的需求。
先用适中的上下文加载模型,查看实际占用,进行较长对话,然后再提高设置。下文大小是文件的十进制 GB,并非实测显存;软件可能显示 GiB。
6 GB 显存:Stheno 8B,以及谨慎尝试 Qwen
先比较 Q4 量化的 8B 角色扮演模型。它们往往比高度压缩的大模型更容易留出对话空间。如果世界规则比文风重要,Qwen 是另一条路线。模型链接指向具体的 GGUF 转换,大小仅包含权重。“值得尝试的用途”是比较场景,不是实测排名。
**表格中的语言:**EN 为英语,RU 为俄语,ZH 为中文,JA 为日语,HE 为希伯来语。加粗语言是原作者选型中的 RP 推荐,并非独立语言基准测试。基础模型的多语言范围单独标注,因为微调可能改变其他语言的表现。Nemo在 EN、FR、DE、ES、IT、PT、RU、ZH、JA 上接受评估;对 RP 衍生模型而言,这只是参考,不是保证。官方覆盖范围:Qwen3.5 为 201 种语言与方言、Qwen3 为 100+、Gemma 4 开箱支持 35+。Bloodmoon明确声明增加了俄语、日语和希伯来语训练。
| 模型与 GGUF | 基础模型/类型 | 起步量化 | 权重,GB | 语言与 RP 优势 | 值得尝试的用途 | 显存限制 |
|---|---|---|---|---|---|---|
| Stheno v3.2 8B | Llama 3/RP 微调 | Q4_K_M | 4.92 | EN;未声明其他语言 | 角色对话与小型场景 | 从 4k 开始;多个 NPC 和状态标记单独测试 |
| Lunaris v1 8B | Llama 3/RP 合并 | Q4_K_M | 4.92 | EN;未声明其他语言 | 与 Stheno 比较创意和逻辑 | 预算同样紧张;合并并不改善每张角色卡 |
| Hathor v0.2 8B | Llama 3/微调 | Q4_K_M | 4.92 | EN;未声明其他语言 | 同样大小,换一种叙事风格 | 用短历史检查对话节奏与指令遵循 |
| Qwen3.5-9B | Qwen3.5/通用 | IQ3_M | 4.98 | 201 种语言与方言;RP 推荐:EN、ZH | NPC 秘密、规则与依赖关系 | 比 Q4 压缩更强;检查连贯性与 IQ 支持 |
Lunaris 与 Hathor:不用升级显卡,也能换风格
Lunaris是包含 Stheno 的合并模型。作者希望兼顾创意和逻辑。用同一张角色卡比较,就像在几乎相同的内存预算下换一个演员。
Hathor的训练包含散文与角色扮演对话。如果第一款模型写得越来越重复,可以试试它。另一种文风值得探索,但不代表较老的 8B 能完美管理复杂 RPG。
L3-8B-Stheno-v3.2:从一个角色开始
Stheno 面向角色扮演与叙事。在原作者的选型中,它仍是小型英文场景、鲜明角色、冒险和恋爱故事的实用起点。Stheno 模型卡。
Bartowski 的 GGUF 转换中,Q4_K_M 约为 4.92 GB,Q5_K_M 约为 5.73 GB。6 GB 显存先从 Q4、约 4k 上下文开始,再查看剩余空间。这是测试配置,不是完全驻留显存的保证。
如果场景扩展到五个 NPC、背包和任务状态,可以比较更新的通用模型。对白生动与世界记账可靠,是两项不同的能力。
Qwen3.5-9B:当场景需要规则
用秘密和依赖关系测试 Qwen:一个 NPC 撒谎,另一个知道真相,第三个必须避免泄露。这样的测试比漂亮的开场白更有用。
Qwen3.5-9B声明覆盖 201 种语言与方言,支持 262,144 token 上下文。这不保证所有语言的文学质量相同,也不保证你的显卡能运行如此长的上下文。
在 Bartowski 的 GGUF 中,IQ4_XS 约为 5.50 GB,Q4_K_M 约为 6.17 GB。即使 IQ4,在 6 GB 上也很紧张。考虑 Q3/IQ3 或部分卸载;不要把 Q4_K_M 当作这里能完全驻留 GPU 的方案。
8 GB 显存:较从容的 8–9B,以及紧张的 12B 实验
可以提高 8B 的量化精度,也可以尝试余量更小的 12B。**8–9B 更容易起步,12B 适合有目的地比较。**响应时间和模型名字里的数字一样重要。
| 模型与 GGUF | 基础模型/类型 | 起步量化 | 权重,GB | 语言与 RP 优势 | 值得尝试的用途 | 显存限制 |
|---|---|---|---|---|---|---|
| Stheno v3.2 8B | Llama 3/RP | Q5_K_M | 5.73 | EN;未声明其他语言 | 比 Q4 压缩更少的对话 | 长历史仍需检查内存占用 |
| Lunaris v1 8B | Llama 3/RP 合并 | Q5_K_M | 5.73 | EN;未声明其他语言 | 不升到 12B,也能换风格 | 可用上下文不等于可靠的剧情记忆 |
| Hathor v0.2 8B | Llama 3/微调 | Q5_K_M | 5.73 | EN;未声明其他语言 | 比较文风与角色语气 | 其他语言需自行测试 |
| Qwen3.5-9B | Qwen3.5/通用 | Q4_K_M | 6.17 | 201 种语言与方言;RP 推荐:EN、ZH | 世界规则与多个 NPC | 需要兼容后端;检查空闲显存 |
| Rocinante-X 12B v1 | Mistral Nemo/RP | IQ4_XS | 6.74 | RP 推荐:EN;Nemo 基础模型为多语言 | 升级到 12 GB 前先尝试 12B | 缓存余量很小;可能需要卸载;模板必须正确 |
| Saiga Nemo 12B | Mistral Nemo/对话 | Q4_K_M | 7.48 | RU、EN | 另一款对话候选 | 短上下文实验,可能需要卸载到内存 |
通用方案可试 Qwen3.5-9B Q4_K_M,英文角色聊天可试 Stheno Q5_K_M。在模型支持的范围内,从 4–8k 上下文开始,加载后查看空闲显存。
**Saiga Nemo 12B Q4_K_M 在 8 GB 上属于有条件的实验。**约 7.48 GB 权重给历史和缓冲区留下的空间很少。短上下文、更小量化或部分卸载到 RAM 可能有帮助。文风和响应时间都要比较。
如果回答慢得难受,小模型反而可能让今晚更好玩。角色扮演需要节奏。一个连“嗯”都要准备一分钟的角色,会形成相当独特的节奏。
12 GB 显存:Rocinante-X、Saiga Nemo、Bloodmoon 与 Eclipse
12B 对家用角色扮演很有吸引力:足够表现角色,又不需要工作站级配置。不过,更高精度量化和长对话仍会争夺内存。
| 模型与 GGUF | 基础模型/类型 | 起步量化 | 权重,GB | 语言与 RP 优势 | 值得尝试的用途 | 显存限制 |
|---|---|---|---|---|---|---|
| Rocinante-X 12B v1 | Mistral Nemo/RP | Q5_K_M | 8.73 | RP 推荐:EN;Nemo 基础模型为多语言 | 冒险与创意对话 | 按作者要求使用 Mistral v3 Tekken/Metharme |
| Saiga Nemo 12B | Mistral Nemo/对话 | Q5_K_M | 8.73 | RU、EN | 比较对话与场景连续性 | Q6 为 10.1 GB;长上下文可能更适合 Q5 |
| Impish Bloodmoon 12B | Mistral Nemo/RP 微调 | Q5_K_M | 8.73 | EN、RU、JA、HE;RP 推荐:EN | 冲突与有自身利益的角色 | 降低过度积极是作者目标,不是保证 |
| Angelic Eclipse 12B | Mistral Nemo/微调 | Q5_K_M | 8.73 | RP 推荐:EN;Nemo 基础模型为多语言 | 逐步发展的关系 | 检查 NPC 主动性与长场景一致性 |
| NemoMix-Unleashed 12B | Mistral Nemo/RP 合并 | Q5_K_M | 8.73 | RP 推荐:EN;Nemo 基础模型为多语言 | 另一种文风与讲故事方式 | 先检查作者的 Mistral 格式与预设 |
| Gemma 4 12B IT | Gemma 4/通用 | Q4_K_M | 7.66 | 35+ 种语言;RP 推荐:EN | 与 RP 微调模型比较世界管理 | Q5 为 8.77 GB;不含额外多模态文件 |
| Qwen3-14B | Qwen3/通用 | Q4_K_M | 9.00 | 100+ 种语言与方言;RP 推荐:EN、ZH | 介于 9B 和 27B 之间的规模 | 检查思考模式与缓存余量 |
| Qwen3.5-9B | Qwen3.5/通用 | Q5_K_M | 7.11 | 201 种语言与方言;RP 推荐:EN、ZH | 较小模型,较高量化精度 | 不是 RP 专用;比较表现力 |
NemoMix 与 Qwen3-14B:扩大比较范围的两个理由
NemoMix-Unleashed提供另一款 Nemo RP 选择。作者强调叙事、缓解重复,并给出具体设置。如果硬件适合 12B,但 Rocinante 或 Bloodmoon 的风格不合口味,可以试它。
Qwen3-14B是介于 9B 与 27B 之间的通用对照模型。查看作者的非思考模式说明,以获得更快的对话。重点是比较实际表现,而不是默认推理更强就会演得更好。
Rocinante-X 12B:故事与冒险
Rocinante-X 值得用于英文对话和创意场景。作者强调角色扮演、文笔和聊天;这些是训练目标,不是对每张角色卡的承诺。模型说明与模板要求。
内存允许时从 Q5 开始。作者指定 Mistral v3 Tekken 或 Metharme,并提醒注意系统提示词格式。先检查模板,再尝试用温度修复奇怪输出。GGUF 下载。
Saiga Nemo 12B:另一款对话候选
用同一张角色卡比较 Saiga Nemo,在自己的场景中评估对话、连续性和响应时间。原始模型卡。
以下大小来自 QuantFactory 的 GGUF 转换:
| Saiga Nemo 量化 | GGUF 大小 | 起步建议 |
|---|---|---|
| Q4_K_M | 7.48 GB | 保留更多空闲内存 |
| Q5_K_M | 8.73 GB | 12 GB 上优先测试的候选 |
| Q6_K | 10.1 GB | 实际空闲内存足够时使用适中上下文 |
| Q8_0 | 13 GB | 仅权重就超过 12 GB |
核对原模型、版本与聊天模板。量化标签相同,不代表不同转换版本可以随意互换。
Impish Bloodmoon 与 Angelic Eclipse:比较性格
Impish Bloodmoon的作者强调减少过度积极,以及对游戏机制的支持。如果多疑或嫉妒的 NPC 总变成百依百顺的助手,可以试试它。
Angelic Eclipse强调真实反应与慢慢发展的关系。用相同场景比较两款。名字好听只是加分项,角色真正说了什么才决定选择。
Gemma 4 12B:测试更复杂的沙盒
当模型既要扮演 NPC,又要跟踪世界规则时,可以比较 Gemma 4 12B。Google 的介绍将它描述为支持推理和系统角色的通用模型系列。这是值得测试的理由,而非提前宣布胜者的依据。
16 GB 显存:Gemory、Gemma 4 与 Qwen3.5-27B
比较更高精度的 12B、稠密 24B 和更紧凑的 26B MoE。它们在文风、缓存空间和速度上各有取舍。多模态模型的下列大小仅包含语言模型主文件。
| 模型与 GGUF | 基础模型/类型 | 起步量化 | 权重,GB | 语言与 RP 优势 | 值得尝试的用途 | 显存限制 |
|---|---|---|---|---|---|---|
| Gemory-26B-A4B | Gemma 4/创意 MoE | Q3_K_M | 13.3 | RP 推荐:EN;基础模型的其他语言未验证 | 专门面向创意角色扮演 | 缓存紧张时对比 12.2 GB 的 Q3_K_S |
| Gemma 4 26B-A4B IT | Gemma 4/通用 MoE | Q3_K_M | 13.02 | 35+ 种语言;RP 推荐:EN | 角色互动与沙盒规则兼顾 | IQ4_XS 为 14.21 GB;缓存可能需要卸载 |
| Cydonia 24B v4.1 | Mistral Small/稠密 RP | Q4_K_S | 13.55 | RP 推荐:EN;基础模型支持 24 种语言 | 比 Gemory 更大的 RP 备选 | Q4_K_M 为 14.33 GB;先用适中上下文 |
| Qwen3.5-27B | Qwen3.5/通用 | IQ3_M | 14.12 | 201 种语言与方言;RP 推荐:EN、ZH | 复杂依赖与世界逻辑 | 预算紧张;Q4_K_M 超过显存;可能需要卸载 |
| Qwen3-14B | Qwen3/通用 | Q5_K_M | 10.51 | 100+ 种语言与方言;RP 推荐:EN、ZH | 压缩更少,历史空间更多 | 并非 RP 微调;思考会影响节奏 |
| Rocinante-X 12B v1 | Mistral Nemo/RP | Q6_K | 10.06 | RP 推荐:EN;Nemo 基础模型为多语言 | 高质量 12B 量化,而非更大 Q3 | 同时评估剧情连续性与缓存空间 |
| Saiga Nemo 12B | Mistral Nemo/对话 | Q6_K | 10.1 | RU、EN | 留出历史余量的对话比较 | Q8 为 13 GB;上下文可能比额外精度更重要 |
Cydonia 24B:不使用 MoE 的更大 RP 模型
Cydonia v4.1在 Gemory MoE 和 12B Nemo 之外提供稠密 24B 选项。先用 Q4_K_S,实际内存足够再试 Q4_K_M。作者指定 Mistral v7 Tekken;不要因为同为 Drummer 的模型,就直接复制 Rocinante-X 的模板。
在 12 GB 上,约 11.47 GB 的 Q3_K_M 余量太小,不适合轻松推荐。因此这里把 Cydonia 放在 16 GB 类别。能启动,不等于适合第一次尝试。
Gemory-26B-A4B:创意 MoE 候选
Gemory 面向创意写作与角色扮演。查看作者模型卡;下列大小对应 Abiray 转换。
| Gemory 量化 | GGUF 大小 | 对 16 GB 的意义 |
|---|---|---|
| Q3_K_S | 约 12.2 GB | 更多历史空间,压缩更强 |
| Q3_K_M | 约 13.3 GB | 合理的测试候选 |
| Q4_K_S | 约 15.5 GB | 加上缓存与缓冲区后很紧张 |
| Q4_K_M | 约 16.8 GB | 权重超过 16 GB;必须卸载 |
混合专家模型每个 token 只激活部分参数,但其他权重仍需存储。A4B 不意味着只有普通 4B 模型的内存需求。Gemma 4 模型卡解释了总参数与激活参数的区别。
标准 Gemma,还是 Qwen 27B?
如果一个引擎要同时管理角色和沙盒规则,可以比较 Gemma 4 26B-A4B 与 Gemory。微调会改变行为,共用基础模型并不保证相同体验。
较小模型无法处理场景时,Qwen3.5-27B 也是候选。但 Bartowski 的 GGUF 大约为:Q4_K_M 17.98 GB、IQ4_XS 15.78 GB、Q3_K_M 14.82 GB。文件低于 16 GB,也不保证上下文有位置。考虑紧凑量化与部分卸载。
16 GB 上的 12B Q5/Q6 仍是实用替代,能给历史留更多空间。先比较大模型低精度与小模型高精度,再决定是否真的需要更多参数。
下载哪种量化:Q4、Q5、Q6 还是 Q3?
实用顺序是先 Q4_K_M,内存允许再 Q5_K_M 或 Q6_K。比较时保持模型与转换版本一致。
- **Q4_K_M:**大小与质量的实用起点。
- **Q5_K_M:**历史仍有余量时的下一款候选。
- **Q6_K:**能保住所需上下文和速度时值得尝试。
- **Q8_0:**为具体比较而下载,不只是追求更大数字。
- **Q3/IQ3:**让有限内存尝试大模型;仔细检查连贯性和重复。
量化只是一个因素。角色卡不合适或模板错误,可能比 Q4 与 Q5 的差异更伤对话。
上下文与角色记忆:从 4–8k 开始
上下文包含指令、角色卡、世界信息、历史和回答空间。8k 限制不是给用户消息独享的 8k。模型卡里的最大值,不承诺你的内存足够,也不保证整段上下文都有同样可靠的记忆。
先用模型支持的 4–8k,再根据实际占用测试 16k 或更多。不要仅因输入框能接受数字,就把老模型拉到其支持范围之外。
长故事应保存简短总结:角色在哪里、想要什么、知道什么、发生了哪些变化。重要事件后更新,稳定的角色事实单独保存。长上下文不会把 LLM 变成数据库。一个虚构的兄弟仍可能不请自来。
一晚完成角色扮演设置与模型测试
先用模型卡的模板和设置。如果作者没有预设,温度约 0.8、top-p 约 0.9 可以是实验起点,而非通用最优值。每次只改一个设置。
起初把回答限制在 150–300 token。短回合便于评估对话,也给玩家行动空间。逐步增加重复惩罚,过高同样会损害写作。
尝试这段对照场景:
莉娅是轨道空间站的机械师。她想离开,却藏着一件失踪的引擎零件。玩家昨天帮过她;她感激,却仍不信任玩家。守卫知道零件失踪,但不知道是谁拿的。玩家请求莉娅允许自己进入维修间。
补充:“描述 NPC 的言语和行动。不要替玩家决定想什么、说什么或做什么。”使用同一角色卡、场景和可用上下文玩 20–30 轮,每款模型都用自己的正确模板。
观察七点:
- **性格。**莉娅仍然多疑,但记得玩家的帮助。
- **潜台词。**秘密影响她的说话方式,却不会莫名泄露。
- **玩家自主权。**模型把你的台词和决定留给你。
- **世界状态。**守卫不会凭空获得信息。
- **主动性。**NPC 用行动推动场景。
- **长对话。**场景不会不停重启或重复套话。
- **速度。**等待时间能维持对话节奏。
记录设置、文件版本和重新生成次数,再换一段场景测试。一条好回答还不能证明可靠。
在哪里运行 GGUF:KoboldCpp、SillyTavern 与 Multiic
常见结构是 GGUF → 兼容推理引擎 → 聊天界面或游戏。KoboldCpp 与 llama.cpp 运行模型,SillyTavern 与 Multiic 提供不同的角色互动体验。检查已安装后端版本的架构支持,尤其是较新的 Qwen 和 Gemma。KoboldCpp 与 llama.cpp。
连接模型可参考 Multiic 本地模型设置指南。若在游戏与可定制聊天间选择,阅读 Multiic、SillyTavern 与同类产品对比。本地语言模型只是系统的一部分:云端语音和图像生成不会因此一起变成本地。
选好的模型在游戏里具体驱动什么——角色卡、多人对话、世界上下文和可选的场景画面——可以在 Multiic 的 AI 角色扮演介绍 里看到。
正在离开 Character.AI?这里有一篇九款 Character.AI 替代品对比,从在线服务到完全本地的方案都有。
本地角色扮演大模型常见问题
英文角色扮演从哪款模型开始?
小显卡先试 Stheno Q4,内存更充足可试 Rocinante-X Q5。16 GB 想探索创意 MoE,可比较 Gemory。最终适合谁,取决于角色卡与场景。
12B 模型能在 8 GB 显卡上运行吗?
可以,需要合适的量化和配置,有时要部分卸载。但 7.48 GB 权重给其他内容留下的余量很小。8–9B 可能更好地兼顾速度和历史。
16 GB 足够运行 26B MoE 吗?
部分紧凑 GGUF 是现实的测试候选,例如 Gemory Q3_K_M。上下文与 GPU 卸载仍需调整。A4B 不意味着只需存储四十亿参数。
为什么角色重复说话,或替我写行动?
检查模板、角色卡和对话示例。删除鼓励同时写场景双方的指令。如果换多张卡仍有问题,比较另一款模型。更高量化精度不保证更好行为。
没有网络也能角色扮演吗?
模型下载完成后,本地引擎可以不调用云端 API 生成文本。整款应用能否离线取决于其他功能和资源。语音、图像和连接设置需要分别检查。
像挑演员一样挑模型:**谁应该演这个角色?**一句让人记住的回答、接得上昨天争吵的记忆,以及恰到好处的拒绝,可能比又一张漂亮的图表更重要。