对比

2026 本地角色扮演大模型推荐:6、8、12 和 16 GB 显存怎么选

更聪明不一定更有趣。为你的角色挑选模型,算清显存预算,下载合适的 GGUF,少走弯路。

想在自己的电脑上运行 AI 角色,却不知道下载哪款模型?先看显存:6 GB 试 Stheno 8B Q4,8 GB 试 Qwen3.5-9B Q4 或 Stheno Q5,12 GB 试 Rocinante-X 等 12B 模型,16 GB 则比较紧凑量化的 Gemory 与高质量 12B 量化。 在填满 SSD 之前,先弄清这些选择的取舍。

本地角色扮演有个有趣的问题:更聪明的模型,不一定能演出更有趣的角色。给一个解题高手塞进“毒舌走私犯”的角色卡,五轮之后,你可能正在和一位善解人意的企业心理咨询师交谈。角色语气、潜台词、主动性和场景连续性,与通用能力一样重要。

这份 Multiic 团队的选型指南结合原作者的角色扮演经验与核查过的模型卡。风格建议是自行比较的起点,并非独立排行榜。我们没有在每张显卡上测量速度或验证模型能否完全放入显存。技术信息核查于 2026 年 10 月 5 日;文件大小对应文中链接的 GGUF 转换版本。

本地角色扮演先试哪款模型?

本地角色扮演先试哪款模型?
显存与用途 优先尝试 检查重点
6 GB,英文角色聊天 Stheno 8B Q4_K_M 先用短上下文;复杂场景单独测试
6 GB,多语言世界模拟 Qwen3.5-9B Q3/IQ3 低量化质量与部分卸载到内存后的速度
8 GB,通用聊天 Qwen3.5-9B Q4_K_M 实际空闲显存与正确的聊天模板
8 GB,英文对话 Stheno Q5_K_M 长对话中的角色一致性
8 GB,尝试 12B Saiga Nemo Q4_K_M,可能需要部分卸载到内存 响应时间与紧张的上下文预算
12 GB,故事与冒险 Rocinante-X Q5;对比 Bloodmoon 或 Eclipse 使用你的角色卡时的表现
12 GB,另一款对话候选 Saiga Nemo Q5_K_M 写作风格与上下文余量
16 GB,创意角色扮演 Gemory-26B-A4B Q3_K_M 缓存空间、后端支持与 Q3 质量
16 GB,复杂沙盒 Gemma 4 26B-A4B 或紧凑量化的 Qwen3.5-27B 文件大小、上下文与卸载需求

按用途挑两款就好。并不需要下载整个模型仓库,尽管你的 SSD 可能已经开始怀疑这一点。

GGUF 大小与显存:放得下权重只是开始

GGUF 是 llama.cpp、KoboldCpp 等兼容推理引擎使用的模型格式。Q4、Q5、Q6 是不同量化方案:减小权重占用,通常会损失一些质量。VRAM 指显存,RAM 指电脑的系统内存。

内存预算包含权重、上下文缓存和工作缓冲区。桌面、游戏和图像生成器也可能已经占用显存。缓存需求随架构、上下文长度、精度和后端而变,没有通用的“再加两 GB”公式。

约 7.5 GB 的文件,不代表能舒舒服服地在 8 GB 显卡上运行。沙发塞进房间,不等于还留着舞池。部分卸载会把数据与工作转移到系统内存,速度取决于 CPU、RAM 和 GPU 连接。Google 的内存规划说明解释了权重之外的需求。

先用适中的上下文加载模型,查看实际占用,进行较长对话,然后再提高设置。下文大小是文件的十进制 GB,并非实测显存;软件可能显示 GiB。

6 GB 显存:Stheno 8B,以及谨慎尝试 Qwen

先比较 Q4 量化的 8B 角色扮演模型。它们往往比高度压缩的大模型更容易留出对话空间。如果世界规则比文风重要,Qwen 是另一条路线。模型链接指向具体的 GGUF 转换,大小仅包含权重。“值得尝试的用途”是比较场景,不是实测排名。

**表格中的语言:**EN 为英语,RU 为俄语,ZH 为中文,JA 为日语,HE 为希伯来语。加粗语言是原作者选型中的 RP 推荐,并非独立语言基准测试。基础模型的多语言范围单独标注,因为微调可能改变其他语言的表现。Nemo在 EN、FR、DE、ES、IT、PT、RU、ZH、JA 上接受评估;对 RP 衍生模型而言,这只是参考,不是保证。官方覆盖范围:Qwen3.5 为 201 种语言与方言、Qwen3 为 100+、Gemma 4 开箱支持 35+。Bloodmoon明确声明增加了俄语、日语和希伯来语训练。

6 GB 显存:Stheno 8B,以及谨慎尝试 Qwen
模型与 GGUF 基础模型/类型 起步量化 权重,GB 语言与 RP 优势 值得尝试的用途 显存限制
Stheno v3.2 8B Llama 3/RP 微调 Q4_K_M 4.92 EN;未声明其他语言 角色对话与小型场景 从 4k 开始;多个 NPC 和状态标记单独测试
Lunaris v1 8B Llama 3/RP 合并 Q4_K_M 4.92 EN;未声明其他语言 与 Stheno 比较创意和逻辑 预算同样紧张;合并并不改善每张角色卡
Hathor v0.2 8B Llama 3/微调 Q4_K_M 4.92 EN;未声明其他语言 同样大小,换一种叙事风格 用短历史检查对话节奏与指令遵循
Qwen3.5-9B Qwen3.5/通用 IQ3_M 4.98 201 种语言与方言;RP 推荐:EN、ZH NPC 秘密、规则与依赖关系 比 Q4 压缩更强;检查连贯性与 IQ 支持

Lunaris 与 Hathor:不用升级显卡,也能换风格

Lunaris是包含 Stheno 的合并模型。作者希望兼顾创意和逻辑。用同一张角色卡比较,就像在几乎相同的内存预算下换一个演员。

Hathor的训练包含散文与角色扮演对话。如果第一款模型写得越来越重复,可以试试它。另一种文风值得探索,但不代表较老的 8B 能完美管理复杂 RPG。

L3-8B-Stheno-v3.2:从一个角色开始

Stheno 面向角色扮演与叙事。在原作者的选型中,它仍是小型英文场景、鲜明角色、冒险和恋爱故事的实用起点。Stheno 模型卡。

Bartowski 的 GGUF 转换中,Q4_K_M 约为 4.92 GB,Q5_K_M 约为 5.73 GB。6 GB 显存先从 Q4、约 4k 上下文开始,再查看剩余空间。这是测试配置,不是完全驻留显存的保证。

如果场景扩展到五个 NPC、背包和任务状态,可以比较更新的通用模型。对白生动与世界记账可靠,是两项不同的能力。

Qwen3.5-9B:当场景需要规则

用秘密和依赖关系测试 Qwen:一个 NPC 撒谎,另一个知道真相,第三个必须避免泄露。这样的测试比漂亮的开场白更有用。

Qwen3.5-9B声明覆盖 201 种语言与方言,支持 262,144 token 上下文。这不保证所有语言的文学质量相同,也不保证你的显卡能运行如此长的上下文。

在 Bartowski 的 GGUF 中,IQ4_XS 约为 5.50 GB,Q4_K_M 约为 6.17 GB。即使 IQ4,在 6 GB 上也很紧张。考虑 Q3/IQ3 或部分卸载;不要把 Q4_K_M 当作这里能完全驻留 GPU 的方案。

8 GB 显存:较从容的 8–9B,以及紧张的 12B 实验

可以提高 8B 的量化精度,也可以尝试余量更小的 12B。**8–9B 更容易起步,12B 适合有目的地比较。**响应时间和模型名字里的数字一样重要。

8 GB 显存:较从容的 8–9B,以及紧张的 12B 实验
模型与 GGUF 基础模型/类型 起步量化 权重,GB 语言与 RP 优势 值得尝试的用途 显存限制
Stheno v3.2 8B Llama 3/RP Q5_K_M 5.73 EN;未声明其他语言 比 Q4 压缩更少的对话 长历史仍需检查内存占用
Lunaris v1 8B Llama 3/RP 合并 Q5_K_M 5.73 EN;未声明其他语言 不升到 12B,也能换风格 可用上下文不等于可靠的剧情记忆
Hathor v0.2 8B Llama 3/微调 Q5_K_M 5.73 EN;未声明其他语言 比较文风与角色语气 其他语言需自行测试
Qwen3.5-9B Qwen3.5/通用 Q4_K_M 6.17 201 种语言与方言;RP 推荐:EN、ZH 世界规则与多个 NPC 需要兼容后端;检查空闲显存
Rocinante-X 12B v1 Mistral Nemo/RP IQ4_XS 6.74 RP 推荐:EN;Nemo 基础模型为多语言 升级到 12 GB 前先尝试 12B 缓存余量很小;可能需要卸载;模板必须正确
Saiga Nemo 12B Mistral Nemo/对话 Q4_K_M 7.48 RU、EN 另一款对话候选 短上下文实验,可能需要卸载到内存

通用方案可试 Qwen3.5-9B Q4_K_M,英文角色聊天可试 Stheno Q5_K_M。在模型支持的范围内,从 4–8k 上下文开始,加载后查看空闲显存。

**Saiga Nemo 12B Q4_K_M 在 8 GB 上属于有条件的实验。**约 7.48 GB 权重给历史和缓冲区留下的空间很少。短上下文、更小量化或部分卸载到 RAM 可能有帮助。文风和响应时间都要比较。

如果回答慢得难受,小模型反而可能让今晚更好玩。角色扮演需要节奏。一个连“嗯”都要准备一分钟的角色,会形成相当独特的节奏。

12 GB 显存:Rocinante-X、Saiga Nemo、Bloodmoon 与 Eclipse

12B 对家用角色扮演很有吸引力:足够表现角色,又不需要工作站级配置。不过,更高精度量化和长对话仍会争夺内存。

12 GB 显存:Rocinante-X、Saiga Nemo、Bloodmoon 与 Eclipse
模型与 GGUF 基础模型/类型 起步量化 权重,GB 语言与 RP 优势 值得尝试的用途 显存限制
Rocinante-X 12B v1 Mistral Nemo/RP Q5_K_M 8.73 RP 推荐:EN;Nemo 基础模型为多语言 冒险与创意对话 按作者要求使用 Mistral v3 Tekken/Metharme
Saiga Nemo 12B Mistral Nemo/对话 Q5_K_M 8.73 RU、EN 比较对话与场景连续性 Q6 为 10.1 GB;长上下文可能更适合 Q5
Impish Bloodmoon 12B Mistral Nemo/RP 微调 Q5_K_M 8.73 EN、RU、JA、HE;RP 推荐:EN 冲突与有自身利益的角色 降低过度积极是作者目标,不是保证
Angelic Eclipse 12B Mistral Nemo/微调 Q5_K_M 8.73 RP 推荐:EN;Nemo 基础模型为多语言 逐步发展的关系 检查 NPC 主动性与长场景一致性
NemoMix-Unleashed 12B Mistral Nemo/RP 合并 Q5_K_M 8.73 RP 推荐:EN;Nemo 基础模型为多语言 另一种文风与讲故事方式 先检查作者的 Mistral 格式与预设
Gemma 4 12B IT Gemma 4/通用 Q4_K_M 7.66 35+ 种语言;RP 推荐:EN 与 RP 微调模型比较世界管理 Q5 为 8.77 GB;不含额外多模态文件
Qwen3-14B Qwen3/通用 Q4_K_M 9.00 100+ 种语言与方言;RP 推荐:EN、ZH 介于 9B 和 27B 之间的规模 检查思考模式与缓存余量
Qwen3.5-9B Qwen3.5/通用 Q5_K_M 7.11 201 种语言与方言;RP 推荐:EN、ZH 较小模型,较高量化精度 不是 RP 专用;比较表现力

NemoMix 与 Qwen3-14B:扩大比较范围的两个理由

NemoMix-Unleashed提供另一款 Nemo RP 选择。作者强调叙事、缓解重复,并给出具体设置。如果硬件适合 12B,但 Rocinante 或 Bloodmoon 的风格不合口味,可以试它。

Qwen3-14B是介于 9B 与 27B 之间的通用对照模型。查看作者的非思考模式说明,以获得更快的对话。重点是比较实际表现,而不是默认推理更强就会演得更好。

Rocinante-X 12B:故事与冒险

Rocinante-X 值得用于英文对话和创意场景。作者强调角色扮演、文笔和聊天;这些是训练目标,不是对每张角色卡的承诺。模型说明与模板要求。

内存允许时从 Q5 开始。作者指定 Mistral v3 Tekken 或 Metharme,并提醒注意系统提示词格式。先检查模板,再尝试用温度修复奇怪输出。GGUF 下载。

Saiga Nemo 12B:另一款对话候选

用同一张角色卡比较 Saiga Nemo,在自己的场景中评估对话、连续性和响应时间。原始模型卡。

以下大小来自 QuantFactory 的 GGUF 转换:

Saiga Nemo 12B:另一款对话候选
Saiga Nemo 量化 GGUF 大小 起步建议
Q4_K_M 7.48 GB 保留更多空闲内存
Q5_K_M 8.73 GB 12 GB 上优先测试的候选
Q6_K 10.1 GB 实际空闲内存足够时使用适中上下文
Q8_0 13 GB 仅权重就超过 12 GB

核对原模型、版本与聊天模板。量化标签相同,不代表不同转换版本可以随意互换。

Impish Bloodmoon 与 Angelic Eclipse:比较性格

Impish Bloodmoon的作者强调减少过度积极,以及对游戏机制的支持。如果多疑或嫉妒的 NPC 总变成百依百顺的助手,可以试试它。

Angelic Eclipse强调真实反应与慢慢发展的关系。用相同场景比较两款。名字好听只是加分项,角色真正说了什么才决定选择。

Gemma 4 12B:测试更复杂的沙盒

当模型既要扮演 NPC,又要跟踪世界规则时,可以比较 Gemma 4 12B。Google 的介绍将它描述为支持推理和系统角色的通用模型系列。这是值得测试的理由,而非提前宣布胜者的依据。

16 GB 显存:Gemory、Gemma 4 与 Qwen3.5-27B

比较更高精度的 12B、稠密 24B 和更紧凑的 26B MoE。它们在文风、缓存空间和速度上各有取舍。多模态模型的下列大小仅包含语言模型主文件。

16 GB 显存:Gemory、Gemma 4 与 Qwen3.5-27B
模型与 GGUF 基础模型/类型 起步量化 权重,GB 语言与 RP 优势 值得尝试的用途 显存限制
Gemory-26B-A4B Gemma 4/创意 MoE Q3_K_M 13.3 RP 推荐:EN;基础模型的其他语言未验证 专门面向创意角色扮演 缓存紧张时对比 12.2 GB 的 Q3_K_S
Gemma 4 26B-A4B IT Gemma 4/通用 MoE Q3_K_M 13.02 35+ 种语言;RP 推荐:EN 角色互动与沙盒规则兼顾 IQ4_XS 为 14.21 GB;缓存可能需要卸载
Cydonia 24B v4.1 Mistral Small/稠密 RP Q4_K_S 13.55 RP 推荐:EN;基础模型支持 24 种语言 比 Gemory 更大的 RP 备选 Q4_K_M 为 14.33 GB;先用适中上下文
Qwen3.5-27B Qwen3.5/通用 IQ3_M 14.12 201 种语言与方言;RP 推荐:EN、ZH 复杂依赖与世界逻辑 预算紧张;Q4_K_M 超过显存;可能需要卸载
Qwen3-14B Qwen3/通用 Q5_K_M 10.51 100+ 种语言与方言;RP 推荐:EN、ZH 压缩更少,历史空间更多 并非 RP 微调;思考会影响节奏
Rocinante-X 12B v1 Mistral Nemo/RP Q6_K 10.06 RP 推荐:EN;Nemo 基础模型为多语言 高质量 12B 量化,而非更大 Q3 同时评估剧情连续性与缓存空间
Saiga Nemo 12B Mistral Nemo/对话 Q6_K 10.1 RU、EN 留出历史余量的对话比较 Q8 为 13 GB;上下文可能比额外精度更重要

Cydonia 24B:不使用 MoE 的更大 RP 模型

Cydonia v4.1在 Gemory MoE 和 12B Nemo 之外提供稠密 24B 选项。先用 Q4_K_S,实际内存足够再试 Q4_K_M。作者指定 Mistral v7 Tekken;不要因为同为 Drummer 的模型,就直接复制 Rocinante-X 的模板。

在 12 GB 上,约 11.47 GB 的 Q3_K_M 余量太小,不适合轻松推荐。因此这里把 Cydonia 放在 16 GB 类别。能启动,不等于适合第一次尝试。

Gemory-26B-A4B:创意 MoE 候选

Gemory 面向创意写作与角色扮演。查看作者模型卡;下列大小对应 Abiray 转换。

Gemory-26B-A4B:创意 MoE 候选
Gemory 量化 GGUF 大小 对 16 GB 的意义
Q3_K_S 约 12.2 GB 更多历史空间,压缩更强
Q3_K_M 约 13.3 GB 合理的测试候选
Q4_K_S 约 15.5 GB 加上缓存与缓冲区后很紧张
Q4_K_M 约 16.8 GB 权重超过 16 GB;必须卸载

混合专家模型每个 token 只激活部分参数,但其他权重仍需存储。A4B 不意味着只有普通 4B 模型的内存需求。Gemma 4 模型卡解释了总参数与激活参数的区别。

标准 Gemma,还是 Qwen 27B?

如果一个引擎要同时管理角色和沙盒规则,可以比较 Gemma 4 26B-A4B 与 Gemory。微调会改变行为,共用基础模型并不保证相同体验。

较小模型无法处理场景时,Qwen3.5-27B 也是候选。但 Bartowski 的 GGUF 大约为:Q4_K_M 17.98 GB、IQ4_XS 15.78 GB、Q3_K_M 14.82 GB。文件低于 16 GB,也不保证上下文有位置。考虑紧凑量化与部分卸载。

16 GB 上的 12B Q5/Q6 仍是实用替代,能给历史留更多空间。先比较大模型低精度与小模型高精度,再决定是否真的需要更多参数。

下载哪种量化:Q4、Q5、Q6 还是 Q3?

实用顺序是先 Q4_K_M,内存允许再 Q5_K_M 或 Q6_K。比较时保持模型与转换版本一致。

  • **Q4_K_M:**大小与质量的实用起点。
  • **Q5_K_M:**历史仍有余量时的下一款候选。
  • **Q6_K:**能保住所需上下文和速度时值得尝试。
  • **Q8_0:**为具体比较而下载,不只是追求更大数字。
  • **Q3/IQ3:**让有限内存尝试大模型;仔细检查连贯性和重复。

量化只是一个因素。角色卡不合适或模板错误,可能比 Q4 与 Q5 的差异更伤对话。

上下文与角色记忆:从 4–8k 开始

上下文包含指令、角色卡、世界信息、历史和回答空间。8k 限制不是给用户消息独享的 8k。模型卡里的最大值,不承诺你的内存足够,也不保证整段上下文都有同样可靠的记忆。

先用模型支持的 4–8k,再根据实际占用测试 16k 或更多。不要仅因输入框能接受数字,就把老模型拉到其支持范围之外。

长故事应保存简短总结:角色在哪里、想要什么、知道什么、发生了哪些变化。重要事件后更新,稳定的角色事实单独保存。长上下文不会把 LLM 变成数据库。一个虚构的兄弟仍可能不请自来。

一晚完成角色扮演设置与模型测试

先用模型卡的模板和设置。如果作者没有预设,温度约 0.8、top-p 约 0.9 可以是实验起点,而非通用最优值。每次只改一个设置。

起初把回答限制在 150–300 token。短回合便于评估对话,也给玩家行动空间。逐步增加重复惩罚,过高同样会损害写作。

尝试这段对照场景:

莉娅是轨道空间站的机械师。她想离开,却藏着一件失踪的引擎零件。玩家昨天帮过她;她感激,却仍不信任玩家。守卫知道零件失踪,但不知道是谁拿的。玩家请求莉娅允许自己进入维修间。

补充:“描述 NPC 的言语和行动。不要替玩家决定想什么、说什么或做什么。”使用同一角色卡、场景和可用上下文玩 20–30 轮,每款模型都用自己的正确模板。

观察七点:

  1. **性格。**莉娅仍然多疑,但记得玩家的帮助。
  2. **潜台词。**秘密影响她的说话方式,却不会莫名泄露。
  3. **玩家自主权。**模型把你的台词和决定留给你。
  4. **世界状态。**守卫不会凭空获得信息。
  5. **主动性。**NPC 用行动推动场景。
  6. **长对话。**场景不会不停重启或重复套话。
  7. **速度。**等待时间能维持对话节奏。

记录设置、文件版本和重新生成次数,再换一段场景测试。一条好回答还不能证明可靠。

在哪里运行 GGUF:KoboldCpp、SillyTavern 与 Multiic

常见结构是 GGUF → 兼容推理引擎 → 聊天界面或游戏。KoboldCpp 与 llama.cpp 运行模型,SillyTavern 与 Multiic 提供不同的角色互动体验。检查已安装后端版本的架构支持,尤其是较新的 Qwen 和 Gemma。KoboldCpp 与 llama.cpp。

连接模型可参考 Multiic 本地模型设置指南。若在游戏与可定制聊天间选择,阅读 Multiic、SillyTavern 与同类产品对比。本地语言模型只是系统的一部分:云端语音和图像生成不会因此一起变成本地。

选好的模型在游戏里具体驱动什么——角色卡、多人对话、世界上下文和可选的场景画面——可以在 Multiic 的 AI 角色扮演介绍 里看到。

正在离开 Character.AI?这里有一篇九款 Character.AI 替代品对比,从在线服务到完全本地的方案都有。

本地角色扮演大模型常见问题

英文角色扮演从哪款模型开始?

小显卡先试 Stheno Q4,内存更充足可试 Rocinante-X Q5。16 GB 想探索创意 MoE,可比较 Gemory。最终适合谁,取决于角色卡与场景。

12B 模型能在 8 GB 显卡上运行吗?

可以,需要合适的量化和配置,有时要部分卸载。但 7.48 GB 权重给其他内容留下的余量很小。8–9B 可能更好地兼顾速度和历史。

16 GB 足够运行 26B MoE 吗?

部分紧凑 GGUF 是现实的测试候选,例如 Gemory Q3_K_M。上下文与 GPU 卸载仍需调整。A4B 不意味着只需存储四十亿参数。

为什么角色重复说话,或替我写行动?

检查模板、角色卡和对话示例。删除鼓励同时写场景双方的指令。如果换多张卡仍有问题,比较另一款模型。更高量化精度不保证更好行为。

没有网络也能角色扮演吗?

模型下载完成后,本地引擎可以不调用云端 API 生成文本。整款应用能否离线取决于其他功能和资源。语音、图像和连接设置需要分别检查。

像挑演员一样挑模型:**谁应该演这个角色?**一句让人记住的回答、接得上昨天争吵的记忆,以及恰到好处的拒绝,可能比又一张漂亮的图表更重要。

试试 Multiic

从一次对话开始

先选一个现成的角色。模型和语音的配置方法都在帮助页里。