¿Quieres un personaje de IA en tu PC, pero no sabes qué modelo descargar? Empieza por la memoria de la GPU: Stheno 8B Q4 con 6 GB, Qwen3.5-9B Q4 o Stheno Q5 con 8 GB, un 12B como Rocinante-X con 12 GB y un quant compacto de Gemory o uno bueno de 12B con 16 GB. Veamos los compromisos antes de llenar tu SSD.
El roleplay local tiene una peculiaridad: un modelo más inteligente no siempre interpreta un personaje más interesante. Dale a un gran solucionador de problemas la tarjeta de un contrabandista sarcástico y, cinco turnos después, quizá estés hablando con un terapeuta corporativo comprensivo. La voz, el subtexto, la iniciativa y la continuidad importan tanto como la capacidad bruta.
Esta selección del equipo de Multiic combina la experiencia de roleplay del autor original con tarjetas de modelo revisadas. Las recomendaciones de estilo sirven para tus comparaciones; no son una clasificación independiente. No hemos medido la velocidad ni la ejecución completa en GPU en todas las tarjetas gráficas. Los datos técnicos se revisaron el 5 de octubre de 2026; los tamaños corresponden a las conversiones GGUF enlazadas.
¿Qué modelo local de roleplay probar primero?
| Memoria de GPU y objetivo | Primer candidato | Qué revisar |
|---|---|---|
| 6 GB, chat de personajes en inglés | Stheno 8B Q4_K_M | Contexto corto; probar escenas complejas por separado |
| 6 GB, simulación multilingüe | Qwen3.5-9B Q3/IQ3 | Calidad del quant bajo y velocidad al descargar a RAM |
| 8 GB, chat de uso general | Qwen3.5-9B Q4_K_M | Memoria libre y plantilla correcta |
| 8 GB, diálogos en inglés | Stheno Q5_K_M | Consistencia del personaje en conversaciones largas |
| 8 GB, experimentar con 12B | Saiga Nemo Q4_K_M, quizá con descarga a RAM | Tiempo de respuesta y presupuesto de contexto |
| 12 GB, historias y aventuras | Rocinante-X Q5; comparar Bloodmoon o Eclipse | Comportamiento con tu tarjeta de personaje |
| 12 GB, otro candidato conversacional | Saiga Nemo Q5_K_M | Estilo de escritura y espacio para contexto |
| 16 GB, roleplay creativo | Gemory-26B-A4B Q3_K_M | Caché, compatibilidad del backend y calidad Q3 |
| 16 GB, sandbox complejo | Gemma 4 26B-A4B o un quant compacto de Qwen3.5-27B | Tamaño, contexto y posible descarga a RAM |
Elige dos candidatos para tu objetivo. Descargar todo el repositorio de modelos es opcional, aunque tu SSD ya sospeche lo contrario.
Tamaño GGUF y VRAM: cargar los pesos es solo el comienzo
GGUF es un formato de archivo para motores compatibles, como llama.cpp y KoboldCpp. Q4, Q5 y Q6 son variantes de cuantización: reducen el espacio de los pesos, normalmente con cierta pérdida de calidad. VRAM es la memoria de la GPU; RAM, la memoria del sistema.
El presupuesto incluye pesos, caché de contexto y búferes de trabajo. El escritorio, un juego o un generador de imágenes pueden estar usando VRAM. La caché depende de arquitectura, contexto, precisión y backend. No existe una regla universal de «sumar exactamente dos gigabytes».
Un archivo de unos 7.5 GB no queda automáticamente cómodo en una GPU de 8 GB. Meter el sofá en la sala no te deja pista de baile. La descarga parcial a RAM mueve datos y trabajo a la memoria del sistema; la velocidad depende de CPU, RAM y conexión con la GPU. Las notas de Google sobre memoria explican lo que necesitas además de los pesos.
Carga con contexto moderado, observa el consumo real, mantén una conversación larga y después aumenta los ajustes. Los tamaños son GB decimales de archivo, no consumo de VRAM medido; tu programa puede mostrar GiB.
6 GB de VRAM: Stheno 8B y experimentos prudentes con Qwen
Empieza comparando modelos de roleplay de 8B en Q4. Suelen dejar un presupuesto de conversación más práctico que un modelo grande muy comprimido. Qwen es otra ruta si las reglas del mundo pesan más que el estilo literario. Los enlaces llevan a conversiones GGUF concretas; los tamaños solo incluyen pesos. «Por qué probarlo» describe escenarios de comparación, no una clasificación medida.
Idiomas de las tablas: EN es inglés, RU ruso, ZH chino, JA japonés y HE hebreo. La negrita señala recomendaciones de RP de la selección original, no un benchmark lingüístico independiente. El alcance multilingüe de la base se indica por separado: el ajuste fino puede cambiar la calidad. Nemo se evaluó en EN, FR, DE, ES, IT, PT, RU, ZH y JA; para sus derivados de RP es una referencia, no una garantía. Alcance oficial: Qwen3.5, 201 idiomas y dialectos, Qwen3, más de 100, Gemma 4, más de 35 de entrada. Bloodmoon declara entrenamiento adicional para ruso, japonés y hebreo.
| Modelo y GGUF | Base / tipo | Quant inicial | Pesos, GB | Idiomas y puntos fuertes en RP | Por qué probarlo | Límites de memoria |
|---|---|---|---|---|---|---|
| Stheno v3.2 8B | Llama 3 / ajuste para RP | Q4_K_M | 4.92 | EN; otros no declarados | Diálogos de personajes y escenas pequeñas | Empezar con 4k; probar varios NPC y estados por separado |
| Lunaris v1 8B | Llama 3 / mezcla para RP | Q4_K_M | 4.92 | EN; otros no declarados | Comparar creatividad y lógica con Stheno | Presupuesto igual de ajustado; una mezcla no mejora todas las tarjetas |
| Hathor v0.2 8B | Llama 3 / ajuste fino | Q4_K_M | 4.92 | EN; otros no declarados | Otro estilo narrativo con el mismo tamaño | Revisar ritmo e instrucciones con historial corto |
| Qwen3.5-9B | Qwen3.5 / uso general | IQ3_M | 4.98 | 201 idiomas y dialectos; RP: EN, ZH | Secretos de NPC, reglas y dependencias | Más compresión que Q4; revisar coherencia y soporte IQ |
Lunaris y Hathor: alternativas sin cambiar de GPU
Lunaris es una mezcla que incorpora Stheno. Su autor buscó combinar creatividad y lógica. Compáralos con la misma tarjeta: otro actor con casi el mismo presupuesto de memoria.
Hathor incluye prosa y diálogos de rol en su entrenamiento. Pruébalo si la escritura del primer modelo se vuelve repetitiva. Ofrece otro estilo, sin prometer que un 8B más antiguo gestione perfectamente un RPG complejo.
L3-8B-Stheno-v3.2: empezar por un personaje
Stheno está orientado a roleplay e historias. En la selección original sigue siendo un punto de partida útil para escenas pequeñas en inglés, personajes expresivos, aventuras y romance. Tarjeta de Stheno.
La conversión GGUF de Bartowski ocupa unos 4.92 GB en Q4_K_M y 5.73 GB en Q5_K_M. Con 6 GB, empieza con Q4 y alrededor de 4k de contexto, y revisa la memoria restante. Es una configuración de prueba, no garantía de ejecución completa en GPU.
Si la escena crece hasta cinco NPC, un inventario y estados de misiones, compara un modelo general más reciente. Un diálogo expresivo y una gestión fiable del mundo son habilidades distintas.
Qwen3.5-9B: cuando la escena necesita reglas
Prueba Qwen con secretos y dependencias: un NPC miente, otro conoce la verdad y un tercero debe evitar revelarla. Eso dice más que un saludo muy bonito.
Qwen3.5-9B anuncia 201 idiomas y dialectos y 262,144 tokens de contexto. No garantiza la misma calidad literaria en todos los idiomas ni ese contexto en tu GPU.
En los GGUF de Bartowski, IQ4_XS ocupa unos 5.50 GB y Q4_K_M unos 6.17 GB. Incluso IQ4 deja poco margen con 6 GB. Considera Q3/IQ3 o descarga parcial a RAM; no planees Q4_K_M como una configuración completamente residente en GPU aquí.
8 GB de VRAM: 8–9B cómodos, 12B más ajustados
Puedes mejorar el quant de un 8B o probar un 12B con menos margen. Un 8–9B es el inicio más sencillo; usa 12B como comparación deliberada. El tiempo de respuesta importa tanto como el número del nombre.
| Modelo y GGUF | Base / tipo | Quant inicial | Pesos, GB | Idiomas y puntos fuertes en RP | Por qué probarlo | Límites de memoria |
|---|---|---|---|---|---|---|
| Stheno v3.2 8B | Llama 3 / RP | Q5_K_M | 5.73 | EN; otros no declarados | Diálogos con menos compresión que Q4 | El historial largo sigue requiriendo revisar memoria |
| Lunaris v1 8B | Llama 3 / mezcla para RP | Q5_K_M | 5.73 | EN; otros no declarados | Otro estilo sin pasar a 12B | Tener contexto no garantiza recordar bien la trama |
| Hathor v0.2 8B | Llama 3 / ajuste fino | Q5_K_M | 5.73 | EN; otros no declarados | Comparar prosa y voz del personaje | Probar otros idiomas por tu cuenta |
| Qwen3.5-9B | Qwen3.5 / uso general | Q4_K_M | 6.17 | 201 idiomas y dialectos; RP: EN, ZH | Reglas del mundo y varios NPC | Necesita backend compatible; revisar VRAM libre |
| Rocinante-X 12B v1 | Mistral Nemo / RP | IQ4_XS | 6.74 | RP: EN; base Nemo multilingüe | Probar 12B antes de pasar a 12 GB | Caché ajustada; posible descarga a RAM; plantilla correcta |
| Saiga Nemo 12B | Mistral Nemo / conversación | Q4_K_M | 7.48 | RU, EN | Otro candidato conversacional | Experimento con contexto corto y posible descarga a RAM |
Prueba Qwen3.5-9B Q4_K_M para uso general o Stheno Q5_K_M para personajes en inglés. Empieza con 4–8k de contexto cuando esté soportado y revisa la memoria libre tras cargar.
Saiga Nemo 12B Q4_K_M es un experimento con condiciones en 8 GB. Sus 7.48 GB de pesos dejan poco espacio para historial y búferes. Un contexto corto, un quant menor o descarga parcial a RAM pueden ayudar. Compara velocidad y prosa.
Si las respuestas tardan demasiado, un modelo más pequeño puede darte una mejor noche. El roleplay tiene ritmo. Un personaje que necesita un minuto para cada «sí» desarrolla uno bastante particular.
12 GB de VRAM: Rocinante-X, Saiga Nemo, Bloodmoon y Eclipse
12B es un tamaño atractivo para roleplay en casa: espacio para un personaje sin exigir una estación de trabajo. Los quants superiores y las conversaciones largas siguen compitiendo por memoria.
| Modelo y GGUF | Base / tipo | Quant inicial | Pesos, GB | Idiomas y puntos fuertes en RP | Por qué probarlo | Límites de memoria |
|---|---|---|---|---|---|---|
| Rocinante-X 12B v1 | Mistral Nemo / RP | Q5_K_M | 8.73 | RP: EN; base Nemo multilingüe | Aventuras y diálogos creativos | Mistral v3 Tekken / Metharme según el autor |
| Saiga Nemo 12B | Mistral Nemo / conversación | Q5_K_M | 8.73 | RU, EN | Comparar diálogo y continuidad | Q6 ocupa 10.1 GB; Q5 puede convenir para más contexto |
| Impish Bloodmoon 12B | Mistral Nemo / ajuste para RP | Q5_K_M | 8.73 | EN, RU, JA, HE; RP: EN | Conflictos y personajes con intereses propios | Reducir la positividad es un objetivo del autor, no una garantía |
| Angelic Eclipse 12B | Mistral Nemo / ajuste fino | Q5_K_M | 8.73 | RP: EN; base Nemo multilingüe | Relaciones que se desarrollan gradualmente | Revisar iniciativa y continuidad de escenas largas |
| NemoMix-Unleashed 12B | Mistral Nemo / mezcla para RP | Q5_K_M | 8.73 | RP: EN; base Nemo multilingüe | Otra prosa y forma de contar historias | Revisar primero el formato Mistral y preset del autor |
| Gemma 4 12B IT | Gemma 4 / uso general | Q4_K_M | 7.66 | 35+ idiomas; RP: EN | Comparar gestión del mundo con un ajuste para RP | Q5 ocupa 8.77 GB; archivos multimodales adicionales excluidos |
| Qwen3-14B | Qwen3 / uso general | Q4_K_M | 9.00 | 100+ idiomas y dialectos; RP: EN, ZH | Tamaño intermedio entre 9B y 27B | Revisar modo de razonamiento y margen de caché |
| Qwen3.5-9B | Qwen3.5 / uso general | Q5_K_M | 7.11 | 201 idiomas y dialectos; RP: EN, ZH | Modelo más pequeño con un quant superior | No está especializado en RP; comparar expresividad |
NemoMix y Qwen3-14B: dos motivos para ampliar la comparación
NemoMix-Unleashed añade otro Nemo para RP. Su autor destaca la narración, la reducción de repeticiones y ajustes concretos. Pruébalo si tu equipo admite 12B, pero el estilo de Rocinante o Bloodmoon no te convence.
Qwen3-14B es un candidato general entre 9B y 27B. Revisa las instrucciones del modo sin razonamiento para diálogos más rápidos. Compara su comportamiento con modelos de RP sin asumir que razonar mejor equivale a interpretar mejor.
Rocinante-X 12B: historias y aventuras
Rocinante-X merece una prueba para diálogos en inglés y escenas creativas. Su autor destaca rol, prosa y conversación: objetivos de entrenamiento, no promesas para todas las tarjetas. Descripción y plantillas.
Empieza con Q5 si tienes memoria. El autor indica Mistral v3 Tekken o Metharme y advierte sobre prompts de sistema mal formateados. Revisa la plantilla antes de intentar arreglar respuestas raras cambiando la temperatura. Descargas GGUF.
Saiga Nemo 12B: otro candidato conversacional
Compara Saiga Nemo con la misma tarjeta de personaje. Evalúa diálogo, continuidad y tiempos en tus escenas. Tarjeta original.
Estos tamaños proceden de la conversión GGUF de QuantFactory:
| Cuantización de Saiga Nemo | Tamaño GGUF | Punto de partida |
|---|---|---|
| Q4_K_M | 7.48 GB | Dejar más memoria libre |
| Q5_K_M | 8.73 GB | Primer candidato para probar con 12 GB |
| Q6_K | 10.1 GB | Contexto moderado si la memoria libre real alcanza |
| Q8_0 | 13 GB | Solo los pesos superan 12 GB |
Comprueba modelo original, versión y plantilla. Etiquetas de quant idénticas no hacen intercambiables distintas conversiones.
Impish Bloodmoon y Angelic Eclipse: comparar personalidades
El autor de Impish Bloodmoon destaca menos positividad excesiva y soporte para mecánicas de juego. Pruébalo si un NPC desconfiado o celoso siempre termina como un asistente complaciente.
Angelic Eclipse busca reacciones realistas y relaciones que avanzan despacio. Compara ambos con la misma escena. Los nombres atractivos son un extra; las respuestas reales deciden.
Gemma 4 12B: probar un sandbox más complejo
Compara Gemma 4 12B cuando tenga que interpretar NPC y mantener las reglas del mundo. La descripción de Google presenta una familia general con razonamiento y soporte para el rol de sistema. Es motivo para comparar con un ajuste de RP, no para declarar un ganador de antemano.
16 GB de VRAM: Gemory, Gemma 4 y Qwen3.5-27B
Compara un 12B con más precisión, un 24B denso y un MoE de 26B más compacto. Ofrecen distintos compromisos entre escritura, caché y velocidad. En modelos multimodales, las cifras solo incluyen el archivo principal del modelo de lenguaje.
| Modelo y GGUF | Base / tipo | Quant inicial | Pesos, GB | Idiomas y puntos fuertes en RP | Por qué probarlo | Límites de memoria |
|---|---|---|---|---|---|---|
| Gemory-26B-A4B | Gemma 4 / MoE creativo | Q3_K_M | 13.3 | RP: EN; otros idiomas de la base sin verificar | Roleplay creativo especializado | Comparar Q3_K_S de 12.2 GB si falta espacio de caché |
| Gemma 4 26B-A4B IT | Gemma 4 / MoE de uso general | Q3_K_M | 13.02 | 35+ idiomas; RP: EN | Personajes junto con reglas de sandbox | IQ4_XS ocupa 14.21 GB; la caché puede requerir descarga a RAM |
| Cydonia 24B v4.1 | Mistral Small / RP denso | Q4_K_S | 13.55 | RP: EN; la base admite 24 idiomas | Alternativa de RP más grande que Gemory | Q4_K_M ocupa 14.33 GB; empezar con contexto moderado |
| Qwen3.5-27B | Qwen3.5 / uso general | IQ3_M | 14.12 | 201 idiomas y dialectos; RP: EN, ZH | Dependencias complejas y lógica del mundo | Margen ajustado; Q4_K_M supera la VRAM; posible descarga a RAM |
| Qwen3-14B | Qwen3 / uso general | Q5_K_M | 10.51 | 100+ idiomas y dialectos; RP: EN, ZH | Menos compresión y más espacio para historial | No es un ajuste para RP; el razonamiento cambia el ritmo |
| Rocinante-X 12B v1 | Mistral Nemo / RP | Q6_K | 10.06 | RP: EN; base Nemo multilingüe | Buen quant de 12B en lugar de un Q3 más grande | Evaluar también continuidad y espacio de caché |
| Saiga Nemo 12B | Mistral Nemo / conversación | Q6_K | 10.1 | RU, EN | Comparación de diálogo con margen para historial | Q8 ocupa 13 GB; el contexto puede importar más que la precisión |
Cydonia 24B: un modelo de rol más grande sin MoE
Cydonia v4.1 añade un 24B denso junto a Gemory MoE y Nemo 12B. Empieza con Q4_K_S y prueba Q4_K_M si hay memoria real. Su autor especifica Mistral v7 Tekken; no copies la plantilla de Rocinante-X solo porque ambos son de Drummer.
Con 12 GB, Q3_K_M y sus aproximadamente 11.47 GB dejan muy poco margen para recomendarlo cómodamente. Por eso Cydonia está en la categoría de 16 GB. Poder iniciar un modelo no lo convierte en la mejor primera opción.
Gemory-26B-A4B: un candidato MoE creativo
Gemory se orienta a escritura creativa y roleplay. Consulta la tarjeta del autor; las cifras siguientes corresponden a la conversión de Abiray.
| Cuantización de Gemory | Tamaño GGUF | Qué implica con 16 GB |
|---|---|---|
| Q3_K_S | Aprox. 12.2 GB | Más espacio para historial, mayor compresión |
| Q3_K_M | Aprox. 13.3 GB | Candidato razonable para probar |
| Q4_K_S | Aprox. 15.5 GB | Ajustado al sumar caché y búferes |
| Q4_K_M | Aprox. 16.8 GB | Los pesos superan 16 GB; requiere descarga a RAM |
Un modelo mixture-of-experts activa solo parte de los parámetros por token, pero los demás pesos siguen necesitando almacenamiento. A4B no implica la memoria de un 4B convencional. La tarjeta de Gemma 4 explica parámetros totales y activos.
¿Gemma estándar o Qwen 27B?
Compara Gemma 4 26B-A4B con Gemory si un motor debe manejar personajes y reglas de sandbox. El ajuste fino cambia el comportamiento; compartir base no garantiza la misma experiencia.
Qwen3.5-27B es un candidato si los modelos pequeños fallan en tus escenas. Pero los GGUF de Bartowski rondan 17.98 GB en Q4_K_M, 15.78 GB en IQ4_XS y 14.82 GB en Q3_K_M. Un archivo inferior a 16 GB tampoco garantiza espacio para contexto. Considera quants compactos y descarga a RAM.
Un 12B Q5/Q6 sigue siendo una alternativa útil con 16 GB y más espacio para historial. Compara un modelo grande comprimido con uno pequeño de mayor precisión antes de decidir por número de parámetros.
¿Qué quant descargar: Q4, Q5, Q6 o Q3?
Una secuencia práctica es Q4_K_M, luego Q5_K_M o Q6_K si queda memoria. Compara dentro del mismo modelo y versión de conversión.
- Q4_K_M: equilibrio útil entre tamaño y calidad para empezar.
- Q5_K_M: siguiente candidato si queda memoria para historial.
- Q6_K: vale la pena si mantiene el contexto y la velocidad que necesitas.
- Q8_0: para una comparación concreta, no solo por una cifra mayor.
- Q3/IQ3: permite probar modelos grandes con poca memoria; revisa coherencia y repeticiones.
La cuantización es un factor. Una tarjeta inadecuada o una plantilla incorrecta pueden dañar más la conversación que la diferencia entre Q4 y Q5.
Contexto y memoria del personaje: empieza con 4–8k
El contexto incluye instrucciones, tarjeta, mundo, historial y espacio para responder. Un límite de 8k no reserva 8k solo para tus mensajes. El máximo de la tarjeta no promete memoria disponible ni recuerdos igualmente fiables a lo largo de todo el contexto.
Empieza con 4–8k si está soportado y después prueba 16k o más observando el consumo. No extiendas un modelo antiguo más allá de su contexto admitido solo porque una casilla acepte el número.
Para historias largas, guarda un resumen: dónde están los personajes, qué quieren, qué saben y qué cambió. Actualízalo después de eventos importantes y separa los datos estables. Mucho contexto no convierte un LLM en una base de datos. Un hermano inventado aún puede aparecer sin invitación.
Configurar roleplay y probar un modelo en una noche
Empieza con la plantilla y ajustes de la tarjeta. Si no hay preset del autor, temperatura alrededor de 0.8 y top-p cerca de 0.9 pueden servir como inicio experimental, no como valores óptimos universales. Cambia un ajuste cada vez.
Limita al principio las respuestas a 150–300 tokens. Los turnos cortos facilitan evaluar el diálogo y dejan espacio para actuar. Aumenta gradualmente las penalizaciones por repetición; un exceso también daña la escritura.
Prueba esta escena:
Lea es mecánica en una estación orbital. Quiere irse, pero oculta una pieza de motor desaparecida. El jugador la ayudó ayer; está agradecida, aunque desconfía. Un guardia sabe que falta la pieza, pero no quién la tomó. El jugador pide a Lea que lo deje entrar al taller.
Añade: «Describe las palabras y acciones de los NPC. No decidas lo que el jugador piensa, dice o hace». Juega 20–30 turnos con la misma tarjeta, escena y contexto disponible. Usa la plantilla correcta para cada modelo.
Revisa siete aspectos:
- Personalidad. Lea sigue desconfiando sin olvidar la ayuda.
- Subtexto. El secreto afecta su forma de hablar sin revelarse porque sí.
- Libertad del jugador. El modelo te deja tus frases y decisiones.
- Estado del mundo. El guardia no adquiere información de la nada.
- Iniciativa. Los NPC hacen cosas que impulsan la escena.
- Diálogo largo. La escena no se reinicia ni repite frases prefabricadas constantemente.
- Velocidad. La espera mantiene el ritmo de la conversación.
Registra ajustes, versión del archivo y número de regeneraciones. Repite con otra escena: una buena respuesta no demuestra fiabilidad.
Dónde ejecutar GGUF: KoboldCpp, SillyTavern y Multiic
La estructura habitual es GGUF → motor de inferencia compatible → interfaz de chat o juego. KoboldCpp y llama.cpp ejecutan modelos; SillyTavern y Multiic ofrecen experiencias distintas con personajes. Revisa el soporte de arquitectura en tu versión del backend, especialmente para Qwen y Gemma recientes. KoboldCpp y llama.cpp.
Consulta la guía de modelos locales de Multiic para conectarlo. Si eliges entre juego y chat personalizable, lee la comparativa de Multiic, SillyTavern y alternativas. El modelo local es solo una parte: las voces o imágenes en la nube no se vuelven locales por acompañarlo.
Qué mueve el modelo elegido dentro del juego —tarjetas de personaje, conversaciones grupales, contexto del mundo e imágenes opcionales de la escena— lo muestra el resumen del roleplay con IA en Multiic.
¿Te vas de Character.AI? Aquí tienes una comparación de nueve alternativas a Character.AI, desde servicios en línea hasta configuraciones totalmente locales.
Preguntas frecuentes sobre LLM locales para roleplay
¿Con qué modelo empezar para roleplay en inglés?
Prueba Stheno Q4 con una GPU pequeña o Rocinante-X Q5 con más memoria. Compara Gemory si tienes 16 GB y quieres un MoE creativo. La tarjeta y la escena deciden cuál encaja mejor.
¿Puede un 12B funcionar en una GPU de 8 GB?
Sí, con cuantización y configuración adecuadas, a veces con descarga parcial a RAM. Pero 7.48 GB de pesos dejan poco para el resto. Un 8–9B puede equilibrar mejor velocidad e historial.
¿Bastan 16 GB para un MoE de 26B?
Algunos GGUF compactos son candidatos razonables, como Gemory Q3_K_M. Aun así debes ajustar contexto y descarga desde GPU. A4B no significa que solo cuatro mil millones de parámetros requieran almacenamiento.
¿Por qué el personaje se repite o escribe mis acciones?
Revisa plantilla, tarjeta y ejemplos de diálogo. Quita instrucciones que fomenten escribir ambos lados de la escena. Si pasa con distintas tarjetas, compara otro modelo. Un quant mayor no garantiza mejor comportamiento.
¿Puedo jugar sin internet?
Después de descargar el modelo, un motor local puede generar texto sin API en la nube. Que toda la aplicación funcione sin conexión depende de otras funciones y recursos. Revisa voz, imágenes y conexiones por separado.
Elige el modelo como a un actor: ¿quién debería interpretar a este personaje? Una respuesta memorable, recordar la discusión de ayer y negarse en el momento justo pueden valer más que otra gráfica impresionante.
Empieza con una conversación
Elige un personaje listo para jugar. La ayuda explica cómo configurar los modelos y la voz.