Apple Silicon에서 Swift/MLX로 구현된 PersonaPlex 7B 모델이 실시간 양방향 음성 대화를 지원합니다.
Este modelo, desarrollado para Apple Silicon utilizando Swift/MLX, permite conversaciones de voz bidireccionales en tiempo real. Integra las etapas tradicionales de procesamiento de voz (ASR→LLM→TTS) en un único modelo, procesando directamente la entrada y salida de audio sin necesidad de conversión a texto.
Gracias a la cuantización de 4 bits, el tamaño del modelo se ha reducido de 16.7GB a 5.3GB, logrando una velocidad de procesamiento de 68ms/step (RTF 0.87), superando el tiempo real.
La implementación utiliza el códec de audio Mimi y la estructura Depformer para lograr una transmisión eficiente sin comprometer la calidad del sonido.
Al operar en un entorno Swift nativo sin necesidad de un servidor, PersonaPlex se presenta como una tecnología fundamental para el desarrollo de asistentes de voz y agentes conversacionales.
Integración de qwen3-asr-swift y PersonaPlex 7B
La biblioteca qwen3-asr-swift ha integrado NVIDIA PersonaPlex 7B en Apple Silicon para ofrecer la funcionalidad de conversación de voz bidireccional (full-duplex speech-to-speech).
- Procesa el audio de entrada en tiempo real y genera simultáneamente el audio de respuesta.
- Se ha ampliado para incluir funciones de ASR, TTS y síntesis multilingüe, convirtiéndose en una biblioteca de procesamiento de voz integral.
El modelo está disponible en una versión cuantizada de 4 bits de 5.3GB en Hugging Face: aufklarer/PersonaPlex-7B-MLX-4bit.
Unificación de las tuberías de voz tradicionales
Los asistentes de voz tradicionales se basan en una estructura de 3 etapas (ASR → LLM → TTS), lo que genera latencia y pérdida de matices en cada etapa.
PersonaPlex integra este proceso en un único modelo, procesando directamente los tokens de audio:
- Convierte el audio en tiempo real utilizando 17 flujos paralelos (12.5Hz).
- Basado en la arquitectura Moshi de Kyutai, soporta 18 preajustes de voz y prompts de sistema basados en roles.
Estructura y transformación del modelo
El checkpoint original de PyTorch de 16.7GB se ha transformado en safetensors optimizados para MLX.
- Un script de transformación (
convert_personaplex.py) automatiza la clasificación de pesos, la cuantización de 4 bits, la extracción de preajustes y la carga a Hugging Face.
Tanto el Temporal Transformer (7B parámetros) como el Depformer se han comprimido a 4 bits.
- El Depformer, utilizando una estructura de cambio de peso por etapas (MultiLinear), se ha reducido de 2.4GB a 650MB.
- Esto representa una reducción de tamaño de 3.7 veces sin pérdida de calidad.
Tubería de procesamiento de voz
El Mimi Encoder/Decoder convierte el audio de 24kHz en 16 tokens de codebook.
- El Temporal Transformer procesa de forma integrada los flujos de audio del usuario y del agente.
- El Depformer genera 16 etapas de tokens de audio para el agente.
- El Mimi Decoder restaura estos tokens a audio de 24kHz.
Se reutilizan componentes de modelos TTS existentes, como el códec Mimi, el caché KV, RoPE, SwiGLU y RMSNorm.
Prompts del sistema y control de diálogo
PersonaPlex controla el estilo de la conversación a través de prompts de sistema basados en texto.
- Sin un prompt, el modelo puede desviarse del tema o responder de forma prolixa.
- Se pueden seleccionar preajustes como asistente, servicio al cliente o profesor desde la CLI o la API.
- La calidad de la respuesta varía significativamente según la presencia o ausencia de un prompt, incluso para la misma pregunta.
Rendimiento y procesamiento en tiempo real
En un entorno M2 Max (64GB), se ha logrado una velocidad de procesamiento de 68ms/step, RTF 0.87, superando el tiempo real.
- Funciona de forma estable dentro de un presupuesto de fotogramas de 80ms (12.5Hz).
Es posible realizar pruebas integradas de ASR, TTS y Speech-to-Speech en una única biblioteca.
- La validación E2E implica convertir el audio de respuesta de nuevo a texto a través de ASR para verificar la coherencia temática.
Transmisión y optimización
La API respondStream() genera fragmentos de audio de 2 segundos en tiempo real.
- Se pueden reproducir inmediatamente en formato AsyncThrowingStream
.
Las cuatro optimizaciones clave son:
- Integración de eval() para reducir la sincronización de la GPU.
- Extracción masiva de audio para mejorar la eficiencia de la decodificación.
- Prefill batching para el procesamiento paralelo en las etapas iniciales.
- Optimización de más de 450 llamadas al kernel Metal mediante la compilación del transformador temporal.
La fusión de kernels se puede activar con la bandera --compile o con model.warmUp().
Ejecución e implementación
Repositorio de GitHub: ivan-digital/qwen3-asr-swift
- Después de construir con
swift build -c release, se pueden ejecutar ASR, TTS y Speech-to-Speech mediante comandos CLI. - La primera ejecución requiere la descarga de un modelo de aproximadamente 5.3GB.
Basado en el framework MLX, funciona completamente en un entorno Swift nativo sin Python ni servidor.
Implicaciones técnicas
Demuestra la viabilidad de ejecutar modelos de voz de alto rendimiento en el dispositivo aprovechando la estructura de memoria unificada y la aceleración Metal de Apple Silicon.
La implementación de una conversación de voz en tiempo real basada en un único modelo abre un amplio abanico de posibilidades en áreas como asistentes de IA, centrales telefónicas y interfaces de voz educativas.
Se considera un logro integrador de varios ecosistemas de código abierto, incluyendo NVIDIA, Kyutai, Alibaba Qwen, FunAudioLLM y Apple MLX.
