Kokoro TTS, por completo en tu iPhone

Casi todas las formas de oír Kokoro pasan por una máquina que no es tuya: un script de Python en una laptop, un Space en la GPU de otra persona, un endpoint alojado detrás de una clave. Sandbook es la alternativa. El archivo del modelo está dentro de la app, la inferencia se ejecuta en la propia GPU del teléfono y el audio no existe en ningún otro sitio.

Eso cambia lo que la app puede prometer. Nada pasa por una cola, ni se mide, ni se limita por uso, porque al otro lado no hay nadie que mida. No hay límite de caracteres, porque nadie paga por carácter. Puedes abrir un libro de 400 páginas en modo avión y se comporta exactamente igual que con wifi.

También cambia lo que la app no puede hacer. Todo lo que sigue es la forma honesta de ese intercambio.

En una computadora, puedes probar Kokoro en tu navegador antes de instalar nada: el mismo modelo y las 41 voces funcionan en la pestaña, gratis, y nada de lo que escribes se sube.

Sandbook es una app de texto a voz que lleva Kokoro TTS a iOS sin ningún servidor de por medio. El modelo y las 41 voces llegan con la instalación, así que, una vez en tu iPhone o iPad, no queda nada por descargar. Activa el modo avión y los libros, los PDF, las páginas escaneadas y el texto pegado siguen sonando, porque el trabajo lo hace la propia GPU del teléfono con Apple MLX. Todo se queda en tu dispositivo: sin cuenta, sin clave de API, sin subidas.

Necesita iOS 18.2 o posterior en un iPhone 12 o posterior, o un iPad con chip A14 o M1 o posterior; no funciona en iOS 17. La lectura en tiempo real se pausa al bloquear la pantalla, pero un capítulo que prepares antes sigue sonando con la pantalla bloqueada.

El motor es Kokoro-82M, el modelo de texto a voz de pesos abiertos, adaptado para Apple MLX, el framework de arrays de Apple que se ejecuta en la GPU del dispositivo mediante Metal. Gracias a MLX, un modelo de 82 millones de parámetros con un codificador de texto tipo ALBERT, un predictor de duración LSTM, un predictor de prosodia y un vocoder iSTFTNet es práctico en un teléfono, y no solo posible.

El texto se convierte en fonemas, se divide por frases y se sintetiza frase a frase con dos frases de anticipación. La reproducción empieza en cuanto está lista la primera frase, mientras las siguientes se generan detrás, así que un capítulo arranca en lo que tardas en leer su título: nunca esperas a que se procese un documento entero antes de oír algo.

La velocidad va de 0,5× a 2,5× y se aplica dentro del modelo, escalando la duración prevista de cada fonema, no remuestreando la onda ya terminada. A 2× sigue siendo una persona que habla deprisa, no una ardilla.

Estas cifras salen de una sola sesión de lectura en un iPhone 15, tomadas del registro de la propia app; no son una batería de pruebas. La voz empezó a sonar unos 2,5 segundos después de pulsar reproducir en un capítulo recién abierto: el primer párrafo, 13,8 segundos de audio, se generó en 2,4 segundos. A partir de ahí, los párrafos se generaron entre 3 y 6 veces más rápido que el tiempo real: 2,9 segundos de audio en 0,9 segundos, 13,6 en 2,4 y 2,2 en 0,6. El modelo se mantuvo en memoria, con unos 220 MB, durante toda la lectura, y al abrir la app hace un breve calentamiento, alrededor de un segundo de síntesis, para que la primera frase salga rápido.

Los iPhone compatibles más antiguos, hasta el iPhone 12, son más lentos. En todos ellos la reproducción empieza tras la primera frase, mientras el resto se genera detrás.

Los pesos se cargan desde el paquete de la app, no se descargan. Sandbook es una descarga grande a propósito (unos 281 MB, con el modelo y las 41 voces incluidos), y esto es lo que te da:

• Los pesos kokoro-v1_0: 82 M de parámetros, leídos directamente del paquete de la app al iniciarse.
• 41 embeddings de voz: un tensor de estilo por voz, todos incluidos, ninguno bloqueado ni de pago.
• Una compilación de eSpeak NG para la conversión a fonemas, integrada en la app como framework.

Nada de esto se descarga después de instalar, y nada se transmite mientras la usas. El modelo se carga al abrir la app y se calienta con una síntesis breve, de alrededor de un segundo, así que la lectura empieza enseguida cuando pulsas reproducir.

El Kokoro original trae voces en varios idiomas. Sandbook incluye seis: en-us y en-gb (28 voces), más español, francés, italiano, portugués de Brasil e hindi, 41 voces de Kokoro en total. eSpeak NG cambia de idioma con la voz que eliges, y la limpieza del texto en inglés (fechas, precios, unidades, siglas) solo se aplica con las voces inglesas. Kokoro TTS en español, francés, italiano, portugués e hindi en un iPhone, sin conexión, es justo lo que ninguna demo alojada te da.

Dos límites más que conviene conocer antes de instalar. La lectura en tiempo real se pausa al bloquear la pantalla: el modelo ocupa memoria real de la GPU, e iOS suspende ese trabajo cuando la app deja de estar en pantalla. Para escuchar con la pantalla apagada, prepara antes el capítulo. Y necesita iOS 18.2 en un iPhone 12 o posterior, o un iPad con chip A14 o M1 o posterior, porque MLX necesita esa familia de GPU.

Tampoco hay mezcla de voces, ni vectores de estilo personalizados, ni diccionario de pronunciación: un solo nivel de calidad, el mismo modelo de 82 M a 24 kHz para todas las voces.

Importa EPUB, PDF, Word (.docx), TXT, RTF, Markdown o HTML desde el selector de la app Archivos, con “Abrir con Sandbook” o desde el menú Compartir de cualquier app. Añade una página web con Pegar un enlace o desde Safari, y la app se queda con el artículo y descarta los menús, los anuncios y los avisos de cookies. Escanea páginas impresas con la cámara, o elige una foto, y el texto se reconoce en el dispositivo. O escribe, pega o lee el portapapeles.

Los libros tienen resaltado palabra por palabra dentro del párrafo actual, teñido con un tono suave, un selector de capítulos, la opción de tocar un párrafo para leerlo, y se abren en el párrafo donde lo dejaste. Cada libro recuerda su propia voz y su velocidad. Lo que escribes o pegas en Escribir texto también se puede exportar como archivo M4A desde el menú Compartir.