Kokoro TTS, interamente sul tuo iPhone

Quasi tutti i modi per ascoltare Kokoro passano da una macchina che non è la tua: uno script Python su un portatile, uno Space sulla GPU di qualcun altro, un endpoint ospitato dietro una chiave. Sandbook è l’altra strada. Il file del modello sta nel pacchetto dell’app, l’inferenza gira sulla GPU del telefono e l’audio non esiste da nessun’altra parte.

Questo cambia ciò che l’app può promettere. Niente viene messo in coda, conteggiato o limitato, perché dall’altra parte non c’è nessuno a conteggiare. Non c’è un tetto di caratteri, perché nessuno paga a carattere. Puoi aprire un libro di 400 pagine in modalità aereo e si comporta esattamente come in Wi‑Fi.

Cambia anche ciò che l’app non può fare. Tutto quello che segue è la forma onesta di questo compromesso.

Da un computer puoi provare Kokoro nel browser prima di installare: lo stesso modello e tutte le 41 voci girano nella scheda, gratis, e niente di quello che scrivi viene caricato online.

Sandbook è un’app di sintesi vocale che fa girare Kokoro TTS in locale, senza nessun server di mezzo. Il modello e le 41 voci arrivano con l’installazione, quindi, una volta sul tuo iPhone o iPad, non resta nulla da scaricare. Attiva la modalità aereo e libri, PDF, pagine scansionate e testo incollato continuano a essere letti, perché il lavoro lo fa la GPU del telefono con Apple MLX. Tutto resta sul tuo dispositivo: niente account, niente chiave API, nessun caricamento online.

Serve iOS 18.2 o successivo su iPhone 12 o successivo, oppure un iPad con chip A14 o M1 o successivo; su iOS 17 non funziona. La lettura in tempo reale si mette in pausa quando lo schermo si blocca, ma un capitolo preparato in anticipo continua a suonare a schermo bloccato.

Il motore è Kokoro-82M, il modello di sintesi vocale a pesi aperti, adattato per girare con Apple MLX, il framework di Apple per il calcolo su array che lavora sulla GPU del dispositivo tramite Metal. È grazie a MLX che un modello da 82 milioni di parametri, con un codificatore di testo in stile ALBERT, un predittore di durata LSTM, un predittore prosodico e un vocoder iSTFTNet, è pratico su un telefono e non solo possibile.

Il testo viene convertito in fonemi, diviso in corrispondenza della fine delle frasi e sintetizzato frase per frase con un anticipo di due frasi. La riproduzione parte appena la prima frase è pronta, mentre le successive vengono generate dietro, così un capitolo comincia più o meno nel tempo che serve a leggerne il titolo: non aspetti mai che un intero documento sia pronto prima di sentire qualcosa.

La velocità va da 0,5× a 2,5× e viene applicata dentro il modello, scalando la durata prevista dei fonemi, non ricampionando la forma d’onda finita. A 2× resta una persona che parla in fretta, non uno scoiattolo.

Questi tempi vengono da una sola sessione di lettura su un iPhone 15, presi dal registro dell’app: non sono una batteria di test. La voce è partita circa 2,5 secondi dopo aver toccato play su un capitolo appena aperto: il primo paragrafo, 13,8 secondi di audio, è stato generato in 2,4 secondi. Poi i paragrafi sono stati generati da 3 a 6 volte più rapidamente del tempo reale: 2,9 secondi di audio in 0,9 secondi, 13,6 in 2,4 e 2,2 in 0,6. Il modello è rimasto in memoria, con circa 220 MB, per tutta la lettura, e un breve riscaldamento all’avvio, circa un secondo di sintesi, fa sì che la prima frase arrivi in fretta.

Gli iPhone supportati più vecchi, fino all’iPhone 12, sono più lenti. Su tutti, la riproduzione parte dopo la prima frase mentre il resto viene generato dietro.

I pesi vengono caricati dal pacchetto dell’app, non scaricati. Sandbook è un download grande di proposito (circa 281 MB, con il modello e tutte le 41 voci inclusi), ed ecco cosa ti dà in cambio:

• I pesi kokoro-v1_0: 82 milioni di parametri, letti direttamente dal pacchetto dell’app all’avvio.
• 41 embedding di voce: un tensore di stile per voce, tutti inclusi, nessuno bloccato o a pagamento.
• Una build di eSpeak NG per la conversione in fonemi, compilata nell’app come framework.

Dopo l’installazione non viene scaricato nulla, e nulla arriva in streaming durante l’uso. Il modello si carica all’avvio dell’app e si scalda con una breve sintesi di circa un secondo, così la lettura parte subito quando premi play.

Il Kokoro originale ha voci in diverse lingue. Sandbook ne include sei: en-us e en-gb (28 voci), più spagnolo, francese, italiano, portoghese brasiliano e hindi, per un totale di 41 voci Kokoro. eSpeak NG cambia lingua con la voce che scegli, e la pulizia del testo inglese (date, prezzi, unità di misura, sigle) si applica solo alle voci inglesi. Le voci Kokoro in spagnolo, francese, italiano, portoghese e hindi su un iPhone, offline, sono la parte che nessuna demo ospitata ti dà.

Altri due limiti da conoscere prima di installare. La lettura in tempo reale si mette in pausa quando lo schermo si blocca: il modello occupa memoria GPU vera, e iOS sospende quel lavoro in background. Puoi preparare prima l’audio di un capitolo e poi ascoltarlo a schermo bloccato. E servono iOS 18.2 su iPhone 12 o successivo, oppure un iPad con chip A14 o M1 o successivo, perché MLX ha bisogno di quella famiglia di GPU.

Non ci sono nemmeno fusione delle voci, vettori di stile personalizzati o un dizionario di pronuncia: un solo livello di qualità, lo stesso modello da 82 milioni di parametri a 24 kHz per ogni voce.

Importa EPUB, PDF, Word (.docx), TXT, RTF, Markdown o HTML dal selettore dell’app File, con “Apri con Sandbook” o dal menu Condividi di qualsiasi app. Aggiungi una pagina web con Incolla un link o da Safari, e l’app tiene l’articolo e scarta menu, pubblicità e banner dei cookie. Scansiona pagine stampate con la fotocamera, o scegli una foto, e il testo viene riconosciuto sul dispositivo. Oppure scrivi, incolla o leggi dagli appunti.

I libri hanno l’evidenziazione parola per parola dentro il paragrafo corrente leggermente colorato, un selettore dei capitoli, la lettura dal paragrafo che tocchi, e si riaprono dal paragrafo in cui ti eri fermato. Ogni libro ricorda la sua voce e la sua velocità. Il testo in Scrivi testo si può anche esportare come file M4A dal menu Condividi.