Kokoro TTS, पूरी तरह आपके iPhone पर

Kokoro को सुनने के ज़्यादातर तरीक़ों में ऐसी मशीन चाहिए जो आपकी नहीं है: लैपटॉप पर Python स्क्रिप्ट, किसी और के GPU पर चलता Space, या किसी key के पीछे होस्ट किया गया endpoint। Sandbook इसका उल्टा है। मॉडल फ़ाइल ऐप के अंदर रहती है, inference फ़ोन के अपने GPU पर चलता है, और ऑडियो कहीं और बनता ही नहीं।

इससे बदल जाता है कि ऐप क्या वादा कर सकता है। कुछ भी कतार में नहीं लगता, न गिना जाता है, न उसकी रफ़्तार सीमित की जाती है, क्योंकि सर्वर पर गिनने वाला कोई है ही नहीं। अक्षरों की कोई सीमा नहीं, क्योंकि कोई प्रति अक्षर भुगतान नहीं कर रहा। आप 400 पेज की किताब एयरप्लेन मोड में खोल सकते हैं, और वह ठीक वैसे ही चलती है जैसे Wi-Fi पर।

इससे यह भी बदलता है कि ऐप क्या नहीं कर सकता। नीचे इसी सौदे की ईमानदार तस्वीर है।

कंप्यूटर पर आप इंस्टॉल करने से पहले Kokoro को अपने ब्राउज़र में आज़मा सकते हैं: वही मॉडल और सभी 41 आवाज़ें टैब में ही चलती हैं, मुफ़्त, और आप जो टाइप करते हैं, वह अपलोड नहीं होता।

Sandbook एक टेक्स्ट टू स्पीच ऐप है जो Kokoro TTS को किसी सर्वर के बिना चलाता है। मॉडल और सभी 41 आवाज़ें इंस्टॉल के साथ ही आ जाती हैं, बाद में कुछ और डाउनलोड नहीं करना पड़ता। एयरप्लेन मोड चालू करें — किताबें, PDF, स्कैन किए पेज और पेस्ट किया टेक्स्ट तब भी पढ़कर सुनाए जाते हैं, क्योंकि काम Apple MLX के ज़रिए फ़ोन का GPU करता है। सब कुछ आपके डिवाइस पर रहता है: न अकाउंट, न API key, न कोई अपलोड।

इसके लिए iPhone 12 या बाद के मॉडल पर iOS 18.2 या बाद का वर्शन चाहिए, या A14 या M1 या उसके बाद की चिप वाला iPad; यह iOS 17 पर नहीं चलता। स्क्रीन लॉक होने पर रियल-टाइम पढ़ना रुक जाता है, लेकिन पहले से तैयार किया गया अध्याय लॉक स्क्रीन पर भी चलता रहता है।

इंजन Kokoro-82M है, ओपन-वेट TTS मॉडल, जिसे Apple MLX पर चलने के लिए पोर्ट किया गया है — MLX Apple का array framework है, जो Metal के ज़रिए डिवाइस के GPU पर चलता है। MLX की वजह से ही 82 मिलियन पैरामीटर वाला मॉडल — ALBERT जैसे टेक्स्ट एन्कोडर, LSTM duration predictor, prosody predictor और iSTFTNet vocoder के साथ — फ़ोन पर सिर्फ़ मुमकिन नहीं, बल्कि व्यावहारिक है।

टेक्स्ट को फ़ोनीम में बदला जाता है, वाक्यों की सीमा पर टुकड़ों में बाँटा जाता है, और दो वाक्य आगे की तैयारी के साथ वाक्य-दर-वाक्य आवाज़ बनती है। पहला वाक्य तैयार होते ही प्लेबैक शुरू हो जाता है और अगले वाक्य पीछे बनते रहते हैं, इसलिए अध्याय लगभग उतनी देर में शुरू हो जाता है जितनी देर अध्याय का शीर्षक पढ़ने में लगती है — कुछ भी सुनने से पहले पूरे दस्तावेज़ के तैयार होने का इंतज़ार नहीं।

गति 0.5× से 2.5× तक है, और यह मॉडल के अंदर ही, हर फ़ोनीम की अनुमानित अवधि बदलकर लागू होती है, तैयार ऑडियो को तेज़ करके नहीं। 2× पर भी आवाज़ तेज़ बोलते इंसान जैसी रहती है, कार्टून जैसी पतली नहीं होती।

ये आँकड़े iPhone 15 पर पढ़ने के एक ही सेशन से हैं, जो ऐप के अपने लॉग से लिए गए हैं; यह कोई बेंचमार्क सूट नहीं है। नया अध्याय खोलकर प्ले दबाने के लगभग 2.5 सेकंड बाद आवाज़ शुरू हुई: पहला पैराग्राफ़, यानी 13.8 सेकंड का ऑडियो, 2.4 सेकंड में बना। उसके बाद पैराग्राफ़ असल समय से 3–6 गुना तेज़ी से बने: 2.9 सेकंड का ऑडियो 0.9 सेकंड में, 13.6 सेकंड का 2.4 में और 2.2 सेकंड का 0.6 में। पढ़ते समय मॉडल लगभग 220 MB के साथ मेमोरी में बना रहा, और ऐप खुलने पर एक छोटा वॉर्म-अप होता है, लगभग एक सेकंड की आवाज़ बनाना, ताकि पहला वाक्य जल्दी आए।

पुराने समर्थित iPhone, iPhone 12 तक, इससे धीमे हैं। हर एक पर प्लेबैक पहले वाक्य के बाद शुरू हो जाता है और बाक़ी हिस्सा पीछे बनता रहता है।

वेट ऐप के अंदर से ही लोड होते हैं, इंटरनेट से नहीं लाए जाते। Sandbook जान-बूझकर बड़ा डाउनलोड है — लगभग 281 MB, जिसमें मॉडल और सभी 41 आवाज़ें शामिल हैं — और बदले में आपको यह मिलता है:

• kokoro-v1_0 वेट — 82 M पैरामीटर, ऐप शुरू होते ही सीधे ऐप के अंदर से पढ़े जाते हैं।
• 41 वॉइस एम्बेडिंग: हर आवाज़ का एक style tensor, सब ऐप में शामिल, न कोई लॉक, न कोई ख़रीदनी पड़ती है।
• eSpeak NG का एक बिल्ड, टेक्स्ट को फ़ोनीम में बदलने के लिए, जो ऐप में framework के रूप में कंपाइल किया गया है।

इंस्टॉल के बाद इनमें से कुछ भी डाउनलोड नहीं होता, और चलते समय कुछ भी स्ट्रीम नहीं होता। मॉडल ऐप शुरू होते ही लोड हो जाता है और लगभग एक सेकंड के छोटे से सिंथेसिस से तैयार कर लिया जाता है, इसलिए प्ले दबाते ही पढ़ना जल्दी शुरू हो जाता है।

मूल Kokoro कई भाषाओं में आवाज़ें देता है। Sandbook में उनमें से छह हैं: en-us और en-gb (28 आवाज़ें), साथ में स्पेनिश, फ़्रेंच, इतालवी, ब्राज़ीलियाई पुर्तगाली और हिन्दी, कुल 41 Kokoro आवाज़ें। आप जो आवाज़ चुनते हैं, eSpeak NG उसी के साथ भाषा बदल लेता है, और अंग्रेज़ी टेक्स्ट की सफ़ाई (तारीख़ें, कीमतें, इकाइयाँ, संक्षिप्त नाम) सिर्फ़ अंग्रेज़ी आवाज़ों के लिए चलती है। iPhone पर, ऑफ़लाइन, हिन्दी, स्पेनिश, फ़्रेंच, इतालवी और पुर्तगाली में Kokoro की आवाज़ें — यही वह हिस्सा है जो कोई होस्टेड डेमो नहीं देता।

इंस्टॉल करने से पहले दो और सीमाएँ जान लें। स्क्रीन लॉक होने पर रियल-टाइम पढ़ना रुक जाता है: मॉडल GPU की असली मेमोरी इस्तेमाल करता है, और iOS पृष्ठभूमि में यह काम रोक देता है। आप किसी अध्याय का ऑडियो पहले से तैयार कर सकते हैं और फिर स्क्रीन लॉक रखकर सुन सकते हैं। और इसके लिए iPhone 12 या बाद के मॉडल, या A14 या M1 या बाद की चिप वाले iPad पर iOS 18.2 चाहिए, क्योंकि MLX को वही GPU फ़ैमिली चाहिए।

आवाज़ों को मिलाने, अपने style vector बनाने या उच्चारण डिक्शनरी की सुविधा भी नहीं है — गुणवत्ता का एक ही स्तर, हर आवाज़ के लिए 24 kHz पर वही 82 M मॉडल।

Files ऐप के पिकर से, “Sandbook में खोलें” से, या किसी भी ऐप की शेयर शीट से EPUB, PDF, Word, TXT, RTF, Markdown या HTML इम्पोर्ट करें। “लिंक पेस्ट करें” से या Safari से वेब पेज जोड़ें, और ऐप लेख रखकर मेन्यू, विज्ञापन और कुकी बैनर हटा देता है। कैमरे से छपे हुए पेज स्कैन करें, या कोई फ़ोटो चुनें, और टेक्स्ट की पहचान डिवाइस पर ही होती है। या टाइप करें, पेस्ट करें या क्लिपबोर्ड से पढ़ें।

किताबों में हल्के रंग वाले मौजूदा पैराग्राफ़ के अंदर शब्द-दर-शब्द हाइलाइट, अध्याय चुनने की सुविधा और किसी पैराग्राफ़ पर टैप करके वहीं से पढ़ने की सुविधा मिलती है, और वे उसी पैराग्राफ़ पर खुलती हैं जहाँ आप रुके थे। हर किताब अपनी आवाज़ और गति याद रखती है। “टेक्स्ट लिखें” का टेक्स्ट शेयर शीट के ज़रिए M4A फ़ाइल के रूप में एक्सपोर्ट भी किया जा सकता है।