हम डेटा क्यों संचित करते हैं: स्क्रेप किए गए कैटलॉग से लेकर अधिक स्मार्ट स्पीच और भाषा मॉडल तक

हम इस बारे में बहुत लिखते हैं कि हम डेटा कैसे निकालते हैं — रेकी टूलिंग, एंटी-बॉट ट्रांसपोर्ट्स, टाइप्ड म्यूज़िक-मेटाडेटा क्लाइंट्स। एक जायज़ सवाल है क्यों। हम एक वॉइस-AI कंपनी हैं; हम म्यूज़िक विश्वकोशों और रेडियो निर्देशिकाओं के लिए स्क्रेपर्स बनाए रखते हुए आख़िर क्या कर रहे हैं?

जवाब यह है कि डेटा हर उस चीज़ के अपस्ट्रीम है जिसे हम भेजते हैं। एक वॉइस असिस्टेंट उतना ही अच्छा है जितने अच्छे उन शब्दों जिन्हें वह सुनने की उम्मीद करता है, जिन एंटिटीज़ को वह पहचान सकता है, और जिन उच्चारणों को वह जानता है। इनमें से कुछ भी आर्किटेक्चर डायग्रामों से नहीं आता। यह डेटा से आता है — और दिलचस्प डेटा शायद ही कभी किसी तैयार-मिलने वाले डेटासेट में पड़ा होता है। यह सार्वजनिक वेब में बिखरा होता है, उन कैटलॉगों में जिन्हें मनुष्यों ने दशकों तक क्यूरेट करने में लगाए।

हमारे द्वारा इसे एकत्र करने के बाद उस डेटा के साथ यही होता है।

एंटिटीज़: वह शब्दावली जिस पर एक वॉइस असिस्टेंट जीता है

किसी असिस्टेंट से “play Sultans of Swing by Dire Straits” कहिए। कोई भी मॉडल उस पर कार्य करे, उससे पहले किसी को यह जानना होगा कि Sultans of Swing एक ट्रैक है और Dire Straits एक कलाकार। इसे हर उस कलाकार, एल्बम, स्टेशन, पॉडकास्ट और शैली से गुणा कीजिए जिसका कोई उपयोगकर्ता नाम ले सकता है, और आपके पास एक मीडिया असिस्टेंट की असली शब्दावली है — लाखों नामित एंटिटीज़, जिनमें से कोई भी किसी मानक NLP प्रशिक्षण कॉर्पस में प्रकट नहीं होती।

हमारे मीडिया क्लाइंट ठीक यही उत्सर्जित करते हैं: कैनोनिकल ids वाले टाइप्ड रिकॉर्ड, mediavocab स्कीमा में सामान्यीकृत। वे एंटिटी कैटलॉग सीधे इनमें जाते हैं:

कीवर्ड-आधारित इंटेंट मैचिंग — एंटिटी सूचियाँ वे gazetteers बनती हैं जो OpenVoiceOS में मीडिया क्वेरीज़ को आधार देती हैं।
इंटेंट वर्गीकारक — हमारे मीडिया-इंटेंट डेटासेट असली स्क्रेप की गई एंटिटीज़ को टेम्पलेट और LLM-सहायित वाक्य संश्लेषण के साथ जोड़ते हैं, जो असली उपयोगकर्ताओं जैसे उच्चारण उत्पन्न करते हैं, जिनमें वास्तव में मौजूद एंटिटीज़ भरी होती हैं। इस तरह प्रशिक्षित मॉडल OpenVoiceOS मीडिया पाइपलाइन में “क्या यह एक play अनुरोध है, और किसके लिए?” वाला निर्णय संभालते हैं।
सिंथेटिक NER कॉर्पोरा — वही नुस्ख़ा सामान्य होता है: असली एंटिटीज़ का एक कैटलॉग लीजिए, उनके इर्द-गिर्द प्राकृतिक वाक्य उत्पन्न कीजिए, और आपके पास एक ऐसे डोमेन के लिए लेबल किया गया नामित-एंटिटी डेटासेट है जिसे कोई अकादमिक कॉर्पस कवर नहीं करता। एंटिटीज़ असली हैं, इसलिए वितरण ईमानदार है; वाक्य सिंथेटिक हैं, इसलिए मात्रा जितनी आपको चाहिए उतनी।

स्पीच रिकग्निशन को उन शब्दों की ओर झुकाना जो मायने रखते हैं

सामान्य-प्रयोजन ASR सामान्य वाणी पर प्रशिक्षित होता है, इसलिए यह Dire Straits को “dire straights” के रूप में लिख देता है और हर पुर्तगाली गाँव के नाम को बिगाड़ देता है। समाधान शुरू से पुनःप्रशिक्षण नहीं है — यह बायसिंग है: पहचानकर्ता को आपके डोमेन की शब्दावली देना।

स्क्रेप किए गए कैटलॉग वही शब्दावली हैं। ठोस रूप से:

भाषा-मॉडल बायसिंग — एंटिटी-समृद्ध पाठ पर प्रशिक्षित n-gram या shallow-fusion LMs डिकोडर को इन-डोमेन शब्दों की ओर धकेलते हैं। एक मीडिया असिस्टेंट के LM को ट्रैक शीर्षकों और कलाकार नामों पर प्रशिक्षित होना चाहिए, और हमारा हो सकता है, क्योंकि वे हमारे पास हैं — टाइप्ड, डीडुप्लिकेटेड, उद्गम-स्वच्छ।
प्रॉम्प्ट-कंडीशन्ड रिकग्निशन — नए आर्किटेक्चर इन्फ़रेंस समय पर एक टेक्स्ट प्रॉम्प्ट या संदर्भ सूची स्वीकार करते हैं। उपयोगकर्ता की असली लाइब्रेरी — जिन एंटिटीज़ को हमारे क्लाइंट ने निकाला — को पहचानकर्ता के संदर्भ में डालने से “अपहचान्य संज्ञा” “ज्ञात शब्दावली आइटम” बन जाती है।
फ़ाइन-ट्यूनिंग डेटा — जहाँ बायसिंग काफ़ी नहीं, वहाँ एंटिटी कैटलॉग और हमारी TTS आवाज़ें उन ठीक-ठीक वाक्यांशों के लिए सिंथेटिक वाणी उत्पन्न करती हैं जिन्हें किसी परिनियोजन को ग़लत नहीं करना चाहिए। यह वह डेटासेट-निर्माण सेवा है जो हम व्यावसायिक रूप से देते हैं, और यह उसी खुली पाइपलाइन पर बनी है।

उच्चारण: क्रॉल किए गए शब्दकोशों से G2P और TTS तक

हमारे कुछ सबसे मूल्यवान क्रॉल एंटिटी कैटलॉग नहीं बल्कि लेक्सिकन हैं। Infopédia शब्दकोश को क्रॉल करने से infopedia-pt-ipa बना, 1,00,000 से अधिक यूरोपीय पुर्तगाली word→IPA जोड़े। वह डेटासेट:

हमारे नियम-आधारित पुर्तगाली G2P स्टैक को बेंचमार्क और ट्यून करता है,
TTS आवाज़ों के लिए उच्चारण को आधार देता है ताकि वे शब्दों को वैसे ही बोलें जैसे वक्ता वास्तव में बोलते हैं,
और हमारे पुर्तगाली heterophone कार्य जैसे अर्थ-लेबल किए गए संसाधनों के बीज बोता है, जहाँ वही वर्तनी अर्थ के अनुसार अलग-अलग ध्वनियों से मेल खाती है।

वर्तनी-से-ध्वनि डेटा स्पीच टेक का सबसे कम चमकीला कोना है और वही जो सबसे अधिक तय करता है कि कोई आवाज़ मूल-भाषी जैसी सुनाई देती है या नहीं। यह डेटा कोई आपको नहीं थमाता। आप इसे क्रॉल करते हैं, साफ़ करते हैं, और प्रकाशित करते हैं — ताकि अगली टीम को न करना पड़े।

LLMs के लिए ईमानदार ईंधन

ऊपर की हर बात बड़े भाषा मॉडलों पर भी लागू होती है, एक अतिरिक्त मोड़ के साथ: अब उद्गम मात्रा से अधिक मायने रखता है। खुला वेब मॉडल-निर्मित पाठ से बढ़ते-बढ़ते दूषित हो रहा है; उस पर प्रशिक्षण या मूल्यांकन चुपचाप कल के मॉडल आउटपुट को पुनर्चक्रित करता है। इसीलिए हम स्वच्छ मानव उद्गम वाले स्रोतों की परवाह करते हैं — दशकों के Usenet अभिलेख, क्यूरेट किए गए विश्वकोश, आधिकारिक शब्दकोश — और इसीलिए हम जो भी डेटासेट प्रकाशित करते हैं वह बताता है कि हर रिकॉर्ड कहाँ से आया।

संरचित कैटलॉग इन्फ़रेंस समय पर भी LLMs को खिलाते हैं: एक टाइप्ड, डीडुप्लिकेटेड एंटिटी स्टोर ठीक वही है जो एक रिट्रीवल परत या किसी एजेंट के टूल API को अपने उत्तरों को आधार देने के लिए चाहिए। अव्यवस्थित स्रोतों के ऊपर साफ़ APIs केवल स्क्रेपिंग की सुविधा नहीं — वे वही तरीक़ा हैं जिससे आप एक भाषा मॉडल को तथ्यों से जुड़ा रखते हैं।

पाइपलाइन, शुरू से अंत तक

तो पूरी तस्वीर ऐसी दिखती है:

recon → resilient extraction → typed clients → normalised catalogues
      → gazetteers & intent data     (NLP)
      → biasing LMs & fine-tune sets (ASR)
      → lexicons & phoneme labels    (G2P / TTS)
      → provenance-clean corpora     (LLMs, retrieval)

हर चरण ओपन सोर्स है, हर डेटासेट वहाँ प्रकाशित है जहाँ लाइसेंसिंग अनुमति देती है, और वही पाइपलाइन जो हमारे अपने मॉडलों की ज़रूरतें पूरी करती है, आपकी ज़रूरतों के लिए एक एंगेजमेंट के रूप में उपलब्ध है। स्क्रेपर्स कोई साइड क्वेस्ट नहीं हैं। वे वह खदान हैं जिससे पूरा स्टैक बना है।