لماذا نُكدّس البيانات: من الفهارس المستخرَجة إلى نماذج كلام ولغة أذكى

نكتب كثيرًا عن كيفية استخراج البيانات — من أدوات الاستطلاع، إلى وسائط النقل المضادة للروبوتات، إلى عملاء بيانات الموسيقى الوصفية المُصنَّفين. والسؤال المشروع هو لماذا. نحن شركة ذكاء اصطناعي صوتي؛ فماذا نفعل بصيانة أدوات استخراج لموسوعات الموسيقى وأدلة المحطات الإذاعية؟

الجواب أن البيانات تقع في أعلى منبع كل ما نُطلقه. فالمساعد الصوتي لا يكون أفضل من الكلمات التي يتوقع سماعها، والكيانات التي يستطيع التعرّف عليها، والنطق الذي يعرفه. ولا شيء من ذلك يأتي من مخطّطات المعمارية. إنه يأتي من البيانات — والبيانات المثيرة للاهتمام نادرًا ما تكون جالسة في مجموعة بيانات جاهزة. بل هي منتشرة عبر الويب العام، في فهارس أمضى البشر عقودًا في تنظيمها.

وإليك ما يحدث لتلك البيانات بعد أن نجمعها.

الكيانات: المفردات التي يعيش عليها المساعد الصوتي

قُل «شغّل Sultans of Swing لفرقة Dire Straits» لمساعد ما. قبل أن يتمكّن أي نموذج من التصرّف بناءً على ذلك، يجب أن يعرف شيءٌ ما أن Sultans of Swing هو مقطوعة وأن Dire Straits هو فنان. اضرب ذلك في كل فنان، وألبوم، ومحطة، وبودكاست، ونوع موسيقي قد يذكره المستخدم، وسيكون لديك المفردات الحقيقية لمساعد الوسائط — مئات الآلاف من الكيانات المُسمّاة، لا يظهر أيٌّ منها في مدوّنة تدريب NLP قياسية.

عملاء الوسائط لدينا يُخرِجون هذا بالضبط: سجلّات مُصنَّفة بمعرّفات قياسية، مُطبَّعة ضمن مخطّط mediavocab. وتلك الفهارس من الكيانات تُغذّي مباشرةً:

• مطابقة النوايا القائمة على الكلمات المفتاحية — تصبح قوائم الكيانات هي المعاجم (gazetteers) التي تُرسِّخ استعلامات الوسائط في OpenVoiceOS.
• مصنِّفات النوايا — تجمع مجموعات بيانات نوايا الوسائط لدينا بين كيانات حقيقية مُستخرَجة وتوليد جُمل بمساعدة القوالب ونماذج LLM، منتِجةً عبارات مثل تلك التي يقولها المستخدمون الحقيقيون، مُعبَّأة بكيانات موجودة فعلًا. والنماذج المُدرَّبة على هذا النحو تتولّى قرار «هل هذا طلب تشغيل، ولأجل ماذا؟» في مسار الوسائط في OpenVoiceOS.
• مدوّنات NER اصطناعية — تتعمّم الوصفة نفسها: خُذ فهرسًا من كيانات حقيقية، ووَلِّد جُملًا طبيعية حولها، وسيكون لديك مجموعة بيانات كيانات مُسمّاة موسومة لمجال لا تغطّيه أي مدوّنة أكاديمية. الكيانات حقيقية، فالتوزيع صادق؛ والجُمل اصطناعية، فالحجم يكون أيًّا كان ما تحتاجه.

توجيه التعرّف على الكلام نحو الكلمات المهمّة

يُدرَّب التعرّف على الكلام العام الغرض على كلام عام، فيُفرِّغ Dire Straits بوصفها “dire straights” ويُشوّه كل اسم قرية برتغالية. والحل ليس إعادة التدريب من الصفر — بل هو التوجيه (biasing): أن تُعطي المُتعرِّف مفردات مجالك.

الفهارس المُستخرَجة هي تلك المفردات. وبشكل ملموس:

• توجيه نموذج اللغة — نماذج اللغة من نوع n-gram أو الدمج السطحي (shallow-fusion) المُدرَّبة على نصوص غنية بالكيانات تدفع المُفكِّك (decoder) نحو الكلمات ضمن المجال. فنموذج اللغة الخاص بمساعد الوسائط ينبغي أن يُدرَّب على عناوين المقطوعات وأسماء الفنانين، ونموذجنا يمكنه ذلك، لأننا نملكها — مُصنَّفة، منزوعة التكرار، نظيفة المصدر.
• التعرّف المشروط بالمُوجّه (prompt) — تقبل المعماريات الأحدث مُوجّهًا نصيًا أو قائمة سياق وقت الاستدلال. وتغذية مكتبة المستخدم الفعلية — الكيانات التي استخرجها عملاؤنا — في سياق المُتعرِّف تُحوّل «الاسم العَلَم غير القابل للتعرّف» إلى «عنصر مفردات معروف».
• بيانات الضبط الدقيق (fine-tuning) — حيث لا يكفي التوجيه، تُوَلِّد فهارس الكيانات مع أصوات TTS لدينا كلامًا اصطناعيًا للعبارات الدقيقة التي يجب ألّا يُخطئ فيها أي نشر. هذه هي خدمة بناء مجموعات البيانات التي نقدّمها تجاريًا، وهي مبنية على المسار المفتوح نفسه.

النطق: من القواميس المُزحوفة إلى G2P و TTS

بعض أثمن عمليات الزحف لدينا ليست فهارس كيانات بل معاجم. فزحف قاموس Infopédia أنتج infopedia-pt-ipa، أكثر من 100,000 زوج من كلمة برتغالية أوروبية ← IPA. تلك المجموعة:

• تُقيس وتضبط منظومة G2P البرتغالية القائمة على القواعد لدينا،
• وتُرسِّخ النطق لـأصوات TTS كي تنطق الكلمات كما ينطقها المتحدثون فعلًا،
• وتُبذِّر موارد موسومة بالمعنى مثل عملنا على البرتغالية متجانسة النطق (heterophone)، حيث يُطابِق الإملاء نفسه أصواتًا مختلفة تبعًا للمعنى.

بيانات الإملاء-إلى-صوت هي أقل زوايا تقنية الكلام بريقًا وأكثرها حسمًا في ما إذا كان الصوت يبدو أصيلًا. لا أحد يُسلّمك هذه البيانات. بل تزحفها، وتنظّفها، وتنشرها — كي لا يضطر الفريق التالي إلى فعل ذلك.

وقود صادق لنماذج LLM

كل ما سبق ينطبق أيضًا على نماذج اللغة الكبيرة، مع التواءٍ إضافي: المصدر صار الآن أهمّ من الحجم. فالويب المفتوح يزداد تلوّثًا بنصوص مُولَّدة آليًا؛ والتدريب أو التقييم عليها يُعيد بهدوء تدوير مخرجات نماذج الأمس. ولهذا نهتمّ بالمصادر ذات المصدر البشري النظيف — عقود من أرشيفات Usenet، وموسوعات مُنظَّمة، وقواميس رسمية — ولهذا تُصرِّح كل مجموعة بيانات ننشرها بمصدر كل سجل فيها.

الفهارس المُهيكلة تُغذّي نماذج LLM أيضًا وقت الاستدلال: فمخزن كيانات مُصنَّف ومنزوع التكرار هو بالضبط ما تريده طبقة استرجاع أو واجهة أدوات لعميل كي تُرسِّخ إجاباتها. الواجهات النظيفة فوق المصادر الفوضوية ليست مجرد راحة في الاستخراج — بل هي كيف تُبقي نموذج اللغة متّصلًا بالحقائق.

المسار، من طرفه إلى طرفه

فالصورة الكاملة تبدو هكذا:

recon → resilient extraction → typed clients → normalised catalogues
      → gazetteers & intent data     (NLP)
      → biasing LMs & fine-tune sets (ASR)
      → lexicons & phoneme labels    (G2P / TTS)
      → provenance-clean corpora     (LLMs, retrieval)

كل مرحلة مفتوحة المصدر، وكل مجموعة بيانات تُنشَر حيث يسمح الترخيص، والمسار نفسه الذي يلبّي احتياجات نماذجنا متاح كارتباط عمل لاحتياجاتك. أدوات الاستخراج ليست مهمة جانبية. إنها المحجر الذي بُنيت منه المنظومة كلها.