तकनीक . Souk Weekly
अरबी-प्रथम एआई और भाषा मॉडल की राजनीति
एक ऐसा मॉडल बनाना जो पहले अरबी में सोचे, एक साथ तकनीकी, सांस्कृतिक और राजनीतिक है
अद्यतन

दुनिया के सबसे सक्षम भाषा मॉडल कभी अरबी को ऐसे सीखते थे जैसे कोई चतुर पर्यटक सीखे: मोहित करने लायक अच्छी, लेकिन उन सूक्ष्म बारीकियों से रहित जो किसी भाषा को सचमुच देशी बनाती हैं। ये मॉडल सोचने के बजाय अनुवाद करते थे, और स्वतः अरबी शब्दों में लिपटे अंग्रेज़ी तर्क पर लौट आते थे। अब, क्षेत्रीय प्रयासों की एक नई लहर इसे बदलने का लक्ष्य रखती है, ऐसी प्रणालियां बनाकर जो शुरू से ही अरबी में तर्क करती हैं।
एक भाषा जो कई भाषाएं है
अरबी एकसमान नहीं है; यह एक वर्णक्रम है। आधुनिक मानक अरबी (एमएसए) है, समाचार और धर्मग्रंथों में इस्तेमाल होने वाला औपचारिक रूप, जिसे हर कोई पढ़ता है लेकिन घर पर कम लोग बोलते हैं। एमएसए के इर्द-गिर्द विभिन्न बोलियां घूमती हैं, लेवंती, खाड़ी, मिस्री, माघरेबी, हर एक की अपनी शब्दावली और लय है, जो अक्सर दूसरी बोलियों के बोलने वालों के लिए समझ से परे होती है। मुख्य रूप से औपचारिक पाठ पर प्रशिक्षित एक भाषा मॉडल शादी में समाचार वाचक की तरह बोलता है: यह रोज़मर्रा की बातचीत की गर्मजोशी और बारीकी को चूक जाता है।
सचमुच देशी महसूस होने के लिए, एक मॉडल को इस पूरे वर्णक्रम को समेटना होगा। लेकिन उस जटिलता को पकड़ना एक साफ़-सुथरा डेटासेट संकलित करने से कहीं ज़्यादा चुनौतीपूर्ण है। इसके लिए बोलियों और रूपों के बीच मौजूद अर्थ की सूक्ष्म छायाओं को समझना ज़रूरी है, यही वजह है कि कई मॉडल अरबी की समृद्ध बुनावट को पकड़ने की कोशिश में विफल हो जाते हैं।
किसकी अरबी डिफ़ॉल्ट बनती है?
एक भाषा मॉडल को प्रशिक्षित करने का हर फैसला सांस्कृतिक भार रखता है। अगर कोई मॉडल मुख्यतः एक देश के मीडिया से सीखता है, तो वह उस राष्ट्र के मुहावरे, धारणाएं, और यहां तक कि उसकी चुप्पियां भी सोख लेता है। जो बोली उसे सबसे आसान लगती है, वह डिफ़ॉल्ट रूप से मशीन-युग की पसंदीदा बोली बन जाती है। जिन समुदायों की बोली ऑनलाइन कम प्रतिनिधित्व पाती है, उनके सुधारे जाने योग्य त्रुटियों के रूप में देखे जाने का जोखिम रहता है। इस तरह, यह चुनना कि मॉडल कौन-सी अरबी बोलता है, यह भी तय करना है कि किसकी सुनी जाए और किसे चुपचाप मिटाया जा सकता है।
पतला और विवादित संग्रह
अंग्रेज़ी की तुलना में, खुले इंटरनेट पर उच्च-गुणवत्ता वाला अरबी पाठ विरल है, जिसका ज़्यादातर हिस्सा मूल रूप से रचा गया नहीं बल्कि अनुवादित है। यह कमी निर्माताओं को मशीन-अनुवादित डेटा पर बहुत अधिक निर्भर होने के लिए ललचाती है, जो अंग्रेज़ी वाक्य-संरचनाओं को उस चीज़ में बैठा देता है जिसे विशुद्ध रूप से अरबी दिमाग होना चाहिए। कठिन रास्ते में मूल सामग्री को मंगवाना, डिजिटल बनाना और साफ़ करना शामिल है, जिसका ज़्यादातर हिस्सा अभिलेखागारों, पुस्तकालयों, या उन लोगों की यादों में पड़ा है जिनसे उनकी कहानियां कभी पूछी ही नहीं गईं। यहां डेटा खोजा नहीं जाता; इसे गढ़ा जाता है।
एक सर्वर रैक में संप्रभुता
इस प्रयास का एक रणनीतिक पहलू भी है। जो क्षेत्र अपने प्रशासन, शिक्षा और मीडिया के लिए पूरी तरह विदेशी मॉडलों पर निर्भर करता है, वह अपनी समझ का एक हिस्सा अपने शासन से बाहर की कंपनियों को सौंप देता है। सक्षम स्थानीय मॉडल बनाना यह पुष्ट करता है कि एक समाज को अपनी खुद की भाषा के ज़रिए खुद को समझना चाहिए, बिना किसी बिचौलिये के यह तय किए कि क्या कहा जा सकता है। यही वजह है कि ये परियोजनाएं सिर्फ़ इंजीनियरों को ही नहीं, बल्कि सरकारी मंत्रालयों को भी आकर्षित करती हैं।
आधिकारिक आवाज़ का जोखिम
लेकिन संप्रभुता के साथ जोखिम भी आते हैं। राज्य की नज़दीकी दिलचस्पी के तहत गढ़ा गया मॉडल धाराप्रवाह और आज्ञाकारी बन सकता है, सुरक्षित विषयों पर वाक्पटु लेकिन विवादास्पद विषयों पर अस्पष्ट। खतरा यह नहीं है कि अरबी-प्रथम एआई देशी सुनाई देने में विफल रहे; खतरा यह है कि वह हद से ज़्यादा देशी सुनाई दे और साथ ही चुपचाप उस दायरे को सीमित कर दे जो एक देशी आवाज़ कह सकती है।
एक ऐसा मॉडल बनाना जो अरबी में सपने देखे, एक सार्थक और लंबे समय से लंबित परियोजना है, जो अकेले अपनी इंजीनियरिंग के लिए ही सम्मान की हकदार है। फिर भी भाषा महज़ तकनीक से परे है, यह स्मृति, पदानुक्रम और विवाद को ढोती है। जो कोई भी यह मशीन बनाता है, वह इन सभी तत्वों को विरासत में पाता है, और सबसे ईमानदार निर्माता स्वीकार करेंगे कि वे केवल अरबी का मॉडल नहीं बना रहे; वे इस बारे में एक तर्क रच रहे हैं कि अरबी होने का क्या मतलब है।
भाषा एक उपकरण से बढ़कर है; यह समाज की जटिलताओं को प्रतिबिंबित करने वाला दर्पण है। जैसे-जैसे हम ऐसा एआई बनाने का प्रयास करते हैं जो सचमुच अरबी को समझे, आइए याद रखें कि यह प्रयास हमारे अपने मूल्यों और आकांक्षाओं का भी प्रतिबिंब है।
साप्ताहिक
हफ़्ते में एक ईमेल.
अच्छी चीज़ें, अजीब चीज़ें, सूक की चीज़ें.