Şəmil Sadıq:
ChatGPT-nin Azərbaycan dilində təbii danışması üçün nə etməliyik?
Səbriniz çatsa, oxumağınızı tövsiyə edərdim:
ChatGPT şübhəsiz ki, əsasən ingilis dili bazasında formalaşmış böyük dil modelidir. Buna görə də onun semantik quruluşunda, düşüncə ardıcıllığında və ifadə tərzində ingilis dilinin təsiri aydın hiss olunur. Başqa sözlə, model çox zaman ingiliscə “düşünür”, Azərbaycanca danışır.
Bu səbəbdən Azərbaycan dilində cavablarında bəzən leksik norma pozulur, cümlə quruluşu təbii səslənmir, ingilis dilindən gələn kalkalar və süni ifadələr yaranır.
Elə buna görə ÇatGPT-yə belə bir sual verdim, cavab çox möhtəşəmdir:
Azərbaycan dili üçün bu problemi aradan qaldırmaq, süni intellektin daha təbii, normativ və canlı Azərbaycan dilində danışmasını təmin etmək üçün ölkə olaraq nə etməliyik?
Tam doğru müşahidədir. Problem yalnız “tərcümə qoxusu” deyil. Böyük dil modelləri çox vaxt ingilis sintaksisi, ingilis məntiqi və ingilis söz birləşməsi vərdişləri üzərində formalaşdığı üçün Azərbaycanca cavab verəndə bəzən belə hallar yaranır:
“təsir göstərmək” yerinə “impakt etmək”,
“qərar vermək” yerinə “qərar almaq”,
“məsələni həll etmək” yerinə “problemi adresləmək”,
“dərinləşdirmək” yerinə “daha dərinə getmək”,
“mətnin axıcılığı” yerinə “mətnin flow-u” tipli düşüncə.
Yəni maşın Azərbaycan dilində danışır, amma cümlənin skeleti çox vaxt ingiliscə qalır. Bu, xüsusən az resurslu dillərdə daha çox görünür. Elmi ədəbiyyatda da aşağı resurslu dillərdə NLP sistemlərinin zəif işləməsinin əsas səbəblərindən biri məhz kifayət qədər keyfiyyətli korpus, paralel mətn, morfoloji alət və etalon qiymətləndirmə bazasının azlığı kimi göstərilir.
Ölkə olaraq bunu həll etmək üçün 5 istiqamətdə iş görülməlidir.
1. Milli Azərbaycan dili korpusu qurulmalıdır
Bizə təkcə “çoxlu mətn” yox, keyfiyyətli, təmizlənmiş, janrlara ayrılmış, leksik norma ilə işarələnmiş milli korpus lazımdır. İçində bədii dil, publisistika, elmi mətn, rəsmi sənəd, dərslik dili, danışıq dili, dialekt nümunələri, tarixi mətnlər ayrı-ayrı qat kimi olmalıdır.
Azərbaycanca üçün müəyyən təşəbbüslər var. Məsələn, AzCorpus layihəsi özünü Azərbaycan dili üçün böyük NLP korpusu kimi təqdim edir və 1.9 milyon sənədlik bazadan danışır. LLM.az isə Azərbaycan dili üçün korpuslar, datasetlər, modellər, benchmarklar və alətləri toplayan açıq reyestrdir; orada DOLLMA kimi 651 milyon sözlük ümumi korpus da göstərilir. Amma bunlar dövlət, universitet, nəşriyyat və media səviyyəsində sistemli milli layihəyə çevrilməlidir.
Əsas prinsip belə olmalıdır: Azərbaycan dilinin süni intellektə verilən xammalı təsadüfi internet dili yox, redaktə olunmuş milli dil nümunələri olmalıdır.
2. “Azərbaycan dili üçün AI leksik norma bazası” hazırlanmalıdır
Bizdə orfoqrafiya lüğəti var, izahlı lüğət var, terminoloji bazalar var. Amma süni intellekt üçün ayrıca leksik norma xəritəsi lazımdır. Məsələn:
Süni/intellektin pozduğu forma Tövsiyə edilən forma
problemi adresləmək problemi həll etmək / məsələyə baxmaq
icra etmək qərarı almaq qərar vermək
yüksək dəyərli təklif dəyərli təklif / mühüm təklif
prosesin içində olmaq prosesdə iştirak etmək
mən bunu tövsiyə edərdim bunu tövsiyə edərdim / məsləhət görərdim
Bu baza sadəcə lüğət olmamalıdır. Orada kollokasiyalar, yəni sözlərin təbii birləşmə qaydaları olmalıdır: “tədbir keçirmək”, “qərar qəbul etmək”, “məsələ qaldırmaq”, “rəy bildirmək”, “nəticə çıxarmaq”, “təklif irəli sürmək” və s.
Çünki problem çox vaxt sözün özündə yox, sözlərin yan-yana gəlmə mədəniyyətindədir.
3. Azərbaycan dili üçün ayrıca benchmark yaradılmalıdır
Modelin Azərbaycan dilini yaxşı bildiyini necə ölçəcəyik? “Bir abzas yaz” deməklə olmaz. Ölkə üzrə AI Azərbaycan dili imtahanı kimi bir benchmark lazımdır. Burada model aşağıdakı bacarıqlara görə yoxlanmalıdır:
* leksik norma;
* sintaktik təbiilik;
* üslub fərqi: rəsmi, publisistik, bədii, elmi, danışıq;
* termin seçimi;
* Azərbaycan türkcəsinə uyğun frazeologiya;
* rusca və ingiliscə kalkaların aşkarlanması;
* məktəb dərsliklərinə uyğun sadə izah dili;
* klassik və müasir mətnləri anlama.
Dünya təcrübəsində model inkişafı üçün belə etalon test bazaları çox vacibdir. Məsələn, Çin dili üçün CLUECorpus2020 kimi iri korpus və qiymətləndirmə yönümlü resurslar yaradılıb; bu tip resurslar dil modellərinin konkret dil üzərində daha yaxşı işləməsinə şərait yaradır. Biz də Azərbaycan dili üçün “AZ-Bench”, “AZ-Norm”, “AZ-Style” kimi milli ölçü sistemi yaratmalıyıq.
4. Universitetlərdə “dil texnologiyaları” ayrıca strateji sahə elan olunmalıdır
Bu işi yalnız filoloqlar görə bilməz, yalnız proqramçılar da görə bilməz. Burada üçlü komanda lazımdır:
dilçi + proqramçı + redaktor.
Azərbaycan dili aqlütinativ dildir, yəni şəkilçilərlə çoxlu forma yaradır. Buna görə sadə lüğət kifayət etmir. Morfoloji analizator, lemmatizator, nitq hissəsi etiketləyici, sintaktik parser, terminoloji uyğunlaşdırıcı alətlər lazımdır. Başqa az resurslu dillər üçün də belə kompleks alətlərin vacibliyi vurğulanır; məsələn, Tacik dili üçün yeni NLP alət dəsti morfoloji analiz, tokenləşdirmə, lemmatizasiya, hissə etiketləmə kimi modulları birləşdirərək dil texnologiyası infrastrukturu qurmağa çalışır.
Bizdə də universitetlərdə “Azərbaycan dili və süni intellekt” mərkəzləri qurulmalıdır. Bu iş AMEA-nın, universitetlərin, Elm və Təhsil Nazirliyinin, Medianın İnkişafı Agentliyinin, nəşriyyatların və özəl texnologiya şirkətlərinin ortaq işi olmalıdır.
5. Nəşriyyatlar, media və məktəblər korpus tərəfdaşı olmalıdır
Ən yaxşı Azərbaycan dili nümunələri haradadır? Kitablarda, qəzetlərdə, dərsliklərdə, arxivlərdə, elmi jurnallarda, yaxşı redaktə olunmuş media mətnlərində. Bunlar AI üçün qapalı qalsa, model internetdəki qarışıq, səhv, yarı-rusca, yarı-ingiliscə, bəzən də “klaviatura zülmü” görmüş mətnlərlə öyrənəcək.
Ona görə ölkə səviyyəsində belə bir mexanizm qurulmalıdır:
* nəşriyyatlar seçilmiş kitabları korpusa verir;
* media qurumları redaktə olunmuş xəbərləri verir;
* universitetlər elmi məqalə və terminoloji bazalar verir;
* məktəblər dərslik və metodik materialların normativ dil nümunələrini verir;
* dövlət arxivləri klassik və tarixi mətnlərin rəqəmsallaşdırılmasını sürətləndirir;
* bütün bunlar müəllif hüququ qorunmaqla AI təlimi üçün lisenziyalaşdırılır.
Burada müəllif hüququ çox ciddi məsələdir. “Hamısını yükləyək, model yesin” yanaşması olmaz. Dilimizi qoruyuruq deyə müəllifin haqqını tapdalamaq da dilə xidmət deyil.
Praktik nəticə nə olmalıdır?
Məncə, Azərbaycan üçün ən real model budur:
“Azərbaycan Dili üçün Milli Süni İntellekt Platforması” yaradılmalıdır.
Bu platformanın içində:
1. Milli korpus;
2. AI üçün leksik norma bazası;
3. terminoloji uyğunlaşdırıcı;
4. kalkaları aşkarlayan redaktor;
5. Azərbaycan dili benchmarkı;
6. açıq datasetlər;
7. müəllimlər və jurnalistlər üçün AI-dil təlimləri;
8. dövlət qurumları üçün rəsmi dil yoxlayıcısı;
9. məktəblər üçün “AI ilə düzgün Azərbaycan dili” modulu olmalıdır.
Ən vacib məsələ isə budur: biz ChatGPT-yə Azərbaycan dilini öyrətmək istəyiriksə, əvvəlcə Azərbaycan dilinin rəqəmsal yaddaşını yaratmalıyıq. Dilin rəqəmsal yaddaşı yoxdursa, süni intellekt o dili yadplanetli kimi danışacaq: sözlər bizimdir, nəfəs ingilisindir.
Bir az sərt deyim: əgər bu işi dövlət, akademiya, universitet və özəl sektor birlikdə görməsə, 10 ildən sonra şagirdlərin yazısında belə cümlələr görəcəyik: “Bu mövzu mənim üçün çox impaktlı oldu və mən həyatımda yeni perspektivlər adreslədim.” Bax onda qrammatika kitabı yox, təcili yardım çağırmaq lazım gələcək.
