Son günlərdə süni intellekt və NLP (təbii dil işlənməsi, ing., “natural language processing”) bütün dünyada trend olduğunun şahidi oluruq. Xüsusilə, ChatGPT kimi söhbət botlarının hər kəsimdən şəxsin istifadəsində olması bu sahəni daha maraqlı edir. Bir çox sahədə olduğu kimi sözügedən sahələrdə də əksər tədqiqat işləri ingilis dili kimi yüksək resurslu dillərlə aparılmasına, az resurslu dillər üçün bu kimi sahələrdə ikinci planda olduğuna şahid olmaqdayıq. Ana dilimiz də bu az resurslu dillər siyahısında olduğundan süni intellekt və NLP kimi sahələrdə ana dilimizdə resurs və alət tapmaq demək olar ki, mümkün deyildi. Lakin son günlərdə bir neçə gəncdən ibarət komandanın hazırladığı NLP üçün ən vacib detallardan biri olan azərbaycanca korpus bu sektordan olan hər kəsin marağını cəlb etməkdədir.
Müxtəlif NLP layihələrində (mətn yaratma, çatbotlar və s.) istifadə oluna biləcək “azcorpus” Azərbaycan dilində ümumilikdə 1,9 milyon mətndən və təqribən 18 milyon cümlədən ibarətdir. Mətnlər xəbər saytları, jurnallar, vikipediya məqalələri, kitablar daxil olmaqla müxtəlif mənbələrdən seçilmişdir və siyasət, iqtisadiyyat, elm, mədəniyyət, idman, tarix, cəmiyyət və s. o cümlədən bir sıra digər mövzuları əhatə edən mətnlərlə janr və mövzu üzrə əhatə olunub.
Ən əsası isə, “azcorpus” təkcə bədii ədəbiyyat deyil, həm də fizika, kimya və s. kimi elmi mətnləri də əhatə edəcək şəkildə genişləndirilib.
“Azcorpus”da hazırda 3 müxtəlif mənbədən götürülmüş (az_books, az_wiki və az_news) və təmizlənmiş toplamda 1,876,492 sənəd var. Hazırda korpusun ümumi həcmi 23.4 GB təşkil edir. Müqayisə üçün qeyd edək ki, hal-hazırda trend olan GPT-3 modeli müxtəlif mənbələrdən toplanmış 800 GB həcmli data, GPT-2 modeli isə 40 GB data üzərində öyrədilib.
Korpus üzərində işləyən komanda bildirir ki, bu korpusu geniş ictimaiyyət üçün əlçatan etməklə onlar Azərbaycan dilində NLP həllərinin yaradılması üçün gələcək tədqiqat və inkişafı stimullaşdırmağa, eyni zamanda dil müxtəlifliyi və mədəni irsin təşviqi kimi daha geniş məqsədə töhfə verməyə ümid edirlər.
Korpusdan istifadə etmək üçün https://huggingface.co/datasets/azcorpus/azcorpus_v0 linkindən istifadə edə bilərsiniz.
