KazLLM-нің ChatGPT-ден несі кем?

Бізде қазір екі үлкен тілдік модель бар. KazLLM мен Alem LLM. Дегенмен оларды қалай қолдануға болады, кім қолдана алады? ChatGPT, Gemini секілді жүйелерден айырмашылығы бар ма, болса, қандай?

Мемлекет басшысы 10 ақпанда өт­кен Үкіметтің кеңейтілген отыры­сын­да Жа­санды интеллект және цифрлық да­му министріне KazLLM моделі туралы сұ­рақ қойып, атқарылған жұмыстардың нақ­ты есебін сұраған болатын.

– KazLLM жөнінде мәлімдеме жаса­дыңыз, оны іске қостық деп айттыңыз. Бірақ менің білуімше, ол бағдарламаға сұраныс әлі төмен, себебі ақауы көп. Жұрт ChatGPT-ге жүгінеді. KazLLM-ге көш­кісі келмейді. Сондықтан KazLLM-нің айналасында не болып жатыр деген сұра­ғым бар. Не айтасыз? – деп сұрады Президент министр Жаслан Мәдиевтен.

Министр қазір бізде екі тілдік мо­дель, KazLLM мен Alem LLM бар екенін айт­ты. Олар қазір 40-тан астам жүйеге ен­гізілген, 600 мыңнан астам сұраныс түс­кен. Бүгінде осы модельдер нарыққа, IT компанияларға, стартаптарға, сту­дент­­терге, зерттеу институттарына қол­же­тімді екен. Дегенмен Жаслан Мәдиев мо­дельдердің сапасын әрқашан жақсар­тып отыру қажет екенін, сондықтан ха­лықаралық деңгейдегі сарапшылармен бірге бұл бағыттағы жұмысты жалғас­тыра беретінімізді жеткізді.
KazLLM-ді 2024 жылы Назарбаев уни­­вер­ситетіндегі Ақылды жүйелер мен жасанды ин­теллект институты (ISSAI) әзірлеген. Жо­баны машиналық оқыту, де­ректер талдау ғы­лымы және ком­пью­тер­лік инженерия са­лаларындағы қа­зақ­стандық жас зерттеу­ші­лерден құрал­ған команда жүзеге асырған. Бұ­дан бө­лек, жұмысқа қазақстандық зерт­теу­ші­лер, мемлекеттік органдар мен бизнес өкіл­­дері де қатысқан. Ресми деректерге сүйен­­сек, жобаны әзірлеуге шамамен 3,9 млрд теңге жұмсалған. 

Ашық деректерде модель 148 миллиард то­кен негізінде үйретілгені, 8 миллиард және 70 миллиард параметрлері бар екі нұсқа әзір­ленгені, олар жасанды интеллект сал­а­сын­да жаңа өнімдер әзірлеудің негізі және са­пасы мен дәлдігі бойынша өзіне ұқсас мо­­­­дельдерден асып түсетіні туралы ақ­парат­тар бар. Салыстырмалы түрде алғанда, кәдім­гі компьютерге 1 миллион фотосурет мұр­а­ға­тын талдау үшін бірнеше күн қажет болса, KAZ-LLM-ді үйретуге пайдаланылған 8 DGX H100 сервері бұл тапсырманы бірнеше се­кундта орындай алады екен.
Жобаны әзірлеген Назарбаев универ­ситетінің Ақылды жүйелер мен жасанды интеллект институтына, сондай-ақ тәуелсіз сарапшы, IT маман Абылай Жү­сіп­бекке хабарласып, жалпы отандық тілдік модельдер, олардың басқа жүйелерден айыр­ма­шылығы мен болашағы туралы сұрап біл­дік.

ISSAI,
Назарбаев университетінің 
Ақылды жүйелер мен жасанды интеллект институты:

Жасанды интеллект – үздіксіз бәсеке

– Үлкен тілдік модель дегеніміз – үлкен мә­тін деректерінде келесі сөзді болжауға үй­ретілген ЖИ технологиясы. Адам сұрақ қой­ғанда, контекске сәйкес жауап береді. ChatGPT сияқты жүйелер осындай модельге негізделген. Түсініктірек болуы үшін мына­дай аналогия келтіруге болады: үлкен тілдік мо­дельді қозғалтқыш деп қарастырайық. Қоз­ғалтқыш дайын көлік емес, бірақ барлық функ­цияны іске қосатын негізгі механизм. Сол сияқты KazLLM – ЖИ ассистенттері мен чат-боттардың негізгі компоненті. Мем­ле­кеттік ассистенттер, корпоративтік чат-бот­тар немесе білім беру платформалары соның не­гізінде жасалуы мүмкін. Модель – қоз­ғалт­қыш, ал практикалық өнім жасап шығару үшін қосымша әзірлеу, дерек қорлары мен құрал­дармен интеграциялау мен ауқымды инфрақұрылым қажет. ChatGPT – толық­қан­ды өнім және қызмет көрсету экожүйесі. Яғ­н­и, дайын көлік. Ең маңыздысы – оны қол­дау үшін өте қомақты инвестиция құйы­лады. Мысалы, OpenAI-дың жылдық опе­рация­лық және инфрақұрылым шығындары ша­мамен 1,4 триллион долларға жетеді деген болжам бар, бұл жүйелерді оқыту және қол­дау үшін қажетті ауқымды көрсетеді. Осын­дай қаржыландыру деңгейі модельді үнемі жетілдіруді және оны жаһандық деңгейде орналастыруға мүмкіндік береді. KazLLM, ке­рісінше, фундаменталды модель. Ол жа­сан­ды интеллектінің негізгі қозғалтқышы, бірақ дайын жаһандық өнім емес. ChatGPT-ге ұқсас жүйе болу үшін оған іздеу құралдары мен дерекқорларды ықпалдастыру, пайда­ла­ну­шыға арналған платформа жасау, үздіксіз қай­та оқыту, қауіпсіздік жүйелерін енгізу жә­не ірі деректер орталықтарында орна­лас­тыру қажет болады. ISSAI-ға нақты осы қоз­ғалтқыш жасау міндеті жүктелді. Оның ай­на­ла­сында соңғы пайдаланушы қосым­ша­ла­рын немесе қызметтерін жасауға немесе іске қо­суға біздің институт қатысқан жоқ.  ISSAI Қа­зақстанның жасанды интеллект сала­сын­да­ғы қажеттілігін келеді. Дегенмен KazLLM-ді құру туралы ресми сұраныс Үкімет тара­пы­нан түсті. 
Жасанды интеллект технологиялары қо­ғамдық қызмет, бизнес опера­ция­ларына және ақпаратқа қолжетімділікке бар­ған сайын әсер етіп жатқандықтан, тек ше­тел өнімдеріне иек арту стратегиялық тәуел­ділікті тудыратыны анық болды. Жер­гілікті модельді дамыту Қазақстанға осы тех­нологияның негізін түсінуге және оны бейім­деуге мүмкіндік береді. Осылайша, не­гіз­гі мақсаттың бірі тек модель жасау ғана емес, ұлттық сараптамалық әлеуетті қалып­тас­тыру болды. ISSAI KazLLM-нің екі нұс­қа­сын әзірледі: жұмыс стансасы деңгейінде қол­дануға арналған 8 миллиард параметрлі мо­дель және деректер орталықтарында ен­гізуге бағытталған 70 миллиард параметрлі мо­дель. Модель Llama 3.1 архитектурасына не­­гіз­делді, себебі сол кезеңде ол әлемдегі ең мық­ты ашық бастапқы кодты архитектура­лар­дың бірі болды. KazLLM-ді әзірлеу кезінде жеке телекоммуникациялық компания бізге оқы­ту процесін жүргізу үшін 8 NVIDIA DGX H100 тораптарына қолжетімділік берді, ал же­ке қор команда жұмысына қажетті опера­ция­лық шығындарды қаржыландырды. Са­лыс­тыратын болсақ, Meta LLaMA моделін жа­сау кезінде 16 мыңнан астам DGX H100 гра­фикалық процессорларын пайдаланып, 400-ден астам зерттеушіні тартты. Дегенмен бұл KazLLM әлдеқайда шектеулі ресурстармен әзірленгенін көрсетеді. 
Халықаралық тәжірибеде мұндай модельдер бенчмарк көрсеткіштері арқылы бағаланады. ISSAI KazLLM моделі тіл­дік түсіну, есеп шығару қабілеті, нақты дерек­терге негізделген білім және жалпы пайым­дау дағдыларын жан-жақты баға­лай­тын кеңінен қолданылатын стандартты бенчмарктар негізінде тексерілді. Бенч­марк­тардың бір бөлігі қазақ тіліне бейімделді. Жарияланған KazLLM модельдері жиынтық көрсеткіш бойынша Llama моделінің сәйкес бастапқы нұсқаларынан жоғары нәтиже көрсетті. Жарияланған сәтте (2024 жылғы жел­тоқсан) 70B KazLLM моделі GPT-4o көр­сеткіштеріне өте жақын нәтижеге жетті. Со­нымен қатар халықаралық көшбасшылар мен сарапшылар Қазақстанның өзінің ұлт­тық KazLLM моделін әзірлеу бастамасына н­азар аударды. Жасанды интеллект са­ла­сының ізашар зерттеушісі Янн Лекун 2025 жыл­ғы Париж саммитінде KazLLM көрсет­кіштерін атап өтті. Сондай-ақ беделді GSMA Foundry Excellence Awards 2025 іс-шарасында KazLLM марапатқа ие болды.
Генеративті ЖИ, әсіресе үлкен тілдік мо­дельдер (LLM), қазір дүниежүзі бойынша стратегиялық маңызды технологиялық бағыт­қа айналды. Жаһандық инвестиция­лар­дың көлемі бұл стратегиялық маңыз­дылықты айқын көрсетеді. Ірі технологиялық компаниялар генеративті ЖИ-ге қыруар ресурс бөледі. Мысалға, Microsoft OpenAI-ге 13 миллиард АҚШ долларынан астам инвес­тиция салған. Amazon Anthropic-ке 4 мил­лиардқа дейін қаржы жұмсады. Google өзінің Gemini модельдері мен ЖИ инфра­құры­лы­мына қомақты қаржы салуды жалғастырып жатыр. OpenAI де алдағы жылдары есептеу инф­рақұрылымы, деректер орталықтары жә­не модельді оқытуға ондаған миллиард дол­лар жұмсауды жоспарлап отыр. Бұл ин­вестициялар жаһандық деңгейдегі ин-
ф­рақұрылым және ғылыми-зерттеу мін­дет­темелері ауқымды екенін көрсетеді. 
LLM тек технологиялық прогресс үшін емес, технологиялық тәуелсіздік үшін де маңыз­ды. Ұлттық модельдерді дамыту арқы­лы елдер тілі мен мәдени ерекшеліктерін сақ­тай алады, деректер қауіпсіздігін қам­та­ма­сыз етеді, экономикалық пайданы өз эко­жүйе­сінде ұстап қала алады, геосаяси тәуел­ділік­ті азайтады және жергілікті ЖИ та­лант­тарын қалыптастырады. Қысқаша айт­қанда, ұлттық немесе тәуелсіз LLM жасау – бұл цифр­лық тәуелсіздік, экономикалық тұрақ­ты­лық және жаһандық бәсекеге қабілет­тілікке қатысты стратегиялық шешім.
Көптеген елде генеративті ЖИ модель­де­рін әзірлеуде ірі технологиялық ком­па­ния­лар көш бастап келеді (OpenAI ChatGPT, Alibaba Qwen, Meta LLaMA, Anthropic Claude, DeepSeekAI DeepSeek). Алайда Қазақстанда жеке сектордың ғылыми-зерттеу  жұмыс­тары­на (R&D) жұмсайтын шығын­дарының ЖІӨ-дегі үлесі салыстырмалы түрде төмен, әрі мұндай қызмет түрлері әдетте жеке сектор тарапынан жүзеге асырылмайды. Тех­нологиялық жағынан дамыған елдер ЖІӨ-нің үлкен бөлігін ғылыми-зерттеу жұ­мыстарына (R&D) бөледі (Израиль, Оңтүстік Корея, Швеция, АҚШ және т.б.), ал тез дамып келе жатқан табысы орташа елдерде де ЖІӨ-нің 1 пайыздан астамы R&D-ге жұмсалады (Қазақстанда шамамен 0,2 пайыз). Біздің өңірде генеративті ЖИ-ге жеке сектор инвестициясының ең айқын мысалдарының бірі – Ресей Федерациясындағы Sberbank жұмысы. Банк өзінің жасанды интеллект модельдері мен құралдарын жасап, енгізіп отыр. Sberbank-тың генеративті AI өнімдері, мысалы, GigaChat, жаһандық үлкен тілдік модельдермен бәсекелесуге арналған және әртүрлі салаларда енгізіліп жатыр. Sberbank сондай-ақ ЖИ саласына белсенді инвес­тициялық жоспарларын жариялап, бола­шақ­та айтарлықтай шығындар бөлуді мақ­сат етіп, технологиялық ізін түрлендіру және осы технологиялардан елеулі пайда табу ние­тін білдірді. Бұл тәжірибені ескере оты­рып және Қазақстанның банк секторының қаржылық тұрақтылығын қарастыра оты­рып, еліміздегі қаржы институттарының өзі­міздің генеративті ЖИ-ді дамытуға, әсіре­се ашық бастапқы кодтағы модельдер ар­қылы инвестиция салуға мүмкіндігі бар деп айта аламыз. Мұндай стратегиялық инвес­тиция тек технологиялық тәуелсіздікке ық­пал етумен шектелмейді, елдің цифрлық эко­номикасын бәсекеге қабілетті етіп, ин­новацияны дамытуға да мүмкіндік береді.
Жасанды интеллект – үздіксіз бәсеке. Жаңа модельдер шамамен әр алты ай сайын ұсынылып отырады, сондықтан Kaz­LLM-ді әрі қарай дамыту қажет. 2024 жыл­ғы желтоқсанда KazLLM-ді Astana Hub-қа тапсырғаннан кейін оны одан әрі же­тіл­діру туралы тапсырма алған жоқпыз. KazLLM зерттеу мақсатында кеңінен қолданылды, бұл ашық репозиторийлерден көрінеді. Зерт­теушілер мен әзірлеушілер оны әрі қарайғы жаңалықтар мен инновациялар үшін негіз ретінде тәжірибеде қолданады. 2024 жылғы желтоқсанда Astana Hub-қа айрықшалығы жоқ лицензия берілгендіктен, қазір оның опе­рациялық немесе коммерциялық қол­данылуы туралы бізде ақпарат жоқ.

Абылай Жүсіпбек, 
ZIZ INC. - Digital AI Solutions компаниясының негізін қалаушы, 
IT сарапшы:

Тек модель жасаумен шектелмеу керек

– Бүгінде KazLLM сияқты отандық тілдік модельдерге деген қы­зығушылық айтар­лық­тай артты. Алайда олардың рөлі мен мүм­кін­діктерін байыппен бағалаған жөн.
KazLLM – қазақ тілі мен жергілікті мін­дет­­терге бейімделген үл­кен тілдік модель. Технологиялық тұрғыдан ол Llama секілді ашық модельдер негізінде құрылған және қосымша оқытудан, бап­таудан өткен. Мұн­дай тәсіл әлемдік жасанды интеллект ин­дустрия­сында қалыпты тәжірибе саналады: ірі ком­паниялардың өзі дайын open-source не­гізін пай­­­­даланып, оны өз міндеттері, тіл­дері мен салаларына бейімдейді.
Сондықтан KazLLM-ді толықтай нөлден жа­­салған іргелі модель деп емес, лока­ли­зация­­ланған және қосымша оқытылған мо­­дель деп сипаттау дұрысырақ. Соған қара­мас­тан, оның бас­ты құндылығы қазақ тіліне, жер­гілікті деректер мен қолдану сценарий­леріне бейімделуінде еке­нін айта кету керек.
Оны ChatGPT сияқты қолдануға бола ма? Іші­нара болады. Кез келген тілдік модель ин­­теллектуалды көмекші қызметін атқара ала­ды: сұрақтарға жауап беру, мәтін жазу, ау­дару, құ­­жаттарды қысқаша мазмұндау. Бірақ ChatGPT – кең инфрақұрылымы мен тұ­рақты жаңар­тулары бар дайын ком­мер­циялық өнім. Ал KazLLM – соған ұқсас сер­вис­терді құруға негіз болатын технологиялық база.
Ақпараттық жүйелерді әзірлеу және бизнес пен мемлекеттік ұйымдарға жасанды ин­тел­лект шешімдерін енгізу саласында жұмыс істейтін IT-компания ретінде ZIZ INC. тілдік мо­дель­дердің нақты жобаларда қалай қолданылып жатқанын тәжірибе жүзінде көріп отыр. Бұл халықаралық сервистер де, open-source модельдер де болуы мүмкін. Тап­сырыс берушілер үшін модельдің өзі емес, оның нақты жүйелерге енгізілгені маңызды, мәселен сайтқа, CRM-ге, мобильді қосымшаға немесе компанияның ішкі жүйелеріне ин­теграциялау.
Толықтай өз тілдік моделін нөлден бас­тап жасау қазіргі IT индустриядағы ең күр­делі мін­деттердің бірі екенін түсіну қажет. Ол үшін орасан зор көлемдегі мәтін деректер; өнімділігі жо­ғары есептеу қуаттары, маши­наны оқыту саласындағы мамандар коман­да­сы, ұзақ мер­зімдегі оқыту мен тестілеу, ірі технологиялық жобалармен салыстырар­лықтай инвестиция қа­жет. Сондықтан көп­теген ел мен компания эволюциялық жолды таңдайды: алдымен дайын модельдерді пай­даланады, кейін оларды жергілікті деректер негізінде қайта оқытып, біртіндеп өз инф­рақұрылымы мен деректер қорын қа­лыптас­тырады. Мұндай тәсіл тезірек прак­тикалық нә­тиже алуға және құзырет­терді дамытуға мүмкіндік береді.
Басты міндет – тек модель жасаумен шек­телмеу керек. Оның айналасында қол­данбалы сер­вис­терді, білім беру бағдарла­маларын, зерттеу жобаларын және бизнес эко­жүйесін дамыту аса маңызды. Дәл осы факторлар жасанды интеллектінің эконо­ми­ка мен қоғам үшін нақты құндылығы қан­­дай екенін айқындайды.

Демек, KazLLM-ді көпшілік үйренген чат-бот форматындағы өнім ретінде қарастырмау керек. 
Бұл – Қазақстан өзі, өз ішінде қалыптастыруға талпынып отырған ірі тілдік модель, яғни болашақтағы IT сервистердің өзегі, алғышарты. Ол жаппай пайдаланушыға арналған дайын чат емес, керісінше негіз ретінде жасалған. Осы дайын негізге нақты жұмыс істейтін, қоғам мен экономикаға пайда әкелетін бастамалар құрыла ма, жоқ па, ендігі мәселе – сол.