Как ChatGPT обучают казахскому языку: результаты проекта представили в Астане

В Астане представили результаты совместного проекта Международного общества «Қазақ тілі» и компании OpenAI, направленного на развитие казахского языка в цифровой среде, передает BAQ.KZ.

В рамках проекта объем текстового корпуса на казахском языке достиг 14 млрд токенов, а база аудиоданных выросла до 12 тыс. часов. Точность адаптированных для казахского языка моделей транскрипции повысилась до 98%.

Совместная работа ведется в рамках соглашения, заключенного 7 ноября 2025 года в Вашингтоне.

Цель проекта – создать условия для полноценного использования казахского языка в эпоху искусственного интеллекта.

Президент Международного общества «Қазақ тілі» Рауан Кенжеханулы рассказал, что особое внимание уделяется качеству работы ChatGPT на казахском языке.

«Нам важно, чтобы такой инструмент на казахском языке работал безошибочно и без, как сегодня говорят, галлюцинаций. Поэтому нам было важно собрать большую базу данных. В частности, вместе с командой OpenAI на базе этих данных мы переобучаем систему, такой продукт, как ChatGPT», – рассказал Рауан Кенжеханулы.

14 млрд токенов на казахском языке

За время реализации проекта объем Kazakh Text Corpus достиг 14 млрд токенов.

В него вошли материалы по образованию, науке, технологиям, экономике, праву, медицине, истории, этнографии и медиа, а также детский контент.

При этом задача специалистов заключается не только в увеличении объема данных. Собранные материалы классифицируют по тематике, жанрам и возрастным категориям, очищают и подготавливают для дальнейшей работы систем искусственного интеллекта.

«Благодаря этому система будет работать более глубоко, точно, особенно когда это касается нашей истории, культуры, традиций, то есть тех данных, которых нет на других языках, которые можно просто перевести. Поэтому через такой инструмент мы помогаем не только нашим пользователям на казахском языке, но и другим пользователям, которые на любых других языках могут интересоваться нашей историей, культурой и традициями», – отметил он.

Точность распознавания казахской речи достигла 98%

Еще одним направлением проекта стала работа с аудиоданными. На сегодняшний день их объем составляет 12 тыс. часов.

«Когда мы начинали системную работу над искусственным интеллектом, перед нами встал принципиальный вопрос: на каком языке должен «думать» наш ИИ? Готовые зарубежные модели неплохо работают с английским и русским, но качественно понимать казахский язык – особенно его деловой, юридический, технический пласт – они не умеют. А без этого любая цифровая трансформация рискует оставить казахский язык на периферии: языком быта, но не языком технологий и государственного управления. Поэтому мы для себя решили – казахский язык должен быть полноценной, естественной средой работы искусственного интеллекта, – отметил глава АО «Казахтелеком» Багдат Мусин.

Как защищают персональные данные

Отдельным направлением стала безопасность собранной информации. Для этого специалисты разработали модель, которая автоматически выявляет и удаляет персональные данные.

По данным организаторов, персональная информация была удалена из текстового корпуса объемом более 14 млрд токенов и 12 тыс. часов аудиоданных.

Кроме того, разрабатываются инструменты Document AI и NLP (обработки естественного языка) для казахского языка. В их числе – OCR-система для высокоточного распознавания текстов на казахском языке, инструменты для определения структуры газет, книг и PDF-документов, корректного распознавания последовательности текста на многостолбцовых страницах, а также механизмы токенизации, NER (распознавания именованных сущностей) и очистки данных.

Как отметили организаторы, эти технологии позволят оцифровывать архивные материалы и учебники, а также повысить качество поиска и обработки цифрового контента на казахском языке.

Искусственный интеллект проверяют на знание казахской культуры

В рамках проекта также разработана отдельная система AI Evaluation Benchmark Suite, которая позволяет оценить знания больших языковых моделей об истории, традициях и культуре казахского народа.

ИИ оценивают по пониманию текста, грамматике, естественности речи, использованию пословиц и устойчивых выражений, академическому и художественному переводу, безопасности и знанию этнографии.

Важно, что систему не переводили с английского языка – ее изначально разработали на казахском с учетом языковых и культурных особенностей.

Кроме того, разработан полноценный бенчмарк, включающий 500 вопросов об истории, традициях и культуре казахского народа. В дальнейшем его планируют открыть для научного сообщества, чтобы инструмент можно было использовать для оценки разных языковых моделей.

Пользователей призвали участвовать в развитии казахского языка

В Международном обществе «Қазақ тілі» отмечают, что работа не заканчивается созданием большой базы данных. Текстовый и аудиокорпусы продолжат расширять, одновременно повышая качество материалов.

«Мы призываем всех, кто неравнодушен, присоединиться, пользоваться ChatGPT на казахском языке. Если видите какие-то недочеты, сообщать об этом самой системе. Хорошо, что они могут обучаться постоянно, развиваться, и мы можем делать это все вместе», – сказал он.

В мероприятии приняли участие президент Международного общества «Қазақ тілі» Рауан Кенжеханулы, председатель Правления АО «Казахтелеком» Багдат Мусин, учредители Общества и члены Центрального совета, IT-эксперты и специалисты в области языка.