Казахстанский стартап разрабатывает ИИ-приложение для многоязычной речи

Пока мировые технологические гиганты создают универсальные модели искусственного интеллекта, в Казахстане разрабатывают решение для задачи, с которой ежедневно сталкиваются миллионы жителей многоязычных стран. Стартап DANA.AI создает систему распознавания смешанной речи, способную понимать человека даже тогда, когда он свободно переключается между казахским, русским, английским и другими языками внутри одного предложения. Подробнее читайте в обзорном материале BAQ.KZ.

Искусственный интеллект давно перестал быть технологией будущего. Сегодня он помогает врачам ставить диагнозы, банкам предотвращать мошенничество, государственным сервисам отвечать на обращения граждан, а бизнесу автоматизировать тысячи процессов. Казахстан также активно включился в мировую гонку технологий. Государство делает ставку на развитие цифровой экономики, поддержку стартапов и подготовку специалистов в сфере искусственного интеллекта.

По данным Министерства искусственного интеллекта и цифрового развития, только с начала 2025 года казахстанцы получили более 51 миллиона государственных услуг в электронном формате, число пользователей eGov превысило 15 миллионов человек, а в экосистеме Astana Hub сегодня работают свыше двух тысяч технологических компаний. Экспорт отечественных IT-услуг уже достиг миллиарда долларов, а количество AI-стартапов продолжает расти. Более того, венчурные инвестиции в проекты, связанные с искусственным интеллектом, за последние два года увеличились более чем в пять раз. (Госуслуги)

Однако за красивыми цифрами скрывается проблема, о которой редко говорят. Большинство популярных голосовых ассистентов и сервисов распознавания речи создавались для высокоресурсных языков — английского, французского, испанского, китайского. Для казахского языка подобных решений значительно меньше, а если человек использует сразу несколько языков в одном разговоре, вероятность ошибки возрастает в разы.

Именно эту проблему решила взять за основу своего проекта казахстанский компьютерный лингвист и предприниматель Камшат Садвокасова, основатель стартапа DANA.AI.

Ее путь в искусственный интеллект начался вовсе не с программирования.

По первому образованию Камшат — профессиональный переводчик английского, турецкого, казахского и русского языков. Еще в школьные годы она мечтала стать синхронным переводчиком Организации Объединенных Наций, путешествовать по миру и работать на международных переговорах.

Эту мечту она последовательно воплощала в жизнь. После окончания Университета имени Сулеймана Демиреля получила степень магистра по устному переводу в University College London по международной программе «Болашак». Затем многие годы работала переводчиком в нефтегазовой отрасли, строительстве и медицине, занимаясь профессиональным переводом с английского языка на казахский.

Но именно во время обучения в Великобритании произошло событие, которое полностью изменило ее профессиональную траекторию.

«Я начала посещать занятия клуба UCL Tech Society. Именно там впервые познакомилась с обработкой естественного языка — направлением, которое объединяет программирование и лингвистику. В тот момент я поняла, что могу использовать не только знания языков, но и технологии, чтобы создавать новые решения», — вспоминает Камшат Садвокасова.

Осознав, что будущее языковых технологий находится на стыке лингвистики и искусственного интеллекта, она решила получить второе высшее образование уже в сфере программирования. Следующим этапом стала учеба в Университете Нархоз, а затем — вторая магистратура по престижной программе Erasmus Mundus в Бельгии, где она углубленно изучала машинное обучение, обработку естественного языка (NLP) и современные методы создания интеллектуальных языковых моделей.

Сегодня Камшат совмещает работу старшего компьютерного лингвиста с развитием собственного технологического стартапа.

Идея DANA.AI родилась не в лаборатории и не в офисе крупной IT-компании. Поводом стала вполне бытовая ситуация.

В 2023 году, проходя обучение по программе Tech Orda и летнюю школу машинного обучения OxML при Оксфордском университете, Камшат ежедневно пользовалась голосовым помощником Siri. Рабочие проекты были связаны сразу с несколькими странами и часовыми поясами, поэтому голосовой ввод экономил время. Однако возникла проблема: ассистент регулярно ошибался.

Причина оказалась простой. В обычной жизни Камшат свободно переключается между несколькими языками. Казахские предложения могут дополняться английскими профессиональными терминами, русскими словами или турецкими выражениями. Для большинства жителей Казахстана подобная речь абсолютно естественна. Однако существующие системы автоматического распознавания речи воспринимают ее как ошибку.

«Я поняла, что практически никто вокруг не говорит исключительно на одном языке. Мы постоянно смешиваем казахский, русский, английский, иногда турецкий. Для человека это естественно. Для большинства голосовых ассистентов — настоящая катастрофа», — рассказывает основатель DANA.AI.

В научной среде такое явление называется code-switching — переключение между несколькими языками внутри одного разговора или даже одного предложения. Для людей это привычная часть коммуникации, особенно в многоязычных странах. Для искусственного интеллекта — одна из самых сложных задач современной компьютерной лингвистики.

Именно тогда появилась идея создать систему, которая будет понимать речь не такой, какой ее представляют разработчики, а такой, какой люди действительно разговаривают каждый день.

Когда данных недостаточно

Главное препятствие, с которым сталкиваются разработчики языковых моделей для казахского языка, — нехватка качественных данных. Современные системы искусственного интеллекта обучаются на огромных массивах текстов и голосовых записей. Если для английского, китайского или испанского существуют тысячи часов размеченной речи и миллиарды текстовых примеров, то для казахского языка объем подобных данных значительно меньше. Еще сложнее обстоят дела со смешанной речью, где человек свободно переходит с одного языка на другой.

Именно поэтому одной из ключевых задач DANA.AI стало создание собственной языковой инфраструктуры.

Для обучения моделей команда использует открытые наборы данных, включая материалы Института умных систем и искусственного интеллекта (ISSAI) Назарбаев Университета, а также международный проект Mozilla Common Voice, где добровольцы записывают речь на разных языках мира. Однако, как отмечает Камшат, этого недостаточно для создания действительно качественной системы распознавания смешанной речи.

«Нам нужны не просто записи на казахском или русском языке. Необходима именно живая разговорная речь, когда человек естественно переключается между языками. Такие данные практически невозможно найти в открытом доступе», — объясняет она.

На первый взгляд кажется, что подобного материала в интернете предостаточно. Действительно, миллионы пользователей ежедневно публикуют видео в TikTok, Instagram, YouTube, где разговаривают именно так — смешивая языки в одной фразе. Но использовать эти записи для обучения искусственного интеллекта разработчики не могут.

Причина — требования законодательства и правила конфиденциальности. Записи пользователей защищены авторским правом и политикой обработки персональных данных. Поэтому единственный законный путь — самостоятельно собирать голосовые записи, получать согласие участников, расшифровывать, переводить и размечать каждый фрагмент.

Такой процесс требует не только времени, но и серьезных финансовых затрат.

По словам Камшат, команда уже записывает собственные примеры смешанной речи, синтезирует различные сценарии общения и постепенно расширяет коллекцию голосовых данных. Более того, помочь проекту сегодня может любой желающий, записав несколько предложений для международной платформы Mozilla Common Voice. Чем больше подобных записей появляется в открытом доступе, тем лучше становятся модели искусственного интеллекта для малоресурсных языков.

Но DANA.AI развивается значительно шире, чем обычный голосовой помощник.

Параллельно команда занимается созданием собственного параллельного корпуса казахского языка — масштабной базы данных, где предложения представлены сразу на нескольких языках: казахском, русском и английском. Подобные корпуса используются во всем мире для обучения систем машинного перевода, голосовых помощников и больших языковых моделей.

По сути, речь идет о создании фундаментальной инфраструктуры, которой до сих пор не хватало казахстанской экосистеме искусственного интеллекта.

Почему мировые технологии не всегда понимают Казахстан

Может показаться, что проблему смешанной речи давно могли решить крупнейшие мировые корпорации — Google, Microsoft или OpenAI. Однако на практике ситуация значительно сложнее.

Глобальные компании разрабатывают универсальные модели, которые должны одинаково эффективно работать сразу с сотнями языков и миллиардами пользователей. В такой системе казахский язык — лишь один из множества, а сочетание казахского, русского и английского внутри одной фразы остается слишком узкой задачей, чтобы стать приоритетом.

«Для крупных компаний создание отдельного корпуса казахско-русской смешанной речи экономически нецелесообразно. Для нас же именно это и является основным продуктом», — говорит Камшат.

Еще одна особенность заключается в архитектуре многих современных голосовых сервисов. Во многих случаях обработка речи происходит через английский язык как промежуточное звено. Сначала система переводит запрос пользователя на английский, затем анализирует его и только после этого формирует ответ, который снова переводится на язык пользователя.

При работе с казахским языком такой подход приводит к дополнительным потерям смысла. Особенно это заметно в разговорной речи, где присутствуют идиомы, культурные особенности и постоянное переключение между языками.

В DANA.AI делают ставку на прямую обработку речи без промежуточного перевода. Это позволяет сохранить контекст высказывания и точнее интерпретировать смысл сказанного.

От идеи к продукту

Сегодня DANA.AI уже вышла за рамки исследовательского проекта. У команды есть работающий прототип, который проходит тестирование в реальных сценариях использования.

Параллельно разработчики добавляют новые языковые пары, изучают особенности смешанной речи в других странах и ведут переговоры с потенциальными партнерами.

Любопытно, что эксперименты показывают интересную закономерность: например, сочетание английского и испанского языков распознается значительно лучше, чем казахского и русского. Причина проста — для английского и испанского существуют огромные массивы обучающих данных, накопленные за многие годы. Именно поэтому качество моделей напрямую зависит не столько от алгоритмов, сколько от доступности языковых ресурсов.

Именно этот вывод, по словам основательницы стартапа, подтверждает необходимость создания собственных казахстанских корпусов данных, которые смогут использовать не только разработчики DANA.AI, но и исследователи, университеты и другие технологические компании.

Искусственный интеллект требует не только идей, но и больших ресурсов

Несмотря на технологическую сложность проекта, его история началась как инициатива энтузиастов. Первоначально DANA.AI создавался в рамках хакатона как возможность применить знания в области машинного обучения на практике. Однако со временем стало очевидно, что разработка может решить реальную проблему, с которой ежедневно сталкиваются миллионы людей в многоязычных странах.

Сегодня команда рассматривает проект как полноценный технологический бизнес.

Основной моделью монетизации станет предоставление API-доступа компаниям, которым необходимо качественное распознавание речи клиентов. Потенциальными заказчиками могут стать банки, контакт-центры, телекоммуникационные компании, медицинские организации, государственные сервисы и цифровые платформы, работающие с населением Казахстана.

Практически каждый оператор контакт-центра сталкивался с ситуацией, когда клиент в одном предложении использует казахский, русский и английские термины. Для большинства существующих систем автоматического распознавания речи подобные разговоры становятся серьезным испытанием. Ошибки на этапе распознавания неизбежно приводят к неверной обработке запроса, снижению качества обслуживания и дополнительным затратам бизнеса.

В перспективе разработчики не исключают и появления B2C-продуктов — персонального голосового помощника или умной колонки, ориентированной на пользователей из Казахстана и других многоязычных стран. Однако сейчас основной акцент сделан именно на корпоративном секторе, где спрос на подобные решения уже существует.

При этом создание собственных языковых моделей требует колоссальных вычислительных ресурсов. Если обучение больших языковых моделей уже считается дорогостоящим процессом, то работа с аудиоданными обходится еще дороже. Необходимо не только хранить огромные объемы информации, но и многократно обрабатывать записи, улучшая качество распознавания, синтеза и понимания речи.

«У нас был грант AWS на пять тысяч долларов, который был выделен на улучшение произношения голосового ассистента. Мы максимально оптимизировали обучение, но даже этих средств хватило лишь примерно на десятую часть необходимого объема данных. При этом заметного скачка качества добиться не удалось», — рассказывает Камшат.

По ее словам, именно ограниченность вычислительных ресурсов сегодня остается одной из главных проблем большинства молодых deep-tech-компаний. Чтобы получить более крупные гранты от международных технологических компаний, необходимо продемонстрировать востребованность продукта и первые коммерческие результаты. Но вывести продукт на рынок без достаточных вычислительных мощностей также крайне сложно.

Этот своеобразный замкнутый круг хорошо знаком стартапам, работающим в сфере искусственного интеллекта.

Тем не менее Казахстан постепенно формирует условия для развития подобных проектов. В стране открываются исследовательские лаборатории, университеты запускают образовательные программы по искусственному интеллекту и анализу данных, а государство расширяет меры поддержки инновационного предпринимательства. Эксперты отмечают, что следующий этап цифровой трансформации будет зависеть уже не столько от внедрения готовых зарубежных решений, сколько от появления собственных технологий, учитывающих языковые и культурные особенности региона.

Именно поэтому особую ценность приобретают проекты, ориентированные на развитие казахского языка в цифровой среде. Еще несколько лет назад большинство разработчиков были вынуждены адаптировать зарубежные модели под локальные задачи. Сегодня появляются команды, которые создают собственные датасеты, языковые корпуса и алгоритмы, закладывая основу для независимого развития национальных AI-решений.

История DANA.AI показывает, что конкурентоспособные технологии могут рождаться не только в Кремниевой долине или крупных европейских исследовательских центрах. Иногда отправной точкой становится обычная бытовая ситуация — когда голосовой помощник перестает понимать человека лишь потому, что тот говорит так, как привыкли говорить миллионы жителей Казахстана.

Для самой Камшат этот проект давно перестал быть просто стартапом.

«Хороший продукт невозможно создать только за счет программирования. Нужно понимать язык, культуру, особенности общения людей. Мой опыт переводчика помогает увидеть то, чего зачастую не замечают инженеры. Мы строим не просто очередную языковую модель, а создаем инфраструктуру, которая позволит казахскому языку занять достойное место в эпоху искусственного интеллекта», — подчеркивает она.

Сегодня будущее искусственного интеллекта определяется не только масштабом вычислений или количеством инвестиций. Все большую роль играет способность технологий понимать человека таким, какой он есть, — со всеми особенностями его речи, культуры и мышления. Именно в этом направлении сегодня движется мировая индустрия, и Казахстан постепенно становится ее частью.

Развитие подобных проектов может стать важным шагом на пути к формированию собственной школы языковых технологий. Ведь цифровой суверенитет начинается не только с создания программного обеспечения, но и с умения сохранить язык в цифровом пространстве, сделать его полноценным инструментом общения с современными интеллектуальными системами. И чем больше таких инициатив будет появляться в стране, тем выше вероятность, что в будущем искусственный интеллект будет одинаково свободно понимать человека на любом языке — и даже тогда, когда он использует сразу несколько.