Microsoft Paza и PazaBench — новый фундамент для распознавания речи малоресурсных языков
Microsoft Research представила инструменты для работы с 39 африканскими языками, меняя подход к обучению и оценке моделей распознавания речи через прямое участие носителей.
Суть события
Подразделение Microsoft Research представило два важных инструмента, направленных на демократизацию речевых технологий: проект Paza и систему оценки PazaBench. Это не просто очередной набор моделей, а полноценная инфраструктура для работы с так называемыми малоресурсными языками (low-resource languages). В центре внимания находятся 39 африканских языков, для которых ранее практически не существовало качественных решений по распознаванию речи.
Главная ценность новости заключается в смещении фокуса с английского и китайского языков на те регионы, где цифровой разрыв ощущается острее всего. PazaBench становится первым масштабным лидером (leaderboard) для оценки качества распознавания речи в этих языковых группах, протестированным на 52 различных моделях. Это попытка создать единый стандарт качества там, где раньше царил хаос или полное отсутствие данных.
Контекст: проблема цифрового неравенства
В современной индустрии искусственного интеллекта существует огромный дисбаланс. Большие языковые модели (LLM) и системы автоматического распознавания речи (ASR) обучаются на гигантских массивах данных из интернета. Однако интернет не репрезентативен: он перенасыщен английским, испанским и китайским контентом, в то время как тысячи других языков представлены слабо или не представлены вовсе.
Для африканских языков, таких как суахили, йоруба или амхарский, существует проблема нехватки размеченных данных. Это приводит к тому, что голосовые помощники, системы диктовки и инструменты перевода работают с ними крайне плохо. До сих пор исследователи пытались решать эту проблему точечно, но индустрии не хватало системного подхода и, что важнее, надежного инструмента для измерения прогресса.
Детали: как работают Paza и PazaBench
Проект разделен на две взаимосвязанные части, каждая из которых решает свою задачу:
