Рынок ИИ постепенно переходит от восторга к суровой бухгалтерии. Оказывается, чтобы радикально сократить расходы на генерацию, достаточно просто почистить словарь модели. Метод VocabX убирает из расчетов вероятности для десятков тысяч неиспользуемых символов, что снижает стоимость вывода на 77% и сокращает выходной слой со 152 000 до 65 000 строк.
В вопросах интеграции балом правит стандартизация. Команда Forward Deployed Engineering в OpenAI занимается тем, что превращает сложные клиентские проекты в коробочные решения. За счет этого время развертывания систем для новых команд сократилось с двух месяцев до одного дня.
Тем временем Cloudflare скрещивает свои сетевые данные с моделями OpenAI. Результат впечатляет: анализ 234 миллиардов угроз ежедневно и кратное ускорение разработки. Четверо программистов пересобрали продукт за три дня, потратив на токены смешные 1 100 долларов.
Корпоративный сектор тоже не отстает. IBM выпустила три открытые модели Granite Speech 5.0, намеренно разделив их по сценариям использования, чтобы бизнес не жег лишнее электричество. А юридический отдел AT&T автоматизирует сбор фактов с помощью OpenAI, создавая единый корпоративный слой знаний, но предусмотрительно оставляя финальные решения за кожаными мешками.