Присоединяйтесь к событию, которым доверяют лидеры предприятия в течение почти двух десятилетий. VB Transform объединяет людей, строящих реальную стратегию ИИ предприятия. Узнать больше
Groq, стартап вывода искусственного интеллекта, делает агрессивную игру, чтобы оспорить устоявшихся облачных провайдеров, таких как Amazon Web Services и Google, с двумя основными объявлениями, которые могут изменить то, как разработчики получают доступ к высокопроизводительным моделям искусственного интеллекта.
В понедельник компания объявила, что теперь она поддерживает языковую модель Alibaba QWEN3 32B с полным окном с 131 000 ток-контекстов-технические возможности, которые она не претендует на то, чтобы ни один другой поставщик быстрого вывода не может соответствовать. Одновременно, Groq стал официальным поставщиком выводов на платформе Hugging Face, потенциально разоблачив свои технологии миллионам разработчиков по всему миру.
Этот шаг является самой смелой попыткой Groq, еще не выработав долю рынка на быстро расширяющемся рынке выводов AI, где такие компании, как AWS Bedrock, Google Vertex AI и Microsoft Azure, доминировали, предлагая удобный доступ к ведущим языковым моделям.
«Интеграция обнимающего лица расширяет экосистему GROQ, предоставляя выбор разработчиков и еще больше снижает барьеры для входа в принятие быстрого и эффективного вывода AI Groq», — сказал представитель Groq VentureBeat. «GROQ — единственный поставщик выводов, который включает в себя полное окно контекста 131K, позволяющее разработчикам создавать приложения в масштабе».
Как претензии в контексте 131K в течение 131 тыс.
Утверждение Грока о контекстных окнах — количество текста, которое модель ИИ может обрабатывать одновременно — наносит удар по основному ограничению, которое преследует практические приложения ИИ. Большинство поставщиков выводов изо всех сил пытаются поддерживать скорость и экономическую эффективность при обработке больших контекстных окон, которые необходимы для таких задач, как анализ целых документов или поддержание длинных разговоров.
Независимая сравнительная фирма искусственный анализ измерен QWEN3 32B в Groq QWEN3 32B, работающем примерно на 535 токенах в секунду, что позволила бы в реальном времени обрабатывать длительные документы или сложные аргументированные задачи. Компания оценивает услугу в размере 0,29 долл. США за миллион входных токенов и 0,59 долл. США на миллион токенов, ставок, которые подорвали многих устоявшихся поставщиков.
«Groq предлагает полностью интегрированный стек, который выводит вывод, который создан для масштаба, что означает, что мы можем продолжать улучшать затраты на вывод, а также обеспечивая производительность, которую разработчики должны создавать реальные решения для искусственного интеллекта», — объяснил представитель, когда его спросили об экономической жизнеспособности поддержки массивных контекстов.
Техническое преимущество связано с архитектурой пользовательской языковой обработки (LPU), разработанной специально для вывода искусственного интеллекта, а не для единиц обработки графики общего назначения (графические процессоры), на которые полагаются большинство конкурентов. Этот специализированный аппаратный подход позволяет GROQ более эффективно обрабатывать интенсивные память, такие как крупные контекстные окна.
Почему интеграция обнимающего лица Groq может разблокировать миллионы новых разработчиков ИИ
Интеграция с обнимающим лицом представляет собой, пожалуй, более значительный долгосрочный стратегический ход. Объятие лица стало де-факто платформой для разработки ИИ с открытым исходным кодом, размещая сотни тысяч моделей и ежемесячно обслуживая миллионы разработчиков. Став официальным поставщиком выводов, GROQ получает доступ к этой обширной экосистеме разработчика с оптимизированным выставлением счетов и единого доступа.
Разработчики теперь могут выбрать Groq в качестве поставщика непосредственно в игровой площадке для обнимающего лица или API, с использованием, выставленными в их учетных записях об объятиях. Интеграция поддерживает ряд популярных моделей, включая сериал Meta’s Llama, Google Gemma Models и недавно добавленный QWEN3 32B.
«Это сотрудничество между обнимающим лицом и Groq является значительным шагом вперед в том, чтобы сделать высокоэффективный вывод AI более доступным и эффективным»,-говорится в совместном заявлении.
Партнерство может значительно увеличить пользовательскую базу и объем транзакций GROQ, но также поднимает вопросы о способности компании поддерживать производительность в масштабе.
Инфраструктура Can Groq конкурирует с AWS Bedrock и Google Vertex AI в масштабе
Нажали о планах расширения инфраструктуры по обработке потенциально значительного нового трафика от обнимающего лица, представитель GROQ раскрыл текущий глобальный след компании: «В настоящее время глобальная инфраструктура GROQ включает в себя местоположения центров обработки данных по всей территории США, Канады и Ближний Восток, которые обслуживают более 20 метров токена в секунду».
Компания планирует продолжить международное расширение, хотя конкретные детали не были предоставлены. Эти глобальные усилия по масштабированию будут иметь решающее значение, поскольку GROQ сталкивается с повышением давления со стороны хорошо финансируемых конкурентов с более глубокими инфраструктурными ресурсами.
Например, сервис Amazon Bedrock использует массовую глобальную облачную инфраструктуру AWS, в то время как Google Vertex Ai получает выгоду от всемирной сети центров обработки данных поиска. Услуга Microsoft Azure Openai имеет также глубокую инфраструктуру.
Тем не менее, представитель Groq выразил уверенность в дифференцированном подходе компании: «Как отрасль, мы только начинаем видеть начало реального спроса на вычет выводов. Даже если Groq будет развернуть вдвое больше запланированного количества инфраструктуры в этом году, все еще не будет достаточной способностью, чтобы удовлетворить спрос сегодня».
Насколько агрессивные цены на выводы ИИ могут повлиять на бизнес -модель Groq
Рынок выводов ИИ характеризуется агрессивными ценообразованными ценообразованием и тонкими краями в бритвах, поскольку поставщики конкурируют за долю рынка. Конкурентное ценообразование Groq поднимает вопросы о долгосрочной прибыльности, особенно с учетом капиталоемкого характера специализированной разработки и развертывания аппаратного обеспечения.
«Поскольку мы видим больше новых решений для искусственного интеллекта на рынок и применяются, потребность в выводе будет продолжать расти по экспоненциальной ставке», — сказал представитель, когда его спросили о пути к прибыльности. «Наша конечная цель состоит в том, чтобы масштабироваться в соответствии с этим спросом, используя нашу инфраструктуру, чтобы привести к выводу вывода как можно более низкой, и обеспечивая будущую экономику ИИ».
Эта стратегия — ставки на массовый рост объема для достижения прибыльности, несмотря на низкую маржу — отражает подходы, принятые другими поставщиками инфраструктуры, хотя успех далеко не гарантирован.
Что означает принятие AI Enterprise для рынка вывода в 154 миллиарда долларов
Объявления становятся на рынке с выводами искусственного интеллекта, который испытывает взрывной рост. Исследовательская компания Grand View Research к 2030 году к 2030 году на мировом рынке чипов вывода с выводом искусственного интеллекта достигнет 154,9 млрд. Долл. США, что обусловлено увеличением развертывания приложений для ИИ в разных отраслях.
Для лиц, принимающих решения предприятия, шаги Groq представляют как возможность, так и риск. Претензии компании о эффективности компании, если они подтверждены в масштабе, могут значительно снизить затраты на AI-тяжелые приложения. Тем не менее, полагаться на меньшего поставщика также вводит потенциальные риски цепочки поставок и непрерывности по сравнению с установленными облачными гигантами.
Технические возможности обработки полного контекста Windows могут оказаться особенно ценными для предпринимаемых приложений, включающих анализ документов, юридические исследования или сложные задачи рассуждений, где поддержание контекста в разных взаимодействиях имеет решающее значение.
Двойное объявление Groq представляет собой рассчитанную азартную игру, которая специализировала аппаратное обеспечение и агрессивные цены, могут преодолеть преимущества инфраструктуры технических гигантов. Будет ли эта стратегия преуспеть, вероятно, будет зависеть от способности компании поддерживать преимущества производительности при масштабировании во всем мире — задача, которая оказалась трудной для многих стартапов инфраструктуры.
На данный момент разработчики получают еще один высокопроизводительный вариант на все более конкурентном рынке, в то время как предприятия следят за тем, приводят ли технические обещания Groq в надежный, производственный сервис в масштабе.
Источник
