Tensorzero nabs 7,3 млн. Долл. США для решения грязного мира Enterprise LLM Development

Tensorzero, инфраструктура с открытым исходным кодом для стартапов для приложений для крупных языковых моделей, объявила в понедельник, что он собрал 7,3 млн. Долл. США в виде семян, во главе с Firstmark, при этом участие Bessemer Venture Partners, Bedrock, DRW, коалиции и десятками стратегических инвесторов Angel.

Финансирование происходит как 18-месячная компания, которая испытывает взрывной рост в сообществе разработчиков. Репозиторий с открытым исходным кодом Tensorzero недавно достиг «#1-й репозитории недели» в глобальном масштабе на Github, перепрыгнув с примерно 3000 до более чем 9 700 звезд в последние месяцы, поскольку предприятия сталкиваются со сложностью строительных приложений AI, готовых к производству.

«Несмотря на весь шум в отрасли, компаниям, создающим приложения LLM, по -прежнему не хватает правильных инструментов для удовлетворения сложных когнитивных и инфраструктурных потребностей, и прибегают к объединению любых ранних решений на рынке», — сказал Мэтт Турк, генеральный партнер Firstmark, который возглавил инвестиции. «Tensorzero предоставляет производственные, готовые к предприятиям компоненты для строительства приложений LLM, которые изначально работают вместе в цикле самостоятельного усыновления, из коробки».

Бруклинская компания рассматривает растущую болезнь для предприятий, развертывающих приложения ИИ в масштабе. В то время как крупные языковые модели, такие как GPT-5 и Claude, продемонстрировали замечательные возможности, преобразование их в надежные бизнес-приложения требует оркестрации нескольких сложных систем для доступа к модели, мониторинга, оптимизации и экспериментов.

Как исследование ядерного слияния сформировало прорывную платформу оптимизации ИИ

Подход Tensorzero проистекает из соучредителя и нетрадиционного фона в обучении подкрепления для ядерного слияния. Во время своего доктора философии в Карнеги -Меллон Мехта работал над проектами Министерства энергетики, где стоимость сбора данных «как автомобиль на точку данных — 30 000 долларов США за 5 секунд данных», — пояснил он в недавнем интервью VentureBeat.

«Эта проблема приводит к огромной обеспокоенности по поводу того, где сосредоточить наши ограниченные ресурсы», — сказал Мехта. «Мы собирались запустить всего несколько испытаний, поэтому вопрос стал: какое наиболее ценное место мы можем собирать данные?» Этот опыт формировал основную философию Tensorzero: максимизация стоимости каждой точки данных для постоянного улучшения систем ИИ.

Понимание привело Мехту и соучредителя Габриэля Бьянкони, бывшего директора по продукту в Ondo Finance (децентрализованный финансирование с активами более 1 миллиарда долларов в области управления), чтобы переосмыслить приложения LLM в качестве подкрепления проблем обучения, где системы учатся на реальных отзывах.

«Приложения LLM в их более широком контексте похожи на проблемы с подкреплением», — пояснил Мехта. «Вы делаете много вызовов в модель машинного обучения со структурированными входами, получаете структурированные выходы и в конечном итоге получаете некоторую форму вознаграждения или обратной связи. Это выглядит для меня как частично наблюдаемый процесс принятия решений Марков».

Почему предприятия бросают комплексные интеграции поставщиков для объединенной инфраструктуры ИИ

Традиционные подходы к созданию приложений LLM требуют, чтобы компании интегрировали многочисленные специализированные инструменты от разных поставщиков-модельные шлюзы, платформы наблюдения, рамки оценки и услуги точной настройки. Tensorzero объединяет эти возможности в один стек с открытым исходным кодом, предназначенный для беспрепятственной работы вместе.

«Большинство компаний не переживали хлопот, связанные с интеграцией всех этих различных инструментов, и даже те, которые в конечном итоге получили фрагментированные решения, потому что эти инструменты не были разработаны, чтобы хорошо работать друг с другом», — сказал Бьянкони. «Таким образом, мы поняли, что есть возможность построить продукт, который позволяет этому петлю обратной связи в производстве».

Основным инновацией платформы является создание того, что основатели называют «данных и обучением маховика» — петлей обратной связи, которая превращает метрики производства и обратную связь человека в умные, более быстрые и более дешевые модели. Встроенный в Rust для производительности, Tensorzero достигает задержки субмиллисекунды, поддерживая всех крупных поставщиков LLM через унифицированный API.

Основные банки и стартапы искусственного интеллекта уже строят производственные системы на Tensorzero

Подход уже привлек значительный внедрение предприятия. Одним из крупнейших европейских банков является использование Tensorzero для автоматизации генерации кода-изменений, в то время как многочисленные стартапы AI-первого от серии A до стадии серии B интегрировали платформу в различных отраслях, включая здравоохранение, финансы и потребительские приложения.

«Вскоре в усыновлении как сообщества, так и с открытым исходным кодом, было невероятным»,-сказал Бьянкони. «Нам повезло получить вклад от десятков разработчиков по всему миру, и интересно видеть, как Tensorzero уже питает передовые приложения LLM в Frontier Ai Startups и крупных организациях».

Клитерская база компании охватывает организации от стартапов до крупных финансовых учреждений, привлеченных как техническими возможностями, так и природой платформы с открытым исходным кодом. Для предприятий со строгими требованиями соответствия возможность запустить Tensorzero в рамках собственной инфраструктуры обеспечивает решающий контроль над конфиденциальными данными.

Как Tensorzero опережает Langchain и другие структуры искусственного интеллекта по шкале Enterprise

Tensorzero отличается от существующих решений, таких как Langchain и Litellm, благодаря своему сквозному подходу и сосредоточено на развертываниях производственного уровня. В то время как многие рамки преуспевают при быстром прототипировании, они часто попадают в потолки масштабируемости, которые заставляют компании восстанавливать свою инфраструктуру.

«Есть два измерения, о которых нужно подумать», — объяснил Бьянкони. «Во -первых, есть ряд проектов, которые очень хороши, чтобы быстро начать работу, и вы можете очень быстро разместить прототип. Но часто компании выходят на потолок со многими из этих продуктов и необходимо отключить и пойти на что -то еще».

Структурированный подход платформы к сбору данных также обеспечивает более сложные методы оптимизации. В отличие от традиционных инструментов наблюдения, которые хранят необработанные входы и выходы, Tensorzero поддерживает структурированные данные о переменных, которые входят в каждый вывод, что облегчает переподготовку моделей и экспериментируется с различными подходами.

Производительность, способствующая ржавчине, обеспечивает задержку субмиллисекунды со скоростью более 10000 запросов в секунду в секунду

Производительность была ключевым дизайнерским соображением. В тестах, шлюз на основе ржавчины Tensorzero добавляет менее 1 миллисекунды задержки при 99-м процентиле при обработке более 10 000 запросов в секунду. Это выгодно сравнивается с альтернативами на основе Python, такими как Litellm, которые могут добавить на 25-100x больше задержки при гораздо более низких уровнях пропускной способности.

«Litellm (Python) при 100 QPS добавляет 25-100x+ больше задержки P99, чем наш шлюз в 10 000 QP»,-отметили основатели в своем объявлении, подчеркивая преимущества производительности их реализации ржавчины.

Стратегия с открытым исходным кодом, предназначенная для устранения страхов поставщика поставщика искусственного искусства

Tensorzero взяла на себя обязательство сохранить свою основную платформу полностью с открытым исходным кодом, без платных функций-стратегия, предназначенная для создания доверия с корпоративными клиентами, опасающимися блокировки поставщиков. Компания планирует монетизировать управляемый сервис, который автоматизирует более сложные аспекты оптимизации LLM, такие как управление графическими процессорами для индивидуального обучения модели и рекомендаций по упреждающей оптимизации.

«Мы очень рано поняли, что нам нужно было сделать этот открытый исходный код, чтобы дать (предприятиям) уверенность в этом», — сказал Бьянкони. «В будущем, по крайней мере, через год реально, мы вернемся с дополнительной управляемой службой».

Управляемая служба будет сосредоточена на автоматизации вычислительно интенсивных аспектов оптимизации LLM при сохранении ядра с открытым исходным кодом. Это включает в себя обработку инфраструктуры графических процессоров для точной настройки, проведения автоматических экспериментов и предоставление проактивных предложений по повышению производительности модели.

Что будет дальше для компании, изменяя инфраструктуру AI Enterprise AI

Объявление позиционирует Tensorzero на переднем крае растущего движения для решения проблемы «LLMOPS» — оперативная сложность запуска приложений для ИИ в производстве. Как предприятия все чаще рассматривают ИИ как критическую бизнес-инфраструктуру, а не как экспериментальные технологии, спрос на готовые к производству инструменты продолжает ускоряться.

С новым финансированием Tensorzero планирует ускорить развитие своей инфраструктуры с открытым исходным кодом, создавая свою команду. В настоящее время компания нанимает в Нью-Йорке и приветствует взносы с открытым исходным кодом от сообщества разработчиков. Основатели особенно взволнованы разработкой инструментов исследования, которые обеспечат более быстрые эксперименты в разных приложениях ИИ.

«Наше окончательное видение состоит в том, чтобы включить данные и обучение маховику для оптимизации приложений LLM — цикл обратной связи, который превращает метрики производства и обратную связь человека в умные, более быстрые и более дешевые модели и агенты», — сказал Мехта. «По мере того, как модели ИИ становятся умнее и приобретают более сложные рабочие процессы, вы не можете рассуждать о них в вакууме; вы должны сделать это в контексте их реальных последствий».

Быстрый рост GitHub Tensorzero и ранняя тяга предприятия предполагают, что сильные продукты, вписывающиеся в решение одной из самых насущных проблем в современной разработке ИИ. Подход компании с открытым исходным кодом и сосредоточенность на эффективности предприятия может оказаться решающими преимуществами на рынке, где принятие разработчиков часто предшествует продажам предприятия.

Для предприятий все еще изо всех сил пытаются перенести приложения AI от прототипа в производство, унифицированный подход Tensorzero предлагает убедительную альтернативу нынешней лоскутной обработке специализированных инструментов. Как отметил один из отраслевых наблюдателей, разница между созданием демонстраций ИИ и строительством предприятий ИИ часто сводится к инфраструктуре-и Tensorzero делает ставку на то, что объединенная, ориентированная на производительность инфраструктура будет основой, на которой строится следующее поколение компаний искусственного интеллекта.