Хотите более умное понимание в вашем почтовом ящике? Подпишитесь на наши еженедельные информационные бюллетени, чтобы получить только то, что имеет значение для искусственного интеллекта предприятия, данных и лидеров безопасности. Подписаться сейчас
Liquid AI, стартап, сформированный бывшими исследователями Массачусетского технологического института (MIT) для разработки новых модельных архитектур ИИ помимо широко используемых «Трансформеров», сегодня объявил о выпуске ПРЫГНУТЬ AKA «Liquid Edge Ai Platform», кроссплатформенного набора для разработки программного обеспечения (SDK), разработанного для того, чтобы разработчикам было легче интегрировать модели малых языков (SLM) непосредственно в мобильные приложения.
Наряду с прыжком, компания также представила Аполлонкомпаньон приложение для iOS для тестирования этих моделей на местном уровне, что способствует предоставлению миссии Liquid AI, обеспечивающей эффективное ИИ, обеспечивающее конфиденциальность, на оборудовании потребителя.
Leap SDK прибывает в то время, когда многие разработчики ищут альтернативы услугам только облачного искусственного интеллекта из-за опасений по поводу задержки, стоимости, конфиденциальности и доступности в автономном режиме.
LEAP удовлетворяет эти потребности в лодке с местным подходом, который Позволяет небольшим моделям работать непосредственно на устройствеуменьшение зависимости от облачной инфраструктуры.
Создан для мобильных разработчиков без предварительного опыта ML
LEAP предназначен для разработчиков, которые хотят построить с помощью ИИ, но, возможно, не обладают глубоким опытом в области машинного обучения.
Согласно Liquid AI, SDK может быть добавлен в проект iOS или Android с несколькими линиями кода, а призвание вызовы локальной модели предназначено для того, чтобы чувствовать себя так же знакомо, как взаимодействие с традиционным облачным API.
«Наше исследование показывает, что разработчики выходят за рамки искусственного интеллекта только для облака и ищут доверенных партнеров, которые помогут им построить настройки»,-сказал Рамин Хасани, соучредитель и генеральный директор Liquid AI, в сообщении в блоге, объявляющем о новостях сегодня на веб-сайте Liquid. «Leap-это наш ответ-гибкая, сквозной платформы развертывания, созданная с нуля, чтобы сделать мощный, эффективный и частный EAI по-настоящему доступным».
После интеграции разработчики могут выбрать модель из встроенной библиотеки моделей скачков, которая включает компактные модели, составляющие 300 МБ-достаточно легкий для современных телефонов, всего лишь 4 ГБ оперативной памяти (!!) и вверх.
SDK обрабатывает локальный вывод, оптимизацию памяти и совместимость устройств, упрощая типичный процесс развертывания краев.
Leap- это OS- и модель-алкоголь по дизайну. При запуске он поддерживает как iOS, так и Android и предлагает совместимость с собственными моделями Liquid AI (LFM) от Liquid AI, а также множеством популярных небольших моделей с открытым исходным кодом.
Цель: объединенная экосистема для Edge AI
Помимо выполнения модели, прыжок позиционирует себя как платформу для всех в одном для обнаружения, адаптации, тестирования и развертывания SLM для использования по краям.
Разработчики могут просмотреть каталог кураторских моделей с различными параметрами квантования и контрольной точки, что позволяет им адаптировать производительность и следы памяти к ограничениям целевого устройства.
Liquid AI подчеркивает, что крупные модели, как правило, являются универсалами, в то время как небольшие модели часто работают лучше всего, когда они оптимизируются для узкого набора задач. Объединенная система Leap структурирована вокруг этого принципа, предлагая инструменты для быстрой итерации и развертывания в реальных мобильных средах.
SDK также поставляется с сообществом разработчиков, организованного на Discord, где Liquid AI предлагает рабочее время, поддержку, мероприятия и соревнования, чтобы поощрять эксперименты и обратную связь.
Аполлон: Как и Testflight для местных моделей искусственного интеллекта
Чтобы дополнить прыжок, Liquid AI также выпустил Аполлонбесплатное приложение для iOS, которое позволяет разработчикам и пользователям взаимодействовать с совместимыми с скачкой в локальной, автономной настройке.
Первоначально отдельный стартап мобильного приложения, который позволял пользователям общаться с LLMS в частном порядке на устройстве, которое Liquid приобрело ранее в этом году, Apollo был восстановлен, чтобы поддержать всю библиотеку модели Leap.
Apollo предназначен для экспериментов с низким содержанием фонариков-разработчики могут «проверить» тонали, задержка или выходное поведение модели на своих телефонах, прежде чем интегрировать его в производственное приложение. Приложение работает полностью в автономном режиме, сохраняя конфиденциальность пользователей и снижает зависимость от Cloud Compute.
Будь то используемый в качестве легкого инструмента Dev или частного помощника искусственного интеллекта, Apollo отражает более широкий толчок жидкого ИИ, чтобы децентрализовать доступ и выполнение искусственного интеллекта.
Построенный на задней части семейства моделей LFM2, объявленного на прошлой неделе
Выпуск выпуска SDK строится на объявлении Liquid AI 10 июля LFM2его семейство модели второго поколения, разработанное специально для рабочих нагрузок на грани.
Модели LFM2 составляют размеры параметров 350 м, 700 м и 1,2B и конкурентно сравнивают с более крупными моделями в скорости и точности в нескольких задачах оценки.
Эти модели формируют основу библиотеки модели прыжков и оптимизированы для быстрого вывода на процессоров, графических процессоров и NPU.
Бесплатно и готовы к разработчикам, чтобы начать строить
LEAP в настоящее время может использоваться в рамках лицензии разработчика, которая включает в себя основную SDK и модельную библиотеку.
Liquid AI отмечает, что в будущем функции премиального предприятия будут доступны по отдельной коммерческой лицензии, но что он уже получает запросы от корпоративных клиентов уже через контактную форму веб -сайта.
Модели LFM2 также бесплатны для академического использования и коммерческого использования компаниями с доходами менее 10 миллионов долларов, а более крупные организации должны связаться с компанией для лицензирования.
Разработчики могут начать с посещения веб -сайта Leap SDK, загрузив Apollo из App Store или присоединившись к сообществу разработчиков Liquid AI по Discord.
Источник
