Почему организации переходят от OpenAI к доработанным моделям с открытым исходным кодом - DATAVERSITY

Почему организации переходят от OpenAI к доработанным моделям с открытым исходным кодом – DATAVERSITY

Отметка времени: 24 января 2024 г., 3:25
Исходный узел: 3081727

В быстро развивающейся среде генеративного искусственного интеллекта OpenAI произвел революцию в том, как разработчики создают прототипы, создают демо-версии и достигают замечательных результатов с помощью большие языковые модели (LLM). Однако, когда приходит время запускать LLM в производство, организации все чаще отходят от коммерческих LLM, таких как OpenAI, в пользу точно настроенных моделей с открытым исходным кодом. Что движет этим сдвигом и почему разработчики его принимают?

Основные мотивы просты: 1. эффективность и 2. избежание привязки к поставщику при одновременной защите интеллектуальной собственности, связанной как с данными, так и с моделями. Модели с открытым исходным кодом, такие как Llama2 и Mistral, теперь соответствуют, а в некоторых случаях даже превосходят коммерческие LLM по производительности, но при этом имеют значительно меньший размер. Переход к моделям с открытым исходным кодом не только обеспечивает существенную экономию средств, но также предоставляет разработчикам больший контроль над своими моделями.

Защита интеллектуальной собственности и предотвращение привязки к поставщику

Для большинства организаций коммерческие LLM являются черным ящиком, поскольку они не обеспечивают доступ к исходному коду модели или возможность экспорта артефактов модели. Полагаться исключительно на модели «черного ящика», доступные через API, больше не идеально для критически важных и коммерческих приложений. Организации должны подтвердить право собственности на модель и отличить свой продукт от конкурентов, сохраняя при этом свою интеллектуальную собственность на ИИ и данные. Согласно недавнему опросу, проведенному моей компанией, три четверти респондентов не хотели бы использовать коммерческое LLM в производстве. Эти респонденты назвали право собственности, конфиденциальность и стоимость своими основными проблемами.

Обеспечение соответствия требованиям и конфиденциальности остается первостепенным, и разработчики сталкиваются с проблемой проверки защиты данных конечного пользователя от вредоносных объектов при передаче в систему «черного ящика». Более того, зависимость от сторонних платформ вызывает опасения по поводу задержек и соблюдения соглашений об уровне обслуживания коммерческого уровня для коммерческих приложений (SLA). Наконец, бизнес-лидеры все чаще рассматривают ИИ как основу своей интеллектуальной собственности и все чаще рассматривают индивидуальные модели с собственными данными как ключевое отличие, которое отличает их от конкурентов. Проще говоря, предприятия больше не устраивает идея доверить интеллектуальную собственность третьей стороне и стать лишь тонким слоем поверх чужого API.

Специализированные модели: производительность и экономическая эффективность

Модели с открытым исходным кодом, которые когда-то считались недостаточно производительными, претерпели замечательную трансформацию благодаря тонкой настройке и теперь становятся мощными конкурентами. Точно настроенные модели с открытым исходным кодом в настоящее время соответствуют, если не превосходят, коммерческим моделям. уровень производительности, сохраняя при этом существенно меньшую площадь. 

Результаты наших недавних экспериментов: точно настроенные, меньшие по размеру LLM для конкретных задач превосходят альтернативы от коммерческих поставщиков.

Это представляет собой огромную возможность, поскольку производство крупных коммерческих LLM вызвало трудности для многих организаций из-за размера LLM и связанных с этим затрат. Используя точно настроенные модели, разработчики могут добиться отличных результатов, имея дело с моделями, которые на два-три порядка меньше своих коммерческих аналогов и, следовательно, значительно дешевле и быстрее. 

Рассмотрим случай, когда организация использует LLM для обработки сотен тысяч сообщений от рядовых сотрудников. Организация могла бы сократить свои расходы, используя точно настроенную модель, а не крупномасштабное LLM. Возможность достижения замечательных результатов за небольшую часть затрат делает тонкую настройку привлекательным вариантом для организаций, стремящихся оптимизировать свои реализации ИИ.

Заключение

Переход от OpenAI к моделям с открытым исходным кодом представляет собой следующий этап для компаний, стремящихся сохранить право собственности на свою информацию и модели, обеспечить политикой конфиденциальности.и избежать привязки к поставщику. Модели с открытым исходным кодом, поскольку они продолжают развиваться, предлагают привлекательную альтернативу для разработчиков, которые стремятся внедрить ИИ в производственные среды. В эпоху индивидуального искусственного интеллекта специализированные модели не только обеспечивают оптимальную производительность, но и позволяют значительно снизить затраты, указывая на светлое будущее.

Однако остаются проблемы с упрощением и управлением процессом тонкой настройки, созданием надежной производственной инфраструктуры и обеспечением качества, надежности, безопасности и этики приложений ИИ. Для решения этих проблем инновационные платформы предлагают декларативные решения, которые помогают организациям создавать собственные приложения искусственного интеллекта. Предоставляя простые в использовании возможности тонкой настройки и готовую к работе инфраструктуру, эти платформы позволяют организациям раскрыть огромный потенциал моделей с открытым исходным кодом, сохраняя при этом максимальный контроль и достигая оптимальной производительности.

Отметка времени:

Больше от ДАТАВЕРСИЯ