LLM만으로는 회사의 예측 요구 사항을 해결할 수 없는 이유 - KDnuggets

플라톤에 의해 재발행

팔로워 : 0

스폰서 내용

ChatGPT 및 LLM(대형 언어 모델)을 기반으로 하는 유사한 도구는 놀랍습니다. 그러나 그것들은 다목적 도구가 아닙니다.

이는 구축 및 생성을 위해 다른 도구를 선택하는 것과 같습니다. 해당 작업에 적합한 것을 선택해야 합니다. 망치로 볼트를 조이거나 거품기로 햄버거 패티를 뒤집으려고 하지 않을 것입니다. 그 과정이 어색해서 지저분한 실패를 초래할 것입니다.

LLM과 같은 언어 모델은 생성 AI와 예측 AI를 모두 포괄하는 광범위한 기계 학습 툴킷의 일부일 뿐입니다. 작업 요구 사항에 맞게 올바른 유형의 기계 학습 모델을 선택하는 것이 중요합니다.

LLM이 비즈니스의 가장 중요한 예측 모델링 작업을 처리하는 것보다 텍스트 초안을 작성하거나 선물 아이디어를 브레인스토밍하는 데 더 적합한 이유를 자세히 살펴보겠습니다. LLM 이전에 사용되었으며 비즈니스에서 그 가치가 반복적으로 입증된 "전통적인" 기계 학습 모델에는 여전히 중요한 역할이 있습니다. 또한 이러한 도구를 함께 사용하기 위한 선구적인 접근 방식을 탐색할 것입니다. 이는 Pecan이 부르는 흥미로운 개발입니다. 예측 GenAI.

LLM은 숫자가 아닌 단어를 위해 설계되었습니다.

기계 학습에서는 데이터 분석가나 데이터 과학자가 해결하고자 하는 문제를 나타내는 초기 데이터 세트인 "훈련 데이터"를 분석하기 위해 다양한 수학적 방법이 사용됩니다.

훈련 데이터의 중요성은 아무리 강조해도 지나치지 않습니다. 여기에는 기계 학습 모델이 나중에 새로운, 보이지 않는 데이터가 제공될 때 결과를 예측하기 위해 "학습"할 패턴과 관계가 포함되어 있습니다.

그렇다면 LLM이란 구체적으로 무엇인가요? 대규모 언어 모델(LLM)은 기계 학습의 범위에 속합니다. 이는 딥러닝에서 유래되었으며, 그 구조는 자연어 처리를 위해 특별히 개발되었습니다.

당신은 그것이 단어의 기초 위에 세워졌다고 말할 수 있습니다. 그들의 목표는 단순히 일련의 단어 중에서 어떤 단어가 다음 단어가 될지 예측하는 것입니다. 예를 들어, iOS 17의 iPhone 자동 수정 기능은 이제 LLM을 사용하여 다음에 입력할 가능성이 가장 높은 단어를 더 잘 예측합니다.

LLM과 기존 기계 학습의 강점

이제 당신이 기계 학습 모델이라고 상상해 보세요. (참아주십시오. 무리한 일이라는 것을 알고 있습니다.) 당신은 단어를 예측하도록 훈련받았습니다. 당신은 모든 종류의 주제에 관해 광범위한 출처에서 수백만 개의 단어를 읽고 연구했습니다. 귀하의 멘토(일명 개발자)는 단어를 예측하고 사용자의 요청에 맞는 새로운 텍스트를 만드는 최선의 방법을 배우도록 도와왔습니다.

하지만 여기에 반전이 있습니다. 이제 사용자가 수백만 행의 숫자로 구성된 대규모 고객 및 거래 데이터 스프레드시트를 제공하고 이 기존 데이터와 관련된 숫자를 예측하도록 요청합니다.

당신의 예측이 어떻게 나올 것이라고 생각하시나요? 첫째, 당신은 아마도 이 작업이 당신이 열심히 공부한 것과 일치하지 않는다는 사실에 짜증을 낼 것입니다. (다행히도 우리가 아는 한 LLM에는 아직 감정이 없습니다.) 더 중요한 것은 배운 것과 일치하지 않는 작업을 수행하라는 요청을 받고 있다는 것입니다. 그리고 당신은 아마도 그렇게 잘 수행하지 못할 것입니다.

훈련과 작업 사이의 격차는 LLM이 대부분의 기업에서 수집하는 기본 데이터 형식인 숫자, 표 형식 데이터와 관련된 예측 작업에 적합하지 않은 이유를 설명하는 데 도움이 됩니다. 대신, 이러한 유형의 데이터를 처리하기 위해 특별히 제작되고 미세 조정된 기계 학습 모델이 더 효과적입니다. 말 그대로 이를 위해 훈련되었습니다.

LLM의 효율성 및 최적화 과제

수치 데이터와 더 잘 일치할 뿐만 아니라, 전통적인 기계 학습 방법은 LLM보다 더 나은 성능을 위해 훨씬 더 효율적이고 최적화하기 쉽습니다.

LLM을 가장한 경험으로 돌아가 보겠습니다. 그 모든 단어를 읽고 그 스타일과 순서를 연구하는 것은 엄청난 일처럼 들리죠, 그렇죠? 그 모든 정보를 내면화하려면 많은 노력이 필요할 것입니다.

마찬가지로 LLM의 복잡한 교육으로 인해 수십억 개의 매개변수가 포함된 모델이 생성될 수 있습니다. 이러한 복잡성으로 인해 이러한 모델은 인간 언어의 까다로운 뉘앙스를 이해하고 대응할 수 있습니다. 그러나 고강도 교육에는 LLM이 응답을 생성할 때 강력한 컴퓨팅 요구가 수반됩니다. 의사 결정 트리나 신경망과 같은 수치 중심의 "전통적인" 기계 학습 알고리즘에는 훨씬 적은 컴퓨팅 리소스가 필요할 가능성이 높습니다. 그리고 이것은 "더 클수록 좋다"는 경우가 아닙니다. LLM이 수치 데이터를 처리할 수 있더라도 이러한 차이는 기존 기계 학습 방법이 여전히 더 빠르고 효율적이며 환경적으로 지속 가능하고 비용 효율적이라는 것을 의미합니다.

또한 ChatGPT에 특정 응답을 제공하는 방법을 물어본 적이 있습니까? 대답은 다소 모호할 수 있습니다.

저는 라이선스가 부여된 데이터, 인간 트레이너가 생성한 데이터 및 공개적으로 사용 가능한 데이터를 혼합하여 응답을 생성합니다. 또한 나의 훈련에는 인간 언어에 대한 광범위한 이해를 발전시키기 위해 책, 웹사이트, 기타 텍스트를 포함한 다양한 소스에서 얻은 대규모 데이터 세트가 포함되었습니다. 훈련 프로세스에는 몇 주 또는 몇 달에 걸쳐 수천 개의 GPU에서 계산을 실행하는 작업이 포함되지만, 정확한 세부 정보와 기간은 OpenAI의 독점입니다.

해당 응답에 반영된 "지식" 중 얼마나 많은 부분이 인간 트레이너, 공개 데이터, 책에서 나왔습니까? ChatGPT 자체도 확실하지 않습니다. "이러한 소스의 상대적 비율은 알 수 없으며 어떤 특정 문서가 내 교육 세트의 일부인지 자세히 볼 수 없습니다."

ChatGPT가 귀하의 질문에 대해 그렇게 확신에 찬 답변을 제공하지만 특정 소스에 대한 답변을 추적할 수 없다는 것은 다소 불안합니다. LLM의 제한된 해석 가능성과 설명 가능성은 특정 비즈니스 요구에 맞게 LLM을 최적화하는 데에도 어려움을 겪습니다. 그들의 정보나 예측의 근거를 이해하는 것은 어려울 수 있습니다. 상황을 더욱 복잡하게 만드는 것은 특정 기업이 모델 예측에 영향을 미치는 요인을 설명할 수 있어야 한다는 규제 요구 사항에 맞서 싸우고 있다는 것입니다. 전체적으로 이러한 과제는 일반적으로 더 해석하기 쉽고 설명하기 쉬운 기존 기계 학습 모델이 비즈니스 사용 사례에 더 적합할 가능성이 높다는 것을 보여줍니다.

기업의 예측 툴킷에서 LLM을 위한 올바른 위치

그렇다면 LLM을 단어 관련 작업에 맡기고 예측 사용 사례에서는 잊어버려야 할까요? 결국 고객 이탈이나 고객 평생 가치를 예측하는 데 도움을 줄 수 없는 것처럼 보일 수도 있습니다.

문제는 다음과 같습니다. "전통적인 기계 학습 모델"이라고 하면 이러한 기술이 널리 이해되고 사용하기 쉬운 것처럼 들리지만, 우리는 Pecan에서의 경험을 통해 기업이 여전히 이러한 보다 친숙한 형태의 AI를 채택하는 데 어려움을 겪고 있다는 것을 알고 있습니다.

북미 기업의 42%는 AI 사용을 전혀 시작하지 않았거나 이제 막 옵션에 대한 연구를 시작했습니다.

Workday의 최근 조사에 따르면 북미 기업의 42%가 아직 AI 사용을 시작하지 않았거나 옵션을 탐색하는 초기 단계에 있는 것으로 나타났습니다. 기업이 머신러닝 도구에 더 쉽게 접근할 수 있게 된 지 XNUMX년이 넘었습니다. 시간이 있었고 다양한 도구를 사용할 수 있었습니다.

어떤 이유에서든 데이터 과학과 AI에 대한 엄청난 관심과 상당한 비즈니스 영향에 대한 잠재력이 인정됨에도 불구하고 성공적인 AI 구현은 놀랍게도 드물었습니다. AI가 약속한 것과 AI를 생산적으로 구현하는 능력 사이의 격차를 해소하는 데 도움이 되는 몇 가지 중요한 메커니즘이 누락되어 있습니다.

이것이 바로 우리가 LLM이 이제 중요한 연결 역할을 할 수 있다고 믿는 지점입니다. LLM은 비즈니스 사용자가 해결해야 할 비즈니스 문제를 식별하는 것과 예측 모델을 개발하는 것 사이의 틈을 건너는 데 도움을 줄 수 있습니다.

이제 LLM이 등장하면서 기계 학습 모델을 직접 코딩할 능력이나 역량이 없는 비즈니스 및 데이터 팀은 이제 요구 사항을 모델로 더 잘 변환할 수 있습니다. 부모들이 말하길 좋아하는 것처럼 아이들은 모델링 과정을 시작하기 위해 "자신의 말을 사용"할 수 있습니다.

비즈니스 데이터에 탁월한 성능을 발휘하도록 구축된 기계 학습 기술과 LLM의 융합

이러한 기능은 이제 LLM의 강점을 이미 고도로 정교하고 자동화된 기계 학습 플랫폼과 융합하는 Pecan의 Predictive GenAI에 적용되었습니다. LLM 기반 예측 채팅은 비즈니스 사용자로부터 입력을 수집하여 사용자가 모델을 통해 해결하려는 특정 문제인 예측 질문의 정의 및 개발을 안내합니다.

그런 다음 GenAI를 사용하여 우리 플랫폼은 예측 노트북을 생성하여 모델링을 향한 다음 단계를 더욱 쉽게 만듭니다. 다시 말하지만, LLM 기능을 활용하여 노트북에는 예측 모델에 대한 교육 데이터를 선택하기 위한 미리 채워진 SQL 쿼리가 포함되어 있습니다. Pecan의 자동화된 데이터 준비, 기능 엔지니어링, 모델 구축 및 배포 기능은 나머지 프로세스를 기록적인 시간 내에 다른 예측 모델링 솔루션보다 빠르게 수행할 수 있습니다.

간단히 말해서, Pecan의 Predictive GenAI는 LLM의 탁월한 언어 기술을 사용하여 비즈니스 사용자가 동급 최고의 예측 모델링 플랫폼에 훨씬 더 쉽게 접근하고 친숙하게 만들 수 있도록 해줍니다. 우리는 이러한 접근 방식이 더 많은 기업이 AI로 성공하는 데 어떻게 도움이 될지 기대하고 있습니다.

따라서 LLM을 취득하는 동안 혼자 모든 예측 요구 사항을 처리하는 데는 적합하지 않지만 AI 프로젝트를 발전시키는 데 강력한 역할을 할 수 있습니다. 사용 사례를 해석하고 자동으로 생성된 SQL 코드로 유리한 출발을 제공함으로써 Pecan의 Predictive GenAI는 이러한 기술을 통합하는 데 앞장서고 있습니다. 당신은 할 수 있습니다 지금 무료 체험판으로 확인해 보세요.