꼭 읽어야 할 내용: GenAI 개발자를 위한 15가지 필수 AI 논문

플라톤에 의해 재발행

팔로워 : 0

개요

인공 지능(AI) 분야가 지속적으로 성장하고 발전함에 따라 야심 찬 AI 개발자가 최신 연구 및 발전에 대한 최신 정보를 얻는 것이 점점 더 중요해지고 있습니다. 이를 수행하는 가장 좋은 방법 중 하나는 최첨단 기술과 알고리즘에 대한 귀중한 통찰력을 제공하는 GenAI 개발자를 위한 AI 논문을 읽는 것입니다. 이 기사에서는 GenAI 개발자를 위한 15가지 필수 AI 논문을 살펴보겠습니다. 이 논문은 자연어 처리부터 컴퓨터 비전까지 다양한 주제를 다루고 있습니다. AI에 대한 이해를 높이고 이 흥미로운 분야에서 첫 번째 직업을 얻을 가능성을 높일 것입니다.

GenAI 개발자를 위한 AI 논문의 중요성

GenAI 개발자를 위한 AI 논문을 통해 연구원과 전문가는 자신의 연구 결과, 방법론 및 혁신을 더 넓은 커뮤니티와 공유할 수 있습니다. 이 문서를 읽으면 AI의 최신 발전에 액세스할 수 있어 앞서 나가고 업무에서 정보에 입각한 결정을 내릴 수 있습니다. 또한 GenAI 개발자를 위한 AI 논문은 종종 알고리즘과 기술에 대한 자세한 설명을 제공하여 작동 방식과 실제 문제에 적용할 수 있는 방법에 대한 더 깊은 이해를 제공합니다.

GenAI 개발자를 위한 AI 논문을 읽으면 AI 개발자 지망생에게 여러 가지 이점이 제공됩니다. 첫째, 해당 분야의 최신 연구 및 동향을 지속적으로 업데이트하는 데 도움이 됩니다. 고용주는 종종 최신 발전에 익숙한 후보자를 찾기 때문에 AI 관련 직업에 지원할 때 이러한 지식은 매우 중요합니다. 또한 AI 논문을 읽으면 지식을 확장하고 AI 개념과 방법론에 대한 더 깊은 이해를 얻을 수 있습니다. 이 지식은 귀하의 프로젝트와 연구에 적용되어 귀하를 더욱 유능하고 숙련된 AI 개발자로 만들 수 있습니다.

차례

개요: GenAI 개발자를 위한 필수 AI 문서(링크 포함)

논문 1: 트랜스포머: 주의가 필요한 전부입니다

링크 : 여기 읽으십시오

논문 요약

이 논문에서는 기계 번역과 같은 서열 변환 작업을 위한 새로운 신경망 아키텍처인 Transformer를 소개합니다. 순환 신경망 또는 컨볼루션 신경망을 기반으로 하는 기존 모델과 달리 Transformer는 주의 메커니즘에만 의존하므로 재발 및 컨볼루션이 필요하지 않습니다. 저자는 이 아키텍처가 번역 품질, 병렬성 향상, 교육 시간 단축 측면에서 탁월한 성능을 제공한다고 주장합니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

주의 메커니즘

Transformer는 전적으로 어텐션 메커니즘을 기반으로 구축되어 입력 및 출력 시퀀스 간의 전역 종속성을 캡처할 수 있습니다. 이 접근 방식을 사용하면 모델이 시퀀스의 요소 간 거리에 제한을 받지 않고 관계를 고려할 수 있습니다.

병렬화
Transformer 아키텍처의 주요 장점 중 하나는 병렬성이 향상된다는 것입니다. 전통적인 순환 모델은 순차 계산으로 인해 병렬화가 어려워집니다. Transformer의 설계는 훈련 중에 보다 효율적인 병렬 처리를 허용하여 훈련 시간을 단축합니다.

우수한 품질과 효율성

본 논문에서는 기계 번역 작업에 대한 실험 결과를 제시하여 Transformer가 기존 모델에 비해 우수한 번역 품질을 달성함을 입증했습니다. 이는 앙상블 모델을 포함한 이전의 최신 결과보다 훨씬 뛰어납니다. 또한 Transformer는 훨씬 더 적은 훈련 시간으로 이러한 결과를 달성합니다.

번역 성과

WMT 2014 영어-독일어 번역 작업에서 제안된 모델은 BLEU 점수 28.4점을 달성하여 기존 최고 결과를 2BLEU 이상 능가했습니다. 영어-프랑스어 작업에서 모델은 41.8개의 GPU에서 단 3.5일 동안 훈련한 후 새로운 단일 모델 최첨단 BLEU 점수 XNUMX을 설정했습니다.

다른 작업으로의 일반화저자는 Transformer 아키텍처가 기계 번역 이상의 작업에도 잘 일반화된다는 것을 보여줍니다. 그들은 이 모델을 영어 선거구 분석에 성공적으로 적용하여 다양한 서열 변환 문제에 대한 적응성을 보여주었습니다.

논문 2: BERT: 언어 이해를 위한 심층 양방향 변환기 사전 훈련

링크 : 여기 읽으십시오

논문 요약

언어 모델 사전 훈련은 다양한 자연어 처리 작업을 개선하는 데 효과적인 것으로 입증되었습니다. 이 논문에서는 사전 훈련된 언어 표현을 적용하기 위한 기능 기반 접근 방식과 미세 조정 접근 방식을 구분합니다. BERT는 미세 조정 접근 방식의 제한 사항, 특히 표준 언어 모델의 단방향 제약 조건을 해결하기 위해 도입되었습니다. 이 논문은 양방향 표현을 가능하게 하기 위해 Cloze 작업에서 영감을 받은 "Masked Language Model"(MLM) 사전 학습 목표를 제안합니다. "다음 문장 예측" 작업은 텍스트 쌍 표현을 공동으로 사전 학습하는 데에도 사용됩니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

양방향 사전 훈련의 중요성

이 논문은 언어 표현을 위한 양방향 사전 훈련의 중요성을 강조합니다. 이전 모델과 달리 BERT는 마스크된 언어 모델을 활용하여 이전 작업에서 사용된 단방향 언어 모델을 능가하는 깊은 양방향 표현을 가능하게 합니다.

작업별 아키텍처 감소

BERT는 사전 훈련된 표현이 고도로 엔지니어링된 작업별 아키텍처의 필요성을 줄여준다는 것을 보여줍니다. 다양한 범위의 문장 수준 및 토큰 수준 작업에서 최첨단 성능을 달성하고 작업별 아키텍처를 능가하는 최초의 미세 조정 기반 표현 모델이 됩니다.

최첨단 발전

BERT는 1.1가지 자연어 처리 작업에서 새로운 최첨단 결과를 달성하여 다양성을 보여줍니다. 주목할 만한 개선 사항에는 GLUE 점수의 상당한 증가, MultiNLI 정확도, SQuAD v2.0 및 vXNUMX 질문 응답 작업의 향상이 포함됩니다.

또한 다음을 읽을 수 있습니다 : 마스킹된 언어 모델링으로 BERT 미세 조정

논문 3: GPT: 언어 모델은 소수의 학습자입니다

링크 : 여기 읽으십시오

논문 요약

이 논문에서는 언어 모델을 확장하여 자연어 처리(NLP) 작업에서 달성한 개선 사항에 대해 논의합니다. GPT-3 (Generative Pre-trained Transformer 3), 175억 개의 매개변수를 갖춘 자동 회귀 언어 모델입니다. 저자는 최근에 다음과 같이 강조합니다. NLP 모델 사전 훈련과 미세 조정을 통해 상당한 이득을 보여주지만, 미세 조정을 위해 수천 개의 예시가 포함된 작업별 데이터 세트가 필요한 경우가 많습니다. 대조적으로, 인간은 몇 가지 예나 간단한 지시만으로 새로운 언어 작업을 수행할 수 있습니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

확장으로 Few-Shot 성능 향상
저자는 언어 모델을 확장하면 작업에 구애받지 않는 몇 번의 샷 성능이 크게 향상된다는 것을 보여줍니다. GPT-3는 매개변수 크기가 크기 때문에 작업별 미세 조정이나 기울기 업데이트 없이도 최첨단 미세 조정 접근 방식으로 경쟁력을 달성하기도 합니다.
광범위한 적용 가능성

GPT-3는 번역, 질문 답변, 클로즈 작업, 즉석 추론 또는 도메인 적응이 필요한 작업을 포함한 다양한 NLP 작업에서 강력한 성능을 보여줍니다.
도전과 한계

GPT-3는 놀라운 퓨샷 학습 기능을 보여주지만 저자는 어려움을 겪는 데이터 세트를 식별하고 대규모 웹 말뭉치에 대한 교육과 관련된 방법론적 문제를 강조합니다.
인간과 유사한 기사 생성

GPT-3는 인간 평가자가 인간이 작성한 기사와 구별하기 어려운 뉴스 기사를 생성할 수 있습니다.
사회적 영향 및 광범위한 고려 사항

이 논문에서는 특히 인간과 유사한 텍스트를 생성하는 데 있어서 GPT-3의 기능이 사회적으로 미치는 광범위한 영향에 대해 논의합니다. 다양한 작업에서 성능이 미치는 영향은 실제 적용 및 잠재적인 과제 측면에서 고려됩니다.
현재 NLP 접근 방식의 한계

저자는 현재 NLP 접근 방식의 한계, 특히 대규모 레이블이 지정된 데이터 세트에 대한 요구 사항 및 좁은 작업 분포에 대한 과적합 위험과 같은 과제를 제기하는 작업별 미세 조정 데이터 세트에 대한 의존성을 강조합니다. 또한 훈련 분포의 범위를 벗어나는 이러한 모델의 일반화 능력에 대한 우려가 제기됩니다.

논문 4: CNN: 심층 합성곱 신경망을 사용한 ImageNet 분류

링크 : 여기 읽으십시오

논문 요약

이 논문에서는 ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 데이터 세트의 이미지 분류를 위한 대규모 심층 CNN(컨볼루션 신경망)을 개발하고 교육하는 방법을 설명합니다. 이 모델은 이전의 최첨단 방법에 비해 분류 정확도가 크게 향상되었습니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

모델 아키텍처
연구에 사용된 신경망은 60천만 개의 매개변수와 650,000만 개의 뉴런을 갖춘 심층 CNN입니다. 이는 1000개의 컨벌루션 레이어로 구성되며 일부는 최대 풀링 레이어가 뒤따르고, 분류를 위한 최종 XNUMX방향 소프트맥스가 포함된 XNUMX개의 완전 연결 레이어로 구성됩니다.

훈련 데이터

이 모델은 ImageNet ILSVRC-1.2 콘테스트에서 얻은 2010만 개의 고해상도 이미지로 구성된 상당한 데이터 세트를 기반으로 훈련되었습니다. 훈련 과정에는 이미지를 1000개의 다양한 클래스로 분류하는 과정이 포함됩니다.

퍼포먼스
이 모델은 테스트 데이터에서 각각 1%와 5%의 상위 37.5위 오류율과 상위 17.0위 오류율을 달성했습니다. 이러한 오류율은 이전 최첨단 기술보다 상당히 우수하여 제안된 접근 방식의 효율성을 나타냅니다.

과적합 개선

이 논문에서는 포화되지 않은 뉴런, 더 빠른 훈련을 위한 효율적인 GPU 구현, 완전 연결 계층의 "드롭아웃"이라는 정규화 방법을 포함하여 과적합 문제를 해결하기 위한 여러 기술을 소개합니다.
계산 효율성
대규모 CNN을 훈련하는 데 필요한 컴퓨팅 요구에도 불구하고 논문에서는 현재 GPU와 최적화된 구현을 통해 고해상도 이미지에서 이러한 모델을 훈련하는 것이 가능하다고 지적합니다.

포스트
이 논문은 ImageNet 데이터 세트에서 가장 큰 컨볼루션 신경망 중 하나를 훈련하고 ILSVRC 대회에서 최첨단 결과를 달성하는 것을 포함하여 연구의 기여를 강조합니다.

또한 다음을 읽을 수 있습니다 : 컨볼루셔널 신경망을 배우기 위한 종합 튜토리얼

논문 5: GAT: 그래프 주의 네트워크

링크 : 여기 읽으십시오

논문 요약

이 백서는 그래프 구조 데이터의 노드 분류를 위한 주의 기반 아키텍처를 소개하며 다양한 벤치마크에서 효율성, 다양성 및 경쟁력 있는 성능을 보여줍니다. 어텐션 메커니즘의 통합은 임의로 구조화된 그래프를 처리하기 위한 강력한 도구임이 입증되었습니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

그래프 주의 네트워크(GAT)GAT는 마스크된 self-attentional 레이어를 활용하여 그래프 컨볼루션을 기반으로 한 이전 방법의 제한 사항을 해결합니다. 이 아키텍처를 통해 노드는 비용이 많이 드는 행렬 연산이나 그래프 구조에 대한 사전 지식에 의존하지 않고도 서로 다른 노드에 서로 다른 가중치를 암시적으로 지정하여 이웃의 기능을 관리할 수 있습니다.

스펙트럼 기반 문제 해결

GAT는 스펙트럼 기반 그래프 신경망의 여러 가지 과제를 동시에 해결합니다. GAT(Graph Attention Network) 과제에는 공간적으로 지역화된 필터, 집중적인 계산 및 비공간적으로 지역화된 필터가 포함됩니다. 또한 GAT는 Laplacian eigenbasis에 의존하여 귀납적 및 변환적 문제에 대한 적용 가능성에 기여합니다.

벤치마크 전반에 걸친 성능

GAT 모델은 Cora, Citeseer 및 Pubmed 인용 네트워크 데이터세트와 단백질-단백질 상호작용 데이터세트 등 4개의 확립된 그래프 벤치마크에서 최첨단 결과를 달성하거나 일치시킵니다. 이러한 벤치마크는 전환적 및 귀납적 학습 시나리오를 모두 다루며 GAT의 다양성을 보여줍니다.

이전 접근 방식과의 비교

이 논문은 재귀 신경망을 포함한 이전 접근 방식에 대한 포괄적인 개요를 제공합니다. 신경망 그래프 (GNN), 스펙트럼 및 비 스펙트럼 방법, 주의 메커니즘. GAT는 주의 메커니즘을 통합하여 노드-인접 쌍 전체에 걸쳐 효율적인 병렬화를 허용하고 다양한 수준의 노드에 적용할 수 있습니다.

효율성과 적용성GAT는 이웃에 임의의 가중치를 지정하여 다양한 수준의 그래프 노드에 적용할 수 있는 병렬화 가능하고 효율적인 작업을 제공합니다. 이 모델은 귀납적 학습 문제에 직접 적용되므로 완전히 보이지 않는 그래프로 일반화해야 하는 작업에 적합합니다.

이전 모델과의 관계

저자는 GAT가 MoNet의 특정 인스턴스로 재구성되고, 관계형 네트워크와 유사성을 공유하고, 이웃 관심 작업을 사용하는 작업에 연결할 수 있다고 지적합니다. 제안된 주의 모델은 Duan et al.과 같은 관련 접근법과 비교됩니다. (2017) 및 Denil et al. (2017).

논문 6: ViT: 이미지는 16×16 단어의 가치가 있습니다: 대규모 이미지 인식을 위한 변환기

링크 : 여기 읽으십시오

논문 요약

이 논문은 자연어 처리 분야에서 Transformer 아키텍처의 성공에도 불구하고 컴퓨터 비전 분야에서 컨벌루션 아키텍처가 우세하다는 점을 인정합니다. NLP의 변환기 효율성과 확장성에 영감을 받아 저자는 최소한의 수정만으로 이미지에 표준 변환기를 직접 적용했습니다.

그들은 다음을 소개합니다. 비전 트랜스포머 (ViT), 이미지가 패치로 분할되고 이러한 패치의 선형 임베딩 시퀀스가 Transformer에 대한 입력 역할을 합니다. 모델은 감독 방식으로 이미지 분류 작업에 대해 훈련됩니다. 처음에 강력한 정규화 없이 ImageNet과 같은 중간 규모의 데이터세트로 훈련할 때 ViT는 비교 가능한 ResNet보다 약간 낮은 정확도를 달성합니다.

그러나 저자는 특정 귀납적 편향이 없기 때문에 부과되는 한계를 뛰어넘는 대규모 교육이 ViT의 성공에 매우 중요하다는 점을 밝혔습니다. 대규모 데이터 세트에 대해 사전 훈련된 ViT는 ImageNet, CIFAR-100 및 VTAB를 포함한 여러 벤치마크에서 최첨단 컨벌루션 네트워크보다 성능이 뛰어납니다. 이 논문에서는 컴퓨터 비전에서 Transformer 아키텍처를 사용하여 놀라운 결과를 달성하는 데 있어 확장이 미치는 영향을 강조합니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

컴퓨터 비전의 변압기

이 논문은 컴퓨터 비전 작업에 대한 CNN(Convolutional Neural Network)에 대한 일반적인 의존에 대해 이의를 제기합니다. 이는 순수 Transformer를 이미지 패치 시퀀스에 직접 적용할 때 이미지 분류 작업에서 뛰어난 성능을 달성할 수 있음을 보여줍니다.

비전 트랜스포머 (ViT)

저자는 NLP의 Transformer와 유사한 self-attention 메커니즘을 활용하는 모델인 Vision Transformer(ViT)를 소개합니다. ViT는 ImageNet, CIFAR-100, VTAB를 포함한 다양한 이미지 인식 벤치마크에서 경쟁력 있는 결과를 얻을 수 있습니다.

사전 훈련 및 전이 학습

이 논문에서는 NLP의 접근 방식과 유사하게 대량의 데이터에 대한 사전 학습을 수행한 다음 학습된 표현을 특정 이미지 인식 작업으로 전송하는 것의 중요성을 강조합니다. ViT는 ImageNet-21k 또는 JFT-300M과 같은 대규모 데이터 세트에 대해 사전 교육을 받은 경우 다양한 벤치마크에서 최첨단 컨벌루션 네트워크보다 성능이 뛰어납니다.

계산 효율성ViT는 훈련 중에 훨씬 적은 계산 리소스로 놀라운 결과를 달성합니다. 최첨단 컨벌루션 네트워크. 이러한 효율성은 모델이 대규모로 사전 학습된 경우 특히 두드러집니다.

확장 영향

이 논문에서는 컴퓨터 비전에서 Transformer 아키텍처를 사용하여 우수한 성능을 달성하는 데 있어 확장의 중요성을 강조합니다. 수백만에서 수억 개의 이미지가 포함된 데이터 세트에 대한 대규모 교육은 ViT가 CNN에 존재하는 일부 귀납적 편향의 부족을 극복하는 데 도움이 됩니다.

논문 7: AlphaFold2: AlphaFold를 사용한 매우 정확한 단백질 구조

링크 : 여기 읽으십시오

논문 요약

논문 “AlphaFold2: Highly Accuracy Protein Structure with AlphaFold”에서는 단백질 구조를 정확하게 예측하는 딥러닝 모델인 AlphaFold2를 소개합니다. AlphaFold2는 새로운 주의 기반 아키텍처를 활용하여 단백질 접힘에 획기적인 발전을 이루었습니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

알파폴드2 주의 메커니즘을 갖춘 심층 신경망을 사용하여 아미노산 서열로부터 단백질의 3D 구조를 예측합니다.
이 모델은 알려진 단백질 구조의 대규모 데이터 세트에 대해 훈련되었으며 제14회 CASP14(단백질 구조 예측 중요 평가) 단백질 접힘 대회에서 전례 없는 정확도를 달성했습니다.
AlphaFold2의 정확한 예측은 약물 발견, 단백질 공학 및 기타 생화학 분야에 잠재적으로 혁명을 일으킬 수 있습니다.

논문 8: GAN: 생성적 적대 네트워크

링크 : 여기 읽으십시오

논문 요약

이 논문에서는 심층 생성 모델 훈련의 과제를 다루고 적대적 네트워크(adversarial net)라는 혁신적인 접근 방식을 소개합니다. 이 프레임워크에서 생성 모델과 판별 모델은 생성 모델이 실제 데이터와 구별할 수 없는 샘플을 생성하는 것을 목표로 하는 게임에 참여합니다. 대조적으로, 판별 모델은 실제 샘플과 생성된 샘플을 구별합니다. 적대적 훈련 프로세스는 데이터 분포를 복구하는 생성 모델을 사용하여 고유한 솔루션으로 이어집니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

적대적 프레임워크

저자는 두 모델이 동시에 훈련되는 적대적 프레임워크, 즉 데이터 분포를 포착하는 생성 모델(G)과 생성 모델이 아닌 훈련 데이터에서 샘플이 나올 확률을 추정하는 판별 모델(D)을 소개합니다.

미니맥스 게임훈련 절차에는 판별 모델이 실수할 확률을 최대화하는 과정이 포함됩니다. 이 프레임워크는 미니맥스 2인 게임으로 공식화되었으며, 여기서 생성 모델은 실제 데이터와 구별할 수 없는 샘플을 생성하는 것을 목표로 하고, 판별 모델은 샘플이 실제인지 또는 올바르게 생성되었는지 분류하는 것을 목표로 합니다.

독특한 솔루션

G와 D에 대한 임의 함수에는 고유한 솔루션이 존재하며, G는 훈련 데이터 분포를 복구하고 D는 모든 곳에서 1/2과 같습니다. 이 균형은 적대적 훈련 과정을 통해 달성됩니다.

다층 퍼셉트론(MLP)저자는 다층 퍼셉트론이 G와 D를 나타낼 때 역전파를 사용하여 전체 시스템을 훈련할 수 있음을 보여줍니다. 이렇게 하면 샘플을 훈련하고 생성하는 동안 마르코프 체인이나 전개된 근사 추론 네트워크가 필요하지 않습니다.

대략적인 추론 없음

제안된 프레임워크는 최대 우도 추정에서 다루기 힘든 확률 계산을 근사화하는 어려움을 방지합니다. 또한 생성적 맥락에서 조각별 선형 단위의 이점을 활용하는 데 따른 어려움을 극복합니다.

논문 9: RoBERTa: 강력하게 최적화된 BERT 사전 훈련 접근 방식

링크 : 여기 읽으십시오

논문 요약

이 논문에서는 BERT의 Undertraining 문제를 다루고 BERT의 성능을 능가하는 최적화 버전인 RoBERTa를 소개합니다. RoBERTa의 훈련 절차 수정과 새로운 데이터 세트(CC-NEWS) 사용은 여러 자연어 처리 작업에 대한 최첨단 결과에 기여합니다. 연구 결과는 언어 모델 사전 훈련의 효율성에 있어서 디자인 선택과 훈련 전략의 중요성을 강조합니다. RoBERTa 모델 및 코드를 포함하여 출시된 리소스는 연구 커뮤니티에 기여합니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

BERT 언더 트레이닝

저자들은 그것을 발견한다. BERT널리 사용되는 언어 모델인 는 상당히 훈련이 부족했습니다. 하이퍼파라미터 튜닝 및 훈련 세트 크기의 영향을 신중하게 평가함으로써 BERT가 이후에 게시된 모든 모델의 성능과 일치하거나 이를 초과하도록 개선될 수 있음을 보여줍니다.

향상된 훈련 레시피(RoBERTa)

저자는 BERT 훈련 절차에 수정 사항을 도입하여 RoBERTa를 생성했습니다. 이러한 변경에는 더 큰 배치를 통한 훈련 기간 연장, 다음 문장 예측 목표 제거, 더 긴 시퀀스에 대한 훈련, 훈련 데이터에 대한 동적 마스킹 패턴 조정이 포함됩니다.

데이터세트 기여이 논문에서는 CC-NEWS라는 새로운 데이터 세트를 소개합니다. 이 데이터 세트는 다른 개인용 데이터 세트와 크기가 비슷합니다. 이 데이터 세트를 포함하면 훈련 세트 크기 효과를 더 효과적으로 제어하고 다운스트림 작업의 성능을 향상시키는 데 도움이 됩니다.

성과

제안된 수정 사항을 적용한 RoBERTa는 GLUE, RACE, SQuAD를 포함한 다양한 벤치마크 작업에서 최고 수준의 결과를 달성했습니다. MNLI, QNLI, RTE, STS-B, SQuAD 및 RACE와 같은 작업에 대한 모든 BERT 이후 방법의 성능과 일치하거나 이를 능가합니다.

Masked Language 모델 사전훈련의 경쟁력

이 논문은 올바른 설계 선택을 갖춘 마스크된 언어 모델 사전 훈련 목표가 최근 제안된 다른 훈련 목표와 경쟁력이 있음을 재확인합니다.

출시된 리소스

저자는 PyTorch에서 구현된 사전 학습 및 미세 조정 코드와 함께 RoBERTa 모델을 출시하여 결과의 재현성과 추가 탐색에 기여합니다.

또한 읽기 : RoBERTa에 대한 부드러운 소개

논문 10: NeRF: 뷰 합성을 위한 신경 복사장으로 장면 표현

링크 : 여기 읽으십시오

논문 요약

최적화에는 알려진 카메라 자세로 관찰된 이미지와 연속 장면 표현에서 렌더링된 뷰 간의 오류를 최소화하는 작업이 포함됩니다. 이 논문은 더 높은 주파수 기능을 처리하기 위해 위치 인코딩을 도입하고 적절한 샘플링에 필요한 쿼리 수를 줄이기 위한 계층적 샘플링 절차를 제안함으로써 수렴 및 효율성과 관련된 문제를 해결합니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력`

연속적인 장면 표현

이 논문은 기본 다층 퍼셉트론(MLP) 네트워크를 사용하여 복잡한 장면을 5D 신경 방사 필드로 표현하는 방법을 제시합니다.

미분 가능한 렌더링

제안된 렌더링 절차는 표준 RGB 이미지를 사용하여 그라데이션 기반 최적화를 허용하는 고전적인 볼륨 렌더링 기술을 기반으로 합니다.

계층적 샘플링 전략

눈에 보이는 장면 콘텐츠가 있는 영역에 대해 MLP 용량을 최적화하고 수렴 문제를 해결하기 위해 계층적 샘플링 전략이 도입되었습니다.

위치 인코딩위치 인코딩을 사용하여 입력 5D 좌표를 고차원 공간에 매핑하면 고주파수 장면 콘텐츠에 대한 신경 방사 필드를 성공적으로 최적화할 수 있습니다.

제안된 방법은 신경 3D 표현 피팅 및 심층 합성곱 네트워크 학습을 포함하여 최첨단 뷰 합성 접근 방식을 능가합니다. 이 문서에서는 자연스러운 설정에서 RGB 이미지의 고해상도 사실적 새로운 뷰를 렌더링하기 위한 연속적인 신경 장면 표현을 소개하고, 보충 비디오에 추가 비교를 통해 복잡한 장면 형상 및 모양을 처리하는 효과를 강조합니다.

논문 11: FunSearch: 대규모 언어 모델을 사용한 프로그램 검색을 통한 수학적 발견

링크 : 여기 읽으십시오

논문 요약

이 논문에서는 특히 과학적 발견에서 복잡한 문제를 해결하기 위해 LLM(대형 언어 모델)을 활용하는 새로운 접근 방식인 FunSearch를 소개합니다. 해결해야 할 주요 과제는 LLM에서 그럴듯하지만 잘못된 진술로 이어지는 조작(환각)이 발생한다는 것입니다. FunSearch는 이러한 한계를 극복하기 위해 진화 절차에서 사전 훈련된 LLM과 체계적인 평가기를 결합합니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

LLM을 통한 문제 해결
이 논문은 LLM이 복잡한 문제에 대한 새로운 아이디어와 올바른 솔루션을 구성하거나 생성하지 못하는 문제를 다룹니다. 특히 수학적, 과학적 과제에 대해 새롭고 검증 가능한 올바른 아이디어를 찾는 것이 중요하다는 점을 강조합니다.

진화 과정 – FunSearch

FunSearch는 진화 과정에서 사전 훈련된 LLM과 평가자를 결합합니다. 낮은 점수의 프로그램을 높은 점수의 프로그램으로 반복적으로 발전시켜 새로운 지식의 발견을 보장합니다. 이 프로세스에는 베스트 샷 프롬프트, 프로그램 뼈대 발전, 프로그램 다양성 유지 및 비동기식 확장이 포함됩니다.

극단 조합론에 적용

이 논문은 극단 조합론의 캡 세트 문제에 대한 FunSearch의 효율성을 보여줍니다. FunSearch는 가장 잘 알려진 결과를 능가하고 점근 하한에 대해 20년 만에 가장 큰 개선을 제공하는 대형 캡 세트의 새로운 구성을 발견합니다.

알고리즘 문제 - 온라인 빈 포장

FunSearch는 온라인 빈 패킹 문제에 적용되어 잘 연구된 관심 분포에서 기존 알고리즘보다 성능이 뛰어난 새로운 알고리즘을 발견합니다. 잠재적인 응용 분야에는 작업 일정 알고리즘 개선이 포함됩니다.

프로그램과 솔루션FunSearch는 솔루션을 직접 출력하기보다는 문제 해결 방법을 설명하는 프로그램 생성에 중점을 둡니다. 이러한 프로그램은 해석하기 쉽고 도메인 전문가와의 상호 작용을 촉진하는 경향이 있으며 신경망과 같은 다른 유형의 설명보다 배포하기가 더 쉽습니다.

학제 간 영향

FunSearch의 방법론을 사용하면 광범위한 문제를 탐색할 수 있으므로 학제간 응용 분야에서 다양한 접근 방식을 사용할 수 있습니다. 이 논문은 LLM을 사용하여 검증 가능한 과학적 발견을 할 수 있는 잠재력을 강조합니다.

논문 12: VAE: 자동 인코딩 변형 베이즈

링크 : 여기 읽으십시오

논문 요약

"자동 인코딩 변형 베이즈(Auto-Encoding Variational Bayes)" 논문은 특히 사후 분포가 다루기 어렵고 대규모 데이터 세트를 처리하는 경우 연속 잠재 변수가 있는 방향성 확률 모델에서 효율적인 추론 및 학습 문제를 다룹니다. 저자는 대규모 데이터 세트에 대해 잘 확장되고 다루기 힘든 사후 분포에도 적용 가능한 확률론적 변이 추론 및 학습 알고리즘을 제안합니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

변이 하한의 재매개변수화

이 논문에서는 변동 하한의 재매개변수화를 통해 하한 추정기를 생성하는 방법을 보여줍니다. 이 추정기는 표준 확률적 기울기 방법을 사용하여 최적화할 수 있으므로 계산 효율성이 높습니다.

연속 잠재 변수에 대한 효율적인 사후 추론저자는 데이터 포인트당 연속 잠재 변수가 있는 데이터 세트에 대해 AEVB(자동 인코딩 VB) 알고리즘을 제안합니다. 이 알고리즘은 SGVB(Stochastic Gradient Variational Bayes) 추정기를 활용하여 인식 모델을 최적화하고 조상 샘플링을 통해 효율적인 근사 사후 추론을 가능하게 합니다. 이 접근 방식은 각 데이터 포인트에 대해 MCMC(Markov Chain Monte Carlo)와 같은 비용이 많이 드는 반복 추론 방식을 피합니다.

이론적 장점 및 실험 결과

제안된 방법의 이론적 장점은 실험 결과에 반영된다. 이 논문은 재매개변수화 및 인식 모델이 계산 효율성과 확장성을 가져오며 대규모 데이터 세트와 사후 처리가 어려운 상황에 접근 방식을 적용할 수 있음을 시사합니다.

또한 읽기 : 머신러닝에서 확률론의 본질 공개

논문 13: 장기 단기 기억

링크 : 여기 읽으십시오

논문 요약

이 논문은 순환 신경망에서 확장된 시간 간격에 걸쳐 정보를 저장하는 방법을 학습하는 과제를 다룹니다. LSTM(Long Short-Term Memory)이라는 새롭고 효율적인 그래디언트 기반 방법을 도입하여 부족하고 부패하는 오류 역류 문제를 극복합니다. LSTM은 "상시 오류 캐러셀"을 통해 지속적인 오류 흐름을 적용하고 곱셈 게이트 장치를 사용하여 액세스를 제어합니다. 로컬 시공간 복잡성(시간 단계 및 가중치당 O(1))을 통해 실험 결과는 LSTM이 특히 시간 지연이 긴 작업의 경우 학습 속도 및 성공률과 관련하여 기존 알고리즘보다 성능이 우수하다는 것을 보여줍니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

문제 분석

이 논문은 순환 신경망의 오류 역류와 관련된 문제에 대한 자세한 분석을 제공하며 시간이 지남에 따라 오류 신호가 폭발하거나 사라지는 문제를 강조합니다.

LSTM 도입

저자는 오류 신호가 사라지고 폭발하는 문제를 해결하기 위해 설계된 새로운 아키텍처로 LSTM을 소개합니다. LSTM은 특수 유닛을 통해 지속적인 오류 흐름을 통합하고 곱셈 게이트 유닛을 사용하여 이 오류 흐름에 대한 액세스를 규제합니다.

실험 결과

인공 데이터를 사용한 실험을 통해 이 논문은 LSTM이 BPTT, RTRL, Recurrent cascade Correlation, Elman nets 및 Neural Sequence Chunking을 포함한 다른 순환 네트워크 알고리즘보다 성능이 우수하다는 것을 보여줍니다. LSTM은 특히 오랜 시간 지연이 있는 복잡한 작업을 해결하는 데 더 빠른 학습과 더 높은 성공률을 보여줍니다.

공간과 시간의 지역적

LSTM은 공간과 시간의 로컬 아키텍처로 설명되며 시간 단계당 계산 복잡도와 가중치는 O(1)입니다.

적용 분야
제안된 LSTM 아키텍처는 이전 순환 신경망 알고리즘으로는 성공적으로 해결되지 않았던 복잡하고 인위적인 장시간 지연 작업을 효과적으로 해결합니다.

한계와 장점

이 논문에서는 LSTM의 한계와 장점을 논의하고 제안된 아키텍처의 실제 적용 가능성에 대한 통찰력을 제공합니다.

또한 읽기 : LSTM이란 무엇입니까? 장단기 기억 소개

논문 14: 자연어 감독을 통해 전달 가능한 시각적 모델 학습

링크 : 여기 읽으십시오

논문 요약

이 논문에서는 미리 결정된 개체 범주의 고정 세트에 의존하기보다는 이미지에 대한 원시 텍스트에서 직접 학습하여 최첨단 컴퓨터 비전 시스템 교육을 탐구합니다. 저자는 인터넷에서 수집한 400억 쌍의 (이미지, 텍스트) 데이터 세트를 사용하여 주어진 이미지에 해당하는 캡션을 예측하는 사전 학습 작업을 제안합니다. 결과 모델인 CLIP(Contrastive Language-Image Pre-training)는 이미지 표현에 대한 효율적이고 확장 가능한 학습을 보여줍니다. 사전 훈련 후 자연어는 시각적 개념을 참조하여 다양한 다운스트림 작업으로 제로샷 전송을 가능하게 합니다. CLIP은 30개 이상의 컴퓨터 비전 데이터 세트에서 벤치마킹되었으며, 작업별 교육 없이도 경쟁력 있는 성능을 보여줍니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

컴퓨터 비전을 위한 자연어 교육

이 논문에서는 ImageNet과 같은 군중 레이블이 지정된 데이터 세트에 대한 기존 교육 접근 방식 대신 자연어 감독을 사용하여 컴퓨터 비전 모델을 교육하는 방법을 살펴봅니다.

사전 훈련 작업저자는 간단한 사전 학습 작업을 제안합니다. 즉, 주어진 이미지에 해당하는 캡션을 예측하는 것입니다. 이 작업은 온라인으로 수집된 400억 개(이미지, 텍스트) 쌍의 대규모 데이터 세트에서 최첨단 이미지 표현을 처음부터 학습하는 데 사용됩니다.

제로샷 전송

사전 학습 후 모델은 자연어를 활용하여 학습된 시각적 개념을 참조하거나 새로운 개념을 설명합니다. 이를 통해 특정 데이터세트 교육 없이 모델을 다운스트림 작업으로 제로샷 전송할 수 있습니다.

다양한 작업에 대한 벤치마킹

이 논문에서는 OCR, 비디오의 동작 인식, 지리적 위치 파악 및 세분화된 개체 분류와 같은 작업을 다루는 30개 이상의 다양한 컴퓨터 비전 데이터 세트에 대해 제안된 접근 방식의 성능을 평가합니다.

경쟁력 있는 성과

이 모델은 다양한 작업에 대해 완전히 감독되는 기준선을 통해 경쟁력 있는 성능을 보여주며, 추가 데이터 세트별 교육 없이 작업별 데이터 세트에 대해 교육된 모델의 정확도와 일치하거나 이를 능가하는 경우가 많습니다.

확장성 연구

저자는 다양한 수준의 계산 리소스를 사용하여 일련의 8개 모델을 훈련하여 접근 방식의 확장성을 연구합니다. 전송 성능은 원활하게 예측 가능한 컴퓨팅 기능인 것으로 나타났습니다.

모델 견고성

이 논문에서는 제로샷 CLIP 모델이 동일한 정확도의 지도 ImageNet 모델보다 더 강력하다는 점을 강조하며, 작업 독립적 모델의 제로샷 평가가 모델 기능에 대한 보다 대표적인 측정값을 제공한다는 점을 시사합니다.

논문 15: LORA: 대규모 언어 모델의 낮은 순위 적응

링크 : 여기 읽으십시오

논문 요약

이 논문에서는 사전 훈련된 대규모 언어 모델을 특정 작업에 적용하고 규모 증가와 관련된 배포 문제를 해결하기 위한 효율적인 방법으로 LoRA를 제안합니다. 이 방법은 다양한 벤치마크에서 모델 품질을 유지하거나 향상시키면서 훈련 가능한 매개변수와 GPU 메모리 요구 사항을 크게 줄입니다. 오픈 소스 구현은 실제 애플리케이션에서 LoRA의 채택을 더욱 촉진합니다.

GenAI 개발자를 위한 AI 논문의 주요 통찰력

1. 문제 정책

대규모 사전 훈련과 그에 따른 미세 조정은 자연어 처리의 일반적인 접근 방식입니다.
특히 GPT-3(175억 매개변수)와 같은 대규모 매개변수가 포함된 모델을 배포하는 경우 모델이 커질수록 미세 조정의 실현 가능성이 낮아집니다.

2. 제안된 솔루션: LoRA(낮은 순위 적응)

이 논문에서는 사전 훈련된 모델 가중치를 동결하고 Transformer 아키텍처의 각 계층에 훈련 가능한 순위 분해 행렬을 도입하는 방법인 LoRA를 소개합니다.
LoRA는 전체 미세 조정에 비해 다운스트림 작업을 위해 훈련 가능한 매개변수의 수를 크게 줄입니다.

3. LoRA의 장점

매개변수 감소: LoRA는 미세 조정에 비해 훈련 가능한 매개변수 수를 최대 10,000배까지 줄여 계산 효율성을 높일 수 있습니다.
메모리 효율성: LoRA는 미세 조정에 비해 GPU 메모리 요구 사항을 최대 3배까지 줄입니다.
모델 품질: 훈련 가능한 매개변수가 적음에도 불구하고 LoRA는 RoBERTa, DeBERTa, GPT-2 및 GPT-3를 포함한 다양한 모델의 모델 품질 측면에서 미세 조정과 동등하거나 더 나은 성능을 발휘합니다.

4. 배포 문제 극복

이 문서는 LoRA를 도입하여 많은 매개변수가 있는 모델을 배포하는 문제를 해결하므로 전체 모델을 재교육하지 않고도 효율적인 작업 전환이 가능합니다.

5. 효율성과 낮은 추론 지연 시간

LoRA는 다양한 작업을 위한 여러 LoRA 모듈을 구축하기 위한 사전 훈련된 모델 공유를 용이하게 하여 스토리지 요구 사항과 작업 전환 오버헤드를 줄입니다.
적응형 최적화 프로그램을 사용하면 훈련이 더욱 효율적으로 이루어지며 하드웨어 진입 장벽이 최대 3배까지 낮아집니다.

6. 호환성 및 통합

LoRA는 다양한 기존 방법과 호환되며 Prefix-tuning과 같은 결합이 가능합니다.
제안된 선형 설계를 사용하면 배포 중에 훈련 가능한 행렬을 고정된 가중치와 병합할 수 있으므로 완전히 미세 조정된 모델에 비해 추가 추론 대기 시간이 발생하지 않습니다.

7. 실증적 조사

이 논문에는 언어 모델 적응의 순위 결핍에 대한 경험적 조사가 포함되어 있어 LoRA 접근 방식의 효율성에 대한 통찰력을 제공합니다.

8. 오픈소스 구현

저자는 LoRA와 PyTorch 모델의 통합을 용이하게 하고 RoBERTa, DeBERTa 및 GPT-2에 대한 릴리스 구현 및 모델 체크포인트를 제공합니다.

다음 내용도 읽을 수 있습니다. LoRA 및 QLoRA를 사용한 대규모 언어 모델의 매개변수 효율적인 미세 조정

결론

결론적으로, 이 기사에서 강조된 GenAI 개발자를 위한 15가지 필수 AI 논문을 자세히 살펴보는 것은 단순한 권장 사항이 아니라 야심찬 개발자를 위한 전략적 필수 사항입니다. 이러한 AI 논문은 자연어 처리, 컴퓨터 비전 등과 같은 중요한 영역을 포괄하는 인공 지능의 다양한 환경을 통해 포괄적인 여정을 제공합니다. 이 문서에 제시된 통찰력과 혁신에 몰입함으로써 개발자는 해당 분야의 최첨단 기술과 알고리즘에 대한 심오한 이해를 얻게 됩니다.