"VEGETA: Vertically-Integrated Extensions for Sparse/Dense GEMM Tile Acceleration on CPUs"라는 제목의 기술 문서가 Georgia Tech와 Intel Labs의 연구원들에 의해 출판(사전 인쇄)되었습니다.
요약 :
“CPU의 딥 러닝(DL) 가속 지원은 최근 여러 회사(Arm, Intel, IBM)가 GEMM 명령을 통해 액세스할 수 있는 특수 매트릭스 엔진이 있는 제품을 발표하면서 많은 주목을 받았습니다. CPU는 널리 퍼져 있으며 에지/HPC/클라우드 플랫폼에서 실행되는 DL 워크로드 전반에서 다양한 요구 사항을 처리해야 합니다. 따라서 DL 워크로드는 모델의 계산 및 메모리 크기를 줄이기 위해 희소성을 수용하므로 밀도 매트릭스 엔진의 활용도가 낮고 캐시 및 레지스터의 비효율적인 사용을 방지하기 위해 CPU가 희소성에 대한 지원을 추가하는 것도 필수적입니다. 이 작업은 다양한 수준의 희소성을 가진 다양한 DL 모델에 대한 프로그래밍 가능한 지원을 가능하게 하는 CPU에 대한 유연한 구조적 희소성을 지원하기 위해 고밀도 매트릭스 엔진에 대한 ISA 및 마이크로아키텍처 확장 세트인 VEGETA를 제공합니다. CPU의 최첨단(SOTA) 고밀도 매트릭스 엔진과 비교할 때 VEGETA 엔진은 1.09:2.20(고밀도), 3.74:3.28를 실행할 때 4x, 4x, 2x 및 4x 속도 향상을 제공합니다. , 1:4 및 구조화되지 않은(95%) 희소 DNN 레이어.”
찾기 여기에 기술 문서. 사전 인쇄는 2023년 XNUMX월에 게시되었습니다.
정건화 외 "VEGETA: CPU에서 희소/고밀도 GEMM 타일 가속을 위한 수직 통합 확장." arXiv 프리프린트 arXiv:2302.08687 (2023).
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 출처: https://semiengineering.com/isa-and-microarchitecture-extensions-over-dense-matrix-engines-to-support-flexible-structured-sparsity-for-cpus-georgia-tech-intel-labs/
