ด้วยการถือกำเนิดของ AI แบบกำเนิด โมเดลพื้นฐาน (FM) ในปัจจุบัน เช่น โมเดลภาษาขนาดใหญ่ (LLM) Claude 2 และ Llama 2 สามารถทำงานเชิงกำเนิดได้หลากหลาย เช่น การตอบคำถาม การสรุป และการสร้างเนื้อหาบนข้อมูลข้อความ อย่างไรก็ตาม ข้อมูลในโลกแห่งความเป็นจริงมีอยู่ในรูปแบบต่างๆ มากมาย เช่น ข้อความ รูปภาพ วิดีโอ และเสียง ยกตัวอย่างสไลด์ PowerPoint อาจมีข้อมูลในรูปแบบข้อความ หรือฝังอยู่ในกราฟ ตาราง และรูปภาพ
ในโพสต์นี้ เรานำเสนอวิธีแก้ปัญหาที่ใช้ FM หลายรูปแบบเช่น การฝังหลายรูปแบบของ Amazon Titan รูปแบบและ ลาวา 1.5 และบริการของ AWS รวมถึง อเมซอน เบดร็อค และ อเมซอน SageMaker เพื่อดำเนินงานสร้างที่คล้ายกันกับข้อมูลหลายรูปแบบ
ภาพรวมโซลูชัน
โซลูชันนี้มีการใช้งานสำหรับการตอบคำถามโดยใช้ข้อมูลที่มีอยู่ในองค์ประกอบข้อความและภาพของชุดสไลด์ การออกแบบขึ้นอยู่กับแนวคิดของการดึงข้อมูล Augmented Generation (RAG) ตามเนื้อผ้า RAG มีความเชื่อมโยงกับข้อมูลที่เป็นข้อความที่ LLM สามารถประมวลผลได้ ในโพสต์นี้ เราขยาย RAG เพื่อรวมรูปภาพด้วย ซึ่งให้ความสามารถในการค้นหาที่มีประสิทธิภาพในการแยกเนื้อหาที่เกี่ยวข้องตามบริบทจากองค์ประกอบภาพ เช่น ตารางและกราฟพร้อมกับข้อความ
มีวิธีต่างๆ ในการออกแบบโซลูชัน RAG ที่มีรูปภาพ เราได้นำเสนอแนวทางหนึ่งไว้ที่นี่ และจะติดตามผลด้วยแนวทางอื่นในโพสต์ที่สองของซีรี่ส์ที่มีสามส่วนนี้
โซลูชันนี้ประกอบด้วยส่วนประกอบต่อไปนี้:
- โมเดล Amazon Titan Multimodal Embeddings – FM นี้ใช้เพื่อสร้างการฝังเนื้อหาในชุดสไลด์ที่ใช้ในโพสต์นี้ ในฐานะโมเดลหลายรูปแบบ โมเดล Titan นี้สามารถประมวลผลข้อความ รูปภาพ หรือการผสมผสานเป็นอินพุตและสร้างการฝังได้ โมเดล Titan Multimodal Embeddings สร้างเวกเตอร์ (การฝัง) ในขนาด 1,024 มิติ และเข้าถึงได้ผ่าน Amazon Bedrock
- ผู้ช่วยภาษาและการมองเห็นขนาดใหญ่ (LLaVA) – LLaVA เป็นแบบจำลองหลายรูปแบบโอเพ่นซอร์สสำหรับการทำความเข้าใจด้วยภาพและภาษา และใช้ในการตีความข้อมูลในสไลด์ รวมถึงองค์ประกอบภาพ เช่น กราฟและตาราง เราใช้เวอร์ชันพารามิเตอร์ 7 พันล้าน แอลลาวา 1.5-7b ในโซลูชันนี้
- อเมซอน SageMaker – โมเดล LLaVA ได้รับการปรับใช้บนตำแหน่งข้อมูล SageMaker โดยใช้บริการโฮสติ้งของ SageMaker และเราใช้ตำแหน่งข้อมูลผลลัพธ์เพื่อเรียกใช้การอนุมานกับโมเดล LLaVA นอกจากนี้เรายังใช้สมุดบันทึก SageMaker เพื่อจัดเตรียมและสาธิตโซลูชันนี้ตั้งแต่ต้นจนจบ
- Amazon OpenSearch แบบไร้เซิร์ฟเวอร์ – OpenSearch Serverless เป็นการกำหนดค่าแบบไร้เซิร์ฟเวอร์ตามความต้องการ บริการ Amazon OpenSearch. เราใช้ OpenSearch Serverless เป็นฐานข้อมูลเวกเตอร์สำหรับจัดเก็บการฝังที่สร้างโดยโมเดล Titan Multimodal Embeddings ดัชนีที่สร้างขึ้นในคอลเลกชัน OpenSearch Serverless ทำหน้าที่เป็นที่เก็บเวกเตอร์สำหรับโซลูชัน RAG ของเรา
- การนำเข้า Amazon OpenSearch (OSI) – OSI เป็นตัวรวบรวมข้อมูลแบบไร้เซิร์ฟเวอร์ที่มีการจัดการเต็มรูปแบบ ซึ่งส่งข้อมูลไปยังโดเมน OpenSearch Service และคอลเลกชัน OpenSearch Serverless ในโพสต์นี้ เราใช้ไปป์ไลน์ OSI เพื่อส่งข้อมูลไปยังร้านค้าเวกเตอร์ OpenSearch Serverless
สถาปัตยกรรมโซลูชัน
การออกแบบโซลูชันประกอบด้วยสองส่วน: การนำเข้าและการโต้ตอบของผู้ใช้ ในระหว่างการนำเข้า เราจะประมวลผลชุดสไลด์อินพุตโดยแปลงแต่ละสไลด์ให้เป็นรูปภาพ สร้างการฝังสำหรับรูปภาพเหล่านี้ จากนั้นเติมข้อมูลลงในที่เก็บข้อมูลเวกเตอร์ ขั้นตอนเหล่านี้เสร็จสมบูรณ์ก่อนขั้นตอนการโต้ตอบกับผู้ใช้
ในขั้นตอนการโต้ตอบกับผู้ใช้ คำถามจากผู้ใช้จะถูกแปลงเป็นการฝัง และค้นหาความคล้ายคลึงกันบนฐานข้อมูลเวกเตอร์เพื่อค้นหาสไลด์ที่อาจมีคำตอบสำหรับคำถามของผู้ใช้ จากนั้นเราจะจัดเตรียมสไลด์นี้ (ในรูปแบบของไฟล์ภาพ) ให้กับโมเดล LLaVA และคำถามของผู้ใช้เพื่อเป็นพรอมต์ในการสร้างคำตอบสำหรับคำถาม รหัสทั้งหมดสำหรับโพสต์นี้มีอยู่ใน GitHub ซื้อคืน
แผนภาพต่อไปนี้แสดงสถาปัตยกรรมการนำเข้า
ขั้นตอนเวิร์กโฟลว์มีดังนี้:
- สไลด์จะถูกแปลงเป็นไฟล์รูปภาพ (หนึ่งไฟล์ต่อสไลด์) ในรูปแบบ JPG และส่งผ่านไปยังโมเดล Titan Multimodal Embeddings เพื่อสร้างการฝัง ในโพสต์นี้ เราใช้ชุดสไลด์ที่มีชื่อว่า ฝึกฝนและปรับใช้ Stable Diffusion โดยใช้ AWS Trainium และ AWS Inferentia จากการประชุมสุดยอด AWS ในเมืองโตรอนโต มิถุนายน 2023 เพื่อสาธิตโซลูชัน ชุดตัวอย่างมี 31 สไลด์ ดังนั้นเราจึงสร้างการฝังเวกเตอร์ 31 ชุด แต่ละชุดมีขนาด 1,024 เราเพิ่มช่องข้อมูลเมตาเพิ่มเติมให้กับการฝังเวกเตอร์ที่สร้างขึ้นเหล่านี้ และสร้างไฟล์ JSON ช่องข้อมูลเมตาเพิ่มเติมเหล่านี้สามารถใช้เพื่อดำเนินการค้นหาที่หลากหลายโดยใช้ความสามารถในการค้นหาอันทรงพลังของ OpenSearch
- การฝังที่สร้างขึ้นจะรวบรวมไว้ในไฟล์ JSON เดียวที่อัปโหลดไป บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (อเมซอน เอส3).
- ผ่านทาง การแจ้งเตือนเหตุการณ์ Amazon S3มีใส่เหตุการณ์ไว้ใน บริการ Amazon Simple Queue (Amazon SQS) คิว
- เหตุการณ์ในคิว SQS นี้ทำหน้าที่เป็นทริกเกอร์ในการเรียกใช้ไปป์ไลน์ OSI ซึ่งจะนำเข้าข้อมูล (ไฟล์ JSON) เป็นเอกสารลงในดัชนี OpenSearch Serverless โปรดทราบว่าดัชนี OpenSearch Serverless ได้รับการกำหนดค่าเป็นซิงก์สำหรับไปป์ไลน์นี้ และถูกสร้างขึ้นโดยเป็นส่วนหนึ่งของคอลเลกชัน OpenSearch Serverless
แผนภาพต่อไปนี้แสดงสถาปัตยกรรมการโต้ตอบของผู้ใช้
ขั้นตอนเวิร์กโฟลว์มีดังนี้:
- ผู้ใช้ส่งคำถามที่เกี่ยวข้องกับชุดสไลด์ที่มีการนำเข้า
- อินพุตของผู้ใช้จะถูกแปลงเป็นการฝังโดยใช้โมเดล Titan Multimodal Embeddings ที่เข้าถึงได้ผ่าน Amazon Bedrock การค้นหาเวกเตอร์ OpenSearch ดำเนินการโดยใช้การฝังเหล่านี้ เราทำการค้นหาเพื่อนบ้านที่ใกล้ที่สุด (k=1) เพื่อดึงข้อมูลการฝังที่เกี่ยวข้องมากที่สุดซึ่งตรงกับคำค้นหาของผู้ใช้ การตั้งค่า k=1 จะดึงสไลด์ที่เกี่ยวข้องกับคำถามของผู้ใช้มากที่สุด
- ข้อมูลเมตาของการตอบกลับจาก OpenSearch Serverless มีเส้นทางไปยังรูปภาพที่สอดคล้องกับสไลด์ที่เกี่ยวข้องมากที่สุด
- พรอมต์ถูกสร้างขึ้นโดยการรวมคำถามของผู้ใช้และเส้นทางรูปภาพ และมอบให้กับ LLaVA ที่โฮสต์บน SageMaker โมเดล LLaVA สามารถเข้าใจคำถามของผู้ใช้และตอบได้โดยการตรวจสอบข้อมูลในภาพ
- ผลลัพธ์ของการอนุมานนี้จะถูกส่งกลับไปยังผู้ใช้
ขั้นตอนเหล่านี้จะกล่าวถึงโดยละเอียดในหัวข้อต่อไปนี้ ดู ผลสอบ ส่วนสำหรับภาพหน้าจอและรายละเอียดเกี่ยวกับเอาต์พุต
เบื้องต้น
ในการใช้โซลูชันที่ให้ไว้ในโพสต์นี้ คุณควรมี บัญชี AWS และความคุ้นเคยกับ FM, Amazon Bedrock, SageMaker และ OpenSearch Service
โซลูชันนี้ใช้โมเดล Titan Multimodal Embeddings ตรวจสอบให้แน่ใจว่าโมเดลนี้เปิดใช้งานเพื่อใช้ใน Amazon Bedrock บนคอนโซล Amazon Bedrock ให้เลือก การเข้าถึงโมเดล ในบานหน้าต่างนำทาง หากเปิดใช้งาน Titan Multimodal Embeddings สถานะการเข้าถึงจะระบุ ให้สิทธิ์เข้าถึง.
หากไม่มีโมเดล ให้เปิดใช้งานการเข้าถึงโมเดลโดยเลือก จัดการการเข้าถึงโมเดล, การเลือก การฝังหลายรูปแบบ Titan G1และการเลือก ขอสิทธิ์เข้าถึงโมเดล. โมเดลนี้เปิดใช้งานได้ทันที
ใช้เทมเพลต AWS CloudFormation เพื่อสร้างกลุ่มโซลูชัน
ใช้อย่างใดอย่างหนึ่งต่อไปนี้ การก่อตัวของ AWS Cloud เทมเพลต (ขึ้นอยู่กับภูมิภาคของคุณ) เพื่อเปิดใช้ทรัพยากรโซลูชัน
ภูมิภาค AWS | ลิงค์ |
---|---|
us-east-1 |
|
us-west-2 |
หลังจากสร้างสแต็กสำเร็จแล้ว ให้ไปที่สแต็ก Outputs บนคอนโซล AWS CloudFormation และจดบันทึกค่าสำหรับ MultimodalCollectionEndpoint
ซึ่งเราใช้ในขั้นตอนต่อไป
เทมเพลต CloudFormation สร้างทรัพยากรต่อไปนี้:
- บทบาท IAM – ต่อไปนี้ AWS Identity และการจัดการการเข้าถึง มีการสร้างบทบาท (IAM) แล้ว อัปเดตบทบาทเหล่านี้เพื่อนำไปใช้ สิทธิ์สิทธิ์ขั้นต่ำ.
SMExecutionRole
ด้วย Amazon S3, SageMaker, OpenSearch Service และการเข้าถึง Bedrock อย่างเต็มรูปแบบOSPipelineExecutionRole
พร้อมสิทธิ์เข้าถึงการดำเนินการ Amazon SQS และ OSI เฉพาะ
- สมุดบันทึก SageMaker – รหัสทั้งหมดสำหรับโพสต์นี้เรียกใช้ผ่านสมุดบันทึกนี้
- คอลเลกชัน OpenSearch Serverless – นี่คือฐานข้อมูลเวกเตอร์สำหรับจัดเก็บและเรียกข้อมูลการฝัง
- ไปป์ไลน์ OSI – นี่คือไปป์ไลน์สำหรับการนำเข้าข้อมูลเข้าสู่ OpenSearch Serverless
- ถัง S3 – ข้อมูลทั้งหมดสำหรับโพสต์นี้ถูกเก็บไว้ในที่เก็บข้อมูลนี้
- คิว SQS – เหตุการณ์สำหรับการทริกเกอร์การรันไปป์ไลน์ OSI จะถูกใส่ไว้ในคิวนี้
เทมเพลต CloudFormation กำหนดค่าไปป์ไลน์ OSI โดยมีการประมวลผล Amazon S3 และ Amazon SQS เป็นแหล่งที่มาและดัชนี OpenSearch Serverless เป็นซิงก์ ออบเจ็กต์ใดๆ ที่สร้างขึ้นในบัคเก็ต S3 และคำนำหน้าที่ระบุ (multimodal/osi-embeddings-json
) จะทริกเกอร์การแจ้งเตือน SQS ซึ่งใช้โดยไปป์ไลน์ OSI เพื่อนำเข้าข้อมูลเข้าสู่ OpenSearch Serverless
เทมเพลต CloudFormation ก็สร้างเช่นกัน เครือข่าย, การเข้ารหัสลับและ การเข้าถึงข้อมูล นโยบายที่จำเป็นสำหรับคอลเลกชัน OpenSearch Serverless อัปเดตนโยบายเหล่านี้เพื่อใช้สิทธิ์ที่มีสิทธิ์น้อยที่สุด
โปรดทราบว่าชื่อเทมเพลต CloudFormation มีการอ้างอิงในสมุดบันทึก SageMaker หากชื่อเทมเพลตเริ่มต้นมีการเปลี่ยนแปลง ตรวจสอบให้แน่ใจว่าคุณได้อัปเดตชื่อเทมเพลตนั้นแล้ว globals.py
ทดสอบวิธีแก้ปัญหา
หลังจากที่ขั้นตอนเบื้องต้นเสร็จสมบูรณ์และสร้างสแตก CloudFormation สำเร็จแล้ว ตอนนี้คุณก็พร้อมที่จะทดสอบโซลูชันแล้ว:
- บนคอนโซล SageMaker ให้เลือก โน๊ตบุ๊ค ในบานหน้าต่างนำทาง
- เลือก
MultimodalNotebookInstance
โน้ตบุ๊กแล้วเลือก เปิด JupyterLab. - In ไฟล์เบราว์เซอร์ให้ข้ามไปยังโฟลเดอร์สมุดบันทึกเพื่อดูสมุดบันทึกและไฟล์ที่รองรับ
สมุดบันทึกจะมีหมายเลขตามลำดับที่เรียกใช้ คำแนะนำและข้อคิดเห็นในสมุดบันทึกแต่ละเล่มจะอธิบายการดำเนินการที่ทำโดยสมุดบันทึกนั้น เราใช้งานสมุดบันทึกเหล่านี้ทีละเครื่อง
- Choose 0_deploy_llava.ipynb เพื่อเปิดใน JupyterLab
- เกี่ยวกับ วิ่ง เมนูให้เลือก เรียกใช้ทุกเซลล์ เพื่อรันโค้ดในสมุดบันทึกนี้
สมุดบันทึกนี้ปรับใช้โมเดล LLaVA-v1.5-7B กับตำแหน่งข้อมูล SageMaker ในสมุดบันทึกนี้ เราดาวน์โหลดโมเดล LLaVA-v1.5-7B จาก HuggingFace Hub แทนที่สคริปต์ inference.py ด้วย llava_inference.pyและสร้างไฟล์ model.tar.gz สำหรับโมเดลนี้ ไฟล์ model.tar.gz ได้รับการอัปโหลดไปยัง Amazon S3 และใช้สำหรับปรับใช้โมเดลบนตำแหน่งข้อมูล SageMaker ที่ llava_inference.py script มีโค้ดเพิ่มเติมเพื่อให้สามารถอ่านไฟล์ภาพจาก Amazon S3 และเรียกใช้การอนุมานได้
- Choose 1_data_prep.ipynb เพื่อเปิดใน JupyterLab
- เกี่ยวกับ วิ่ง เมนูให้เลือก เรียกใช้ทุกเซลล์ เพื่อรันโค้ดในสมุดบันทึกนี้
สมุดบันทึกนี้จะดาวน์โหลด เด็คสไลด์แปลงแต่ละสไลด์เป็นรูปแบบไฟล์ JPG และอัปโหลดสิ่งเหล่านี้ไปยังบัคเก็ต S3 ที่ใช้สำหรับโพสต์นี้
- Choose 2_data_inggestion.ipynb เพื่อเปิดใน JupyterLab
- เกี่ยวกับ วิ่ง เมนูให้เลือก เรียกใช้ทุกเซลล์ เพื่อรันโค้ดในสมุดบันทึกนี้
เราทำสิ่งต่อไปนี้ในสมุดบันทึกนี้:
- เราสร้างดัชนีในคอลเลกชัน OpenSearch Serverless ดัชนีนี้จัดเก็บข้อมูลการฝังสำหรับชุดสไลด์ ดูรหัสต่อไปนี้:
- เราใช้โมเดล Titan Multimodal Embeddings เพื่อแปลงรูปภาพ JPG ที่สร้างในสมุดบันทึกก่อนหน้าเป็นการฝังเวกเตอร์ การฝังเหล่านี้และข้อมูลเมตาเพิ่มเติม (เช่น เส้นทาง S3 ของไฟล์รูปภาพ) จะถูกจัดเก็บไว้ในไฟล์ JSON และอัปโหลดไปยัง Amazon S3 โปรดทราบว่าไฟล์ JSON ไฟล์เดียวจะถูกสร้างขึ้น ซึ่งมีเอกสารสำหรับสไลด์ (รูปภาพ) ทั้งหมดที่แปลงเป็นการฝัง ข้อมูลโค้ดต่อไปนี้แสดงวิธีการแปลงรูปภาพ (ในรูปแบบของสตริงที่เข้ารหัส Base64) เป็นการฝัง:
- การดำเนินการนี้จะทริกเกอร์ไปป์ไลน์ OpenSearch Ingestion ซึ่งจะประมวลผลไฟล์และส่งเข้าไปในดัชนี OpenSearch Serverless ต่อไปนี้คือตัวอย่างไฟล์ JSON ที่สร้างขึ้น (เวกเตอร์ที่มีสี่มิติแสดงอยู่ในโค้ดตัวอย่าง โมเดล Titan Multimodal Embeddings สร้าง 1,024 มิติ)
- Choose 3_rag_inference.ipynb เพื่อเปิดใน JupyterLab
- เกี่ยวกับ วิ่ง เมนูให้เลือก เรียกใช้ทุกเซลล์ เพื่อรันโค้ดในสมุดบันทึกนี้
สมุดบันทึกนี้ใช้โซลูชัน RAG: เราแปลงคำถามของผู้ใช้เป็นการฝัง ค้นหารูปภาพที่คล้ายกัน (สไลด์) จากฐานข้อมูลเวกเตอร์ และจัดเตรียมรูปภาพที่ดึงมาให้กับ LLaVA เพื่อสร้างคำตอบสำหรับคำถามของผู้ใช้ เราใช้เทมเพลตพร้อมท์ต่อไปนี้:
ข้อมูลโค้ดต่อไปนี้มีเวิร์กโฟลว์ RAG:
ผลสอบ
ต่อไปนี้เป็นการรวบรวมคำถามและคำตอบของผู้ใช้บางส่วนที่สร้างขึ้นจากการใช้งานของเรา ที่ คำถาม คอลัมน์จับคำถามของผู้ใช้และ คำตอบ คอลัมน์คือการตอบกลับด้วยข้อความที่สร้างโดย LLaVA ภาพ คือการจับคู่สไลด์ k-ที่ใกล้ที่สุด (k=1) ที่ส่งคืนโดยการค้นหาเวกเตอร์ OpenSearch Serverless สไลด์นี้ตีความโดย LLaVA เพื่อให้คำตอบ
ผลลัพธ์ RAG ต่อเนื่องหลายรูปแบบ
คำถาม | คำตอบ | ภาพ |
---|---|---|
Inf2 เปรียบเทียบประสิทธิภาพกับ EC2 instance ที่เทียบเคียงได้อย่างไร ฉันต้องการตัวเลข | ตามข้อมูลสไลด์ อินสแตนซ์ Inf2 โดย AWS Inferentia2 ให้ปริมาณการประมวลผลที่สูงขึ้นถึง 4 เท่าและความหน่วงที่ต่ำกว่า 10 เท่า เมื่อเทียบกับอินสแตนซ์ EC2 ที่เทียบเคียงได้ | |
ตามมู่เล่ AI/ML บริการ AWS AI/ML ให้อะไรบ้าง | บริการ AWS AI/ML มอบความสามารถ $/perfer ความสามารถใหม่ และการลงทุนในนวัตกรรมที่ดียิ่งขึ้น | |
เมื่อเทียบกับ GPT-2 แล้ว GPT-3 มีพารามิเตอร์อีกกี่ตัว ความแตกต่างเชิงตัวเลขระหว่างขนาดพารามิเตอร์ของ GPT-2 และ GPT-3 คืออะไร | ตามสไลด์ GPT-3 มีพารามิเตอร์ 175 พันล้านพารามิเตอร์ ในขณะที่ GPT-2 มีพารามิเตอร์ 1.5 พันล้านพารามิเตอร์ ความแตกต่างเชิงตัวเลขระหว่างขนาดพารามิเตอร์ของ GPT-2 และ GPT-3 คือ 173.5 พันล้าน | |
ควาร์กในฟิสิกส์อนุภาคคืออะไร? | ฉันไม่พบคำตอบสำหรับคำถามนี้ในชุดสไลด์ |
อย่าลังเลที่จะขยายโซลูชันนี้ไปยังชุดสไลด์ของคุณ เพียงอัปเดตตัวแปร SLIDE_DECK ใน globals.py ด้วย URL ไปยังชุดสไลด์ของคุณ และรันขั้นตอนการนำเข้าที่มีรายละเอียดในส่วนก่อนหน้า
ปลาย
คุณสามารถใช้ OpenSearch Dashboards เพื่อโต้ตอบกับ OpenSearch API เพื่อทำการทดสอบอย่างรวดเร็วกับดัชนีและข้อมูลที่นำเข้าของคุณ ภาพหน้าจอต่อไปนี้แสดงตัวอย่าง GET ของแดชบอร์ด OpenSearch
ทำความสะอาด
เพื่อหลีกเลี่ยงไม่ให้มีการเรียกเก็บเงินในอนาคต โปรดลบทรัพยากรที่คุณสร้างขึ้น คุณสามารถทำได้โดยการลบสแต็กผ่านคอนโซล CloudFormation
นอกจากนี้ ให้ลบตำแหน่งข้อมูลการอนุมานของ SageMaker ที่สร้างขึ้นสำหรับการอนุมาน LLaVA คุณสามารถทำได้โดยยกเลิกการใส่หมายเหตุในขั้นตอนการล้างข้อมูล 3_rag_inference.ipynb และเรียกใช้เซลล์ หรือโดยการลบจุดสิ้นสุดผ่านคอนโซล SageMaker: เลือก การอนุมาน และ ปลายทาง ในบานหน้าต่างนำทาง จากนั้นเลือกจุดสิ้นสุดและลบออก
สรุป
องค์กรต่างๆ สร้างเนื้อหาใหม่ตลอดเวลา และชุดสไลด์เป็นกลไกทั่วไปที่ใช้ในการแบ่งปันและเผยแพร่ข้อมูลภายในกับองค์กรและภายนอกกับลูกค้าหรือในการประชุม เมื่อเวลาผ่านไป ข้อมูลที่สมบูรณ์สามารถถูกฝังและซ่อนไว้ในรูปแบบที่ไม่ใช่ข้อความ เช่น กราฟและตารางในชุดสไลด์เหล่านี้ คุณสามารถใช้โซลูชันนี้และพลังของ FM ต่อเนื่องหลายรูปแบบ เช่น โมเดล Titan Multimodal Embeddings และ LLaVA เพื่อค้นหาข้อมูลใหม่หรือค้นพบมุมมองใหม่เกี่ยวกับเนื้อหาในชุดสไลด์
เราขอแนะนำให้คุณเรียนรู้เพิ่มเติมโดยการสำรวจ Amazon SageMaker JumpStart, โมเดลอเมซอนไททัน, Amazon Bedrock และ OpenSearch Service และการสร้างโซลูชันโดยใช้ตัวอย่างการใช้งานที่ให้ไว้ในโพสต์นี้
คอยติดตามโพสต์เพิ่มเติมสองรายการซึ่งเป็นส่วนหนึ่งของซีรีส์นี้ ส่วนที่ 2 ครอบคลุมถึงแนวทางอื่นที่คุณสามารถทำได้เพื่อพูดคุยกับชุดสไลด์ของคุณ วิธีการนี้จะสร้างและจัดเก็บการอนุมานของ LLaVA และใช้การอนุมานที่เก็บไว้เหล่านั้นเพื่อตอบสนองต่อคำค้นหาของผู้ใช้ ส่วนที่ 3 เปรียบเทียบทั้งสองแนวทาง
เกี่ยวกับผู้แต่ง
อมิตร อโรรา เป็นสถาปนิกผู้เชี่ยวชาญด้าน AI และ ML ที่ Amazon Web Services ช่วยให้ลูกค้าองค์กรใช้บริการการเรียนรู้ของเครื่องบนคลาวด์เพื่อปรับขนาดนวัตกรรมของพวกเขาอย่างรวดเร็ว เขายังเป็นอาจารย์เสริมในโปรแกรมวิทยาศาสตร์ข้อมูลและการวิเคราะห์ MS ที่มหาวิทยาลัยจอร์จทาวน์ในวอชิงตัน ดี.ซี
มันจู ปราสาด เป็นสถาปนิกโซลูชันอาวุโสภายในบัญชีเชิงกลยุทธ์ที่ Amazon Web Services เธอมุ่งเน้นไปที่การให้คำแนะนำด้านเทคนิคในโดเมนที่หลากหลาย รวมถึง AI/ML ให้กับลูกค้า M&E รายใหญ่ ก่อนที่จะมาร่วมงานกับ AWS เธอได้ออกแบบและสร้างโซลูชันสำหรับบริษัทในภาคบริการทางการเงินและสำหรับสตาร์ทอัพด้วย
อจนา อินาปุดี เป็นสถาปนิกโซลูชันอาวุโสของ AWS ที่สนับสนุนลูกค้าเชิงกลยุทธ์ เธอมีประสบการณ์มากกว่าทศวรรษในการช่วยลูกค้าออกแบบและสร้างการวิเคราะห์ข้อมูลและโซลูชันฐานข้อมูล เธอมีความหลงใหลในการใช้เทคโนโลยีเพื่อสร้างมูลค่าให้กับลูกค้าและบรรลุผลลัพธ์ทางธุรกิจ
อันทารา ไรซา เป็นสถาปนิกโซลูชัน AI และ ML ที่ Amazon Web Services ซึ่งสนับสนุนลูกค้าเชิงกลยุทธ์ในเมืองดัลลัส รัฐเท็กซัส เธอยังเคยมีประสบการณ์ในการทำงานร่วมกับคู่ค้าระดับองค์กรขนาดใหญ่ที่ AWS มาก่อน โดยเธอเคยทำงานเป็น Partner Success Solutions Architect สำหรับลูกค้าที่เป็นเจ้าของระบบดิจิทัล
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/talk-to-your-slide-deck-using-multimodal-foundation-models-hosted-on-amazon-bedrock-and-amazon-sagemaker-part-1/
- :มี
- :เป็น
- :ไม่
- :ที่ไหน
- $ ขึ้น
- 1
- 10
- 100
- 13
- 15%
- 16
- 173
- 20
- 2023
- 26
- 29
- 31
- 8
- 9
- a
- สามารถ
- เกี่ยวกับเรา
- เข้า
- Accessed
- บัญชี
- บรรลุ
- การกระทำ
- การปฏิบัติ
- การกระทำ
- เพิ่ม
- เพิ่มเติม
- ผู้ช่วย
- การกำเนิด
- กับ
- AI
- AI / ML
- ทั้งหมด
- อนุญาต
- ตาม
- ด้วย
- อเมซอน
- อเมซอน SageMaker
- Amazon Web Services
- an
- การวิเคราะห์
- และ
- อื่น
- คำตอบ
- ตอบ
- คำตอบ
- ใด
- API
- ใช้
- เข้าใกล้
- วิธีการ
- สถาปัตยกรรม
- เป็น
- AS
- ถาม
- ผู้ช่วย
- ที่เกี่ยวข้อง
- At
- เสียง
- เติม
- รับรองความถูกต้อง
- ใช้ได้
- หลีกเลี่ยง
- AWS
- การก่อตัวของ AWS Cloud
- ตาม
- BE
- รับ
- ดีกว่า
- ระหว่าง
- พันล้าน
- ร่างกาย
- สร้าง
- การก่อสร้าง
- สร้าง
- ธุรกิจ
- by
- CAN
- ความสามารถในการ
- ความสามารถ
- จับ
- เซลล์
- การเปลี่ยนแปลง
- โหลด
- Choose
- เลือก
- ไคลเอนต์
- รหัส
- ชุด
- คอลเลกชัน
- สะสม
- คอลัมน์
- การผสมผสาน
- การรวมกัน
- ความคิดเห็น
- ร่วมกัน
- บริษัท
- เทียบเคียง
- เปรียบเทียบ
- เมื่อเทียบกับ
- สมบูรณ์
- เสร็จ
- ส่วนประกอบ
- แนวคิด
- การประชุม
- องค์ประกอบ
- การกำหนดค่า
- ประกอบ
- ปลอบใจ
- บรรจุ
- ที่มีอยู่
- มี
- เนื้อหา
- การสร้างเนื้อหา
- แปลง
- แปลง
- การแปลง
- ตรงกัน
- ได้
- ครอบคลุม
- สร้าง
- ที่สร้างขึ้น
- สร้าง
- การสร้าง
- การสร้าง
- หนังสือรับรอง
- ลูกค้า
- ลูกค้า
- ดัลลัส
- หน้าปัด
- แดชบอร์ด
- ข้อมูล
- วิเคราะห์ข้อมูล
- วิทยาศาสตร์ข้อมูล
- ฐานข้อมูล
- ทศวรรษ
- สำรับ
- ค่าเริ่มต้น
- ส่งมอบ
- มอบ
- สาธิต
- ทั้งนี้ขึ้นอยู่กับ
- ปรับใช้
- นำไปใช้
- ปรับใช้
- Deploys
- บรรยาย
- ออกแบบ
- ได้รับการออกแบบ
- รายละเอียด
- รายละเอียด
- รายละเอียด
- แผนภาพ
- Dict
- DID
- ความแตกต่าง
- ต่าง
- การจัดจำหน่าย
- ดิจิตอล
- Dimension
- มิติ
- ค้นพบ
- กล่าวถึง
- แสดง
- do
- เอกสาร
- ทำ
- โดเมน
- ดาวน์โหลด
- ดาวน์โหลด
- ในระหว่าง
- e
- แต่ละ
- องค์ประกอบ
- ที่ฝัง
- การฝัง
- ทำให้สามารถ
- เปิดการใช้งาน
- เข้ารหัส
- ส่งเสริม
- ปลาย
- ปลายทาง
- เครื่องยนต์
- ทำให้มั่นใจ
- Enterprise
- ลูกค้าองค์กร
- ความผิดพลาด
- อีเธอร์ (ETH)
- เหตุการณ์
- เหตุการณ์
- การตรวจสอบ
- ตัวอย่าง
- ยกเว้น
- ข้อยกเว้น
- ที่มีอยู่
- ประสบการณ์
- สำรวจ
- ขยายออก
- อย่างผิวเผิน
- สารสกัด
- ความคุ้นเคย
- สาขา
- เนื้อไม่มีมัน
- ไฟล์
- ทางการเงิน
- บริการทางการเงิน
- หา
- มุ่งเน้นไปที่
- ปฏิบัติตาม
- ดังต่อไปนี้
- ดังต่อไปนี้
- สำหรับ
- ฟอร์ม
- รูป
- รากฐาน
- สี่
- ฟรี
- ราคาเริ่มต้นที่
- เต็ม
- อย่างเต็มที่
- อนาคต
- สร้าง
- สร้าง
- สร้าง
- รุ่น
- กำเนิด
- กำเนิด AI
- จอร์จทาวน์
- ได้รับ
- GitHub
- ไป
- กราฟ
- คำแนะนำ
- มี
- he
- เป็นประโยชน์
- การช่วยเหลือ
- โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม
- ซ่อนเร้น
- สูงกว่า
- ฮิต
- เจ้าภาพ
- เป็นเจ้าภาพ
- โฮสติ้ง
- เจ้าภาพ
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- อย่างไรก็ตาม
- HTML
- ที่ http
- HTTPS
- Hub
- กอดใบหน้า
- i
- AMI
- เอกลักษณ์
- if
- แสดงให้เห็นถึง
- ภาพ
- ภาพ
- ทันที
- การดำเนินการ
- การดำเนินงาน
- การดำเนินการ
- in
- ประกอบด้วย
- รวมถึง
- รวมทั้ง
- ดัชนี
- ดัชนี
- ข้อมูล
- นักวิเคราะห์ส่วนบุคคลที่หาโอกาสให้เป็นไปได้มากที่สุด
- นวัตกรรม
- อินพุต
- ตัวอย่าง
- อินสแตนซ์
- คำแนะนำการใช้
- โต้ตอบ
- ปฏิสัมพันธ์
- ภายใน
- เข้าไป
- การลงทุน
- IT
- การร่วม
- jpg
- JSON
- มิถุนายน
- ภาษา
- ใหญ่
- ความแอบแฝง
- เปิดตัว
- เรียนรู้
- การเรียนรู้
- วิทยากร
- กดไลก์
- LINK
- ดูรายละเอียด
- ในประเทศ
- ลด
- เครื่อง
- เรียนรู้เครื่อง
- ทำ
- จัดการ
- การจัดการ
- หลาย
- การจับคู่
- การจับคู่
- กลไก
- เมนู
- เมตาดาต้า
- วิธี
- ML
- กิริยา
- แบบ
- โมเดล
- ข้อมูลเพิ่มเติม
- มากที่สุด
- MS
- หลาย
- ชื่อ
- พื้นเมือง
- นำทาง
- การเดินเรือ
- จำเป็นต้อง
- ใหม่
- ไม่มี
- หมายเหตุ
- สมุดบันทึก
- โน๊ตบุ๊ค
- การแจ้งเตือน
- ตอนนี้
- หมายเลข
- ตัวเลข
- วัตถุ
- of
- เสนอ
- on
- ตามความต้องการ
- ONE
- เพียง
- เปิด
- โอเพนซอร์ส
- or
- organizacja
- OS
- ของเรา
- ออก
- ผลลัพธ์
- เอาท์พุต
- เกิน
- บานหน้าต่าง
- พารามิเตอร์
- พารามิเตอร์
- ส่วนหนึ่ง
- อนุภาค
- หุ้นส่วน
- พาร์ทเนอร์
- ส่วน
- ผ่าน
- หลงใหล
- เส้นทาง
- รูปแบบไฟล์ PDF
- ต่อ
- ดำเนินการ
- การปฏิบัติ
- ดำเนินการ
- สิทธิ์
- มุมมอง
- ระยะ
- ฟิสิกส์
- ภาพ
- ท่อ
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- นโยบาย
- โพสต์
- โพสต์
- ที่อาจเกิดขึ้น
- อำนาจ
- ที่มีประสิทธิภาพ
- Predictor
- นำเสนอ
- นำเสนอ
- ก่อน
- ก่อน
- กระบวนการ
- การประมวลผล
- กระบวนการ
- การประมวลผล
- โครงการ
- คุณสมบัติ
- ให้
- ให้
- ให้
- การให้
- ใส่
- ควาร์ก
- คำสั่ง
- การสอบถาม
- คำถาม
- คำถาม
- รวดเร็ว
- เศษผ้า
- พิสัย
- อย่างรวดเร็ว
- การอ่าน
- พร้อม
- โลกแห่งความจริง
- ที่ได้รับ
- อ้างอิง
- ภูมิภาค
- ที่เกี่ยวข้อง
- ตรงประเด็น
- ยังคง
- แทนที่
- ขอ
- จำเป็นต้องใช้
- แหล่งข้อมูล
- ตอบสนอง
- คำตอบ
- การตอบสนอง
- ผล
- ส่งผลให้
- ผลสอบ
- การแก้ไข
- กลับ
- รวย
- บทบาท
- วิ่ง
- วิ่ง
- sagemaker
- การอนุมาน SageMaker
- เดียวกัน
- กล่าว
- ขนาด
- วิทยาศาสตร์
- ภาพหน้าจอ
- ต้นฉบับ
- ค้นหา
- ที่สอง
- Section
- ส่วน
- ภาค
- เห็น
- เลือก
- การเลือก
- ระดับอาวุโส
- ลำดับ
- ชุด
- serverless
- ให้บริการอาหาร
- บริการ
- บริการ
- เซสชั่น
- ชุดอุปกรณ์
- การตั้งค่า
- การตั้งค่า
- Share
- เธอ
- น่า
- แสดง
- แสดงให้เห็นว่า
- คล้ายคลึงกัน
- ง่าย
- ง่ายดาย
- เดียว
- ขนาด
- เลื่อน
- สไลด์
- เศษเล็กเศษน้อย
- So
- ทางออก
- โซลูชัน
- บาง
- แหล่ง
- ผู้เชี่ยวชาญ
- โดยเฉพาะ
- ที่ระบุไว้
- มั่นคง
- กอง
- การเริ่มต้น
- สถานะ
- Status
- ขั้นตอน
- ขั้นตอน
- การเก็บรักษา
- จัดเก็บ
- เก็บไว้
- ร้านค้า
- ยุทธศาสตร์
- เชือก
- ภายหลัง
- ความสำเร็จ
- ประสบความสำเร็จ
- อย่างเช่น
- ประชุมสุดยอด
- ที่สนับสนุน
- แน่ใจ
- ตาราง
- เอา
- คุย
- งาน
- วิชาการ
- เทคโนโลยี
- เทมเพลต
- แม่แบบ
- ทดสอบ
- การทดสอบ
- เท็กซัส
- ข้อความ
- เกี่ยวกับใจความ
- ที่
- พื้นที่
- ข้อมูล
- ของพวกเขา
- แล้วก็
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- นี้
- เหล่านั้น
- ปริมาณงาน
- เวลา
- ยักษ์
- หัวข้อ
- ไปยัง
- วันนี้
- ร่วมกัน
- โตรอน
- ตามธรรมเนียม
- สำรวจ
- เรียก
- วิกฤติ
- จริง
- ลอง
- กลับ
- สอง
- ชนิด
- เปิดเผย
- เข้าใจ
- ความเข้าใจ
- มหาวิทยาลัย
- บันทึก
- อัปโหลด
- URL
- ใช้
- มือสอง
- ผู้ใช้งาน
- ใช้
- การใช้
- ความคุ้มค่า
- ตัวแปร
- ความหลากหลาย
- รุ่น
- ผ่านทาง
- วีดีโอ
- รายละเอียด
- วิสัยทัศน์
- ภาพ
- วอชิงตัน
- วิธี
- we
- เว็บ
- บริการเว็บ
- ดี
- อะไร
- ความหมายของ
- ที่
- ในขณะที่
- จะ
- กับ
- ภายใน
- ทำงาน
- เวิร์กโฟลว์
- การทำงาน
- เธอ
- ของคุณ
- ลมทะเล