อเมซอน EMR เป็นบริการข้อมูลขนาดใหญ่ที่ AWS เสนอให้เรียกใช้ Apache Spark และแอปพลิเคชันโอเพ่นซอร์สอื่นๆ บน AWS เพื่อสร้างไปป์ไลน์ข้อมูลที่ปรับขนาดได้ในลักษณะที่คุ้มค่า การตรวจสอบบันทึกที่สร้างจากงานที่ปรับใช้บนคลัสเตอร์ EMR เป็นสิ่งสำคัญในการช่วยตรวจหาปัญหาที่สำคัญแบบเรียลไทม์และระบุสาเหตุหลักได้อย่างรวดเร็ว
ผลักดันบันทึกเหล่านั้นเข้า อเมซอน คลาวด์วอตช์ ช่วยให้คุณสามารถรวมศูนย์และขับเคลื่อนข่าวกรองที่สามารถดำเนินการได้จากบันทึกของคุณเพื่อแก้ไขปัญหาการดำเนินงานโดยไม่จำเป็นต้องจัดเตรียมเซิร์ฟเวอร์หรือจัดการซอฟต์แวร์ คุณสามารถเริ่มเขียนแบบสอบถามด้วยการรวม ตัวกรอง และนิพจน์ทั่วไปได้ทันที นอกจากนี้ คุณยังสามารถแสดงภาพข้อมูลอนุกรมเวลา เจาะลึกเหตุการณ์บันทึกแต่ละรายการ และส่งออกผลการสืบค้นไปยังแดชบอร์ด CloudWatch
เพื่อนำเข้าบันทึกที่ยังคงอยู่ใน อเมซอน อีลาสติก คอมพิวท์ คลาวด์ (Amazon EC2) อินสแตนซ์ของคลัสเตอร์ EMR ไปยัง CloudWatch คุณสามารถใช้ ตัวแทน CloudWatch. นี่เป็นวิธีง่ายๆ ในการพุชบันทึกจากอินสแตนซ์ EC2 ไปยัง CloudWatch
CloudWatch agent เป็นแพ็คเกจซอฟต์แวร์ที่ทำงานบนเซิร์ฟเวอร์ของคุณโดยอัตโนมัติและต่อเนื่อง คุณสามารถติดตั้งและกำหนดค่าตัวแทน CloudWatch เพื่อรวบรวมบันทึกระบบและแอปพลิเคชันจากอินสแตนซ์ EC2 โฮสต์ในสถานที่ และแอปพลิเคชันคอนเทนเนอร์ CloudWatch ประมวลผลและจัดเก็บบันทึกที่รวบรวมโดยตัวแทน CloudWatch ซึ่งช่วยเพิ่มเติมเกี่ยวกับประสิทธิภาพและการตรวจสอบความสมบูรณ์ของโครงสร้างพื้นฐานและแอปพลิเคชันของคุณ
ในโพสต์นี้ เราสร้างคลัสเตอร์ EMR และรวมศูนย์บันทึกขั้นตอน EMR ของงานใน CloudWatch ซึ่งจะช่วยให้คุณจัดการคลัสเตอร์ EMR แก้ไขปัญหา และตรวจสอบประสิทธิภาพได้ง่ายขึ้น โซลูชันนี้มีประโยชน์อย่างยิ่งหากคุณต้องการใช้ CloudWatch เพื่อรวบรวมและแสดงภาพบันทึก ตัวชี้วัด และข้อมูลเหตุการณ์ตามเวลาจริง ปรับปรุงโครงสร้างพื้นฐานและการบำรุงรักษาแอปพลิเคชันของคุณ
ภาพรวมของโซลูชัน
โซลูชันที่นำเสนอในโพสต์นี้อิงตามการกำหนดค่าเฉพาะที่ระดับการทำงานพร้อมกันของขั้นตอน EMR ถูกตั้งค่าเป็น 1 ซึ่งหมายความว่ามีเพียงหนึ่งขั้นตอนเท่านั้นที่ทำงานพร้อมกันในคลัสเตอร์ โปรดทราบว่าหากระดับการทำงานพร้อมกันของขั้นตอน EMR ถูกตั้งค่าเป็นค่าที่มากกว่า 1 โซลูชันอาจไม่ทำงานตามที่คาดไว้ เราขอแนะนำอย่างยิ่งให้ยืนยันตัวตนของคุณ การทำงานพร้อมกันของขั้นตอน EMR การกำหนดค่าก่อนที่จะใช้โซลูชันที่นำเสนอในโพสต์นี้
ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมโซลูชัน
เวิร์กโฟลว์ประกอบด้วยขั้นตอนต่อไปนี้:
- ผู้ใช้เริ่มต้นงาน Apache Spark EMR โดยสร้างขั้นตอนบนคลัสเตอร์ EMR เมื่อใช้ Apache Spark ภาระงานจะกระจายไปตามโหนดต่างๆ ของคลัสเตอร์ EMR
- ในแต่ละโหนด (อินสแตนซ์ EC2) ของคลัสเตอร์ ตัวแทน CloudWatch จะเฝ้าดูไดเร็กทอรีบันทึกต่างๆ รวบรวมรายการใหม่ในไฟล์บันทึกและส่งไปยัง CloudWatch
- ผู้ใช้สามารถดูบันทึกขั้นตอนที่เข้าถึงกลุ่มบันทึกต่างๆ ได้จากคอนโซล CloudWatch บันทึกขั้นตอนที่เขียนโดย Amazon EMR มีดังนี้:
- ตัวควบคุม — ข้อมูลเกี่ยวกับการประมวลผลของขั้นตอน หากขั้นตอนของคุณล้มเหลวขณะโหลด คุณจะพบสแต็กเทรซในบันทึกนี้
- สตเดอร์ — ช่องข้อผิดพลาดมาตรฐานของ Spark ในขณะที่ประมวลผลขั้นตอน
- แย่ — ช่องเอาต์พุตมาตรฐานของ Spark ในขณะที่ประมวลผลขั้นตอน
เราให้บริการ การก่อตัวของ AWS Cloud เทมเพลตในโพสต์นี้เป็นแนวทางทั่วไป เทมเพลตสาธิตวิธีกำหนดค่าตัวแทน CloudWatch บน Amazon EMR เพื่อส่งบันทึก Spark ไปยัง CloudWatch คุณสามารถตรวจสอบและปรับแต่งได้ตามต้องการเพื่อรวมการกำหนดค่าความปลอดภัย Amazon EMR ของคุณ ตามแนวทางปฏิบัติที่ดีที่สุด เราขอแนะนำให้รวมการกำหนดค่าความปลอดภัยของ Amazon EMR ไว้ในเทมเพลตด้วย เข้ารหัสข้อมูลระหว่างทาง.
คุณควรทราบด้วยว่าทรัพยากรบางอย่างที่ปรับใช้โดยสแต็กนี้มีค่าใช้จ่ายเมื่อยังคงใช้งานอยู่
ในหัวข้อถัดไป เราจะดำเนินการตามขั้นตอนต่อไปนี้:
- สร้างและอัปโหลดสคริปต์บูตสแตรปไปที่ บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) ถัง
- ใช้เทมเพลต CloudFormation เพื่อสร้างทรัพยากรต่อไปนี้:
- ตรวจสอบบันทึก Spark บนคอนโซล CloudWatch
เบื้องต้น
โพสต์นี้ถือว่าคุณมีสิ่งต่อไปนี้:
สร้างและอัปโหลดสคริปต์บูตสแตรปไปยังบัคเก็ต S3
สำหรับข้อมูลเพิ่มเติมโปรดดูที่ กำลังอัพโหลดวัตถุ และ การติดตั้งและใช้งาน CloudWatch agent บนเซิร์ฟเวอร์ของคุณ.
หากต้องการสร้างและอัปโหลดสคริปต์บูต ให้ทำตามขั้นตอนต่อไปนี้:
- สร้างไฟล์ในเครื่องชื่อ
bootstrap_cloudwatch_agent.sh
มีเนื้อหาต่อไปนี้: - บนคอนโซล Amazon S3 เลือกบัคเก็ต S3 ของคุณ
- เกี่ยวกับ วัตถุ เลือกแท็บ อัพโหลด.
- Choose เพิ่มไฟล์จากนั้นเลือกสคริปต์บูต
- Choose อัพโหลดจากนั้นเลือกชื่อไฟล์:
bootstrap_cloudwatch_agent.sh
. - Choose คัดลอก S3 URI. เราใช้ค่านี้ในขั้นตอนต่อไป
จัดสรรทรัพยากรด้วยเทมเพลต CloudFormation
Choose เรียกใช้ Stack เพื่อเปิด CloudFormation stack ในบัญชีของคุณและปรับใช้เทมเพลต:
เทมเพลตนี้สร้างบทบาท IAM, โปรไฟล์อินสแตนซ์ IAM, พารามิเตอร์ Systems Manager และคลัสเตอร์ EMR คลัสเตอร์เริ่มต้นที่ แอปพลิเคชันตัวอย่างการประมาณค่า Spark PI. คุณจะถูกเรียกเก็บเงินสำหรับทรัพยากร AWS ที่ใช้ หากคุณสร้างสแตกจากเทมเพลตนี้
ตัวช่วยสร้าง CloudFormation จะขอให้คุณแก้ไขหรือระบุพารามิเตอร์เหล่านี้:
- ประเภทอินสแตนซ์ - ประเภทของอินสแตนซ์ สำหรับกลุ่มอินสแตนซ์ทั้งหมด ค่าเริ่มต้นคือ m4.xlarge
- อินสแตนซ์CountCore – จำนวนอินสแตนซ์ในกลุ่มอินสแตนซ์หลัก ค่าเริ่มต้นคือ 2
- EMRRleaseLabel - ป้ายกำกับการเผยแพร่ Amazon EMR คุณต้องการใช้ ค่าเริ่มต้นคือ emr-6.9.0
- BootstrapScriptPath – เส้นทาง S3 ของสคริปต์บู๊ตสแตรปการติดตั้งตัวแทน CloudWatch ที่คุณคัดลอกไว้ก่อนหน้านี้
- ซับเน็ต – เครือข่ายย่อย EC2 ที่เปิดตัวคลัสเตอร์ คุณต้องระบุพารามิเตอร์นี้
- EC2KeyPairName – คู่คีย์ EC2 ที่เป็นทางเลือกสำหรับการเชื่อมต่อกับโหนดคลัสเตอร์ ซึ่งเป็นทางเลือกแทน Session Manager
ตรวจสอบสตรีมบันทึก
หลังจากปรับใช้สแต็ก CloudFormation สำเร็จ บนคอนโซล CloudWatch ให้เลือก กลุ่มบันทึก ในบานหน้าต่างนำทาง จากนั้นกรองกลุ่มบันทึกตามคำนำหน้า /aws/emr/master
.
รหัสในกลุ่มบันทึกสอดคล้องกับรหัสอินสแตนซ์ EC2 ของโหนดหลัก EMR หากคุณมีคลัสเตอร์ EMR หลายรายการ คุณสามารถใช้ ID นี้เพื่อระบุคลัสเตอร์ EMR เฉพาะ โดยยึดตามรหัสโหนดหลัก
ในกลุ่มบันทึก คุณจะพบสตรีมบันทึกที่แตกต่างกันสามรายการ
สตรีมบันทึกประกอบด้วยข้อมูลต่อไปนี้:
- ขั้นตอน stdout – ช่องเอาต์พุตมาตรฐานของ Spark ในขณะที่ประมวลผลขั้นตอน
- ขั้นตอน stderr – ช่องข้อผิดพลาดมาตรฐานของ Spark ในขณะที่ประมวลผลขั้นตอน
- ตัวควบคุมขั้นตอน – ข้อมูลเกี่ยวกับการประมวลผลของขั้นตอน หากขั้นตอนของคุณล้มเหลวขณะโหลด คุณจะพบสแต็กเทรซในบันทึกนี้
ทำความสะอาด
เพื่อหลีกเลี่ยงการเรียกเก็บเงินในบัญชีของคุณในอนาคต ให้ลบทรัพยากรที่คุณสร้างในการฝึกปฏิบัตินี้ คลัสเตอร์ EMR จะมีค่าใช้จ่ายตราบเท่าที่คลัสเตอร์ยังทำงานอยู่ ดังนั้นให้หยุดเมื่อดำเนินการเสร็จสิ้น
- บนคอนโซล CloudFormation ในบานหน้าต่างนำทาง เลือก สแต็ค.
- เลือกสแต็กที่คุณเปิดตัว (
EMR-CloudWatch-Demo
) จากนั้นเลือก ลบ. - ล้างบัคเก็ต S3 คุณสร้าง
- ลบบัคเก็ต S3 คุณสร้าง
สรุป
เมื่อคุณทำตามขั้นตอนในคำแนะนำนี้เสร็จแล้ว คุณมีตัวแทน CloudWatch ที่ทำงานบนโฮสต์ของคลัสเตอร์และกำหนดค่าให้พุชบันทึกขั้นตอน EMR ไปยัง CloudWatch ด้วยคุณสมบัตินี้ คุณสามารถตรวจสอบสถานภาพและประสิทธิภาพของงาน Spark ที่ทำงานบน Amazon EMR ได้อย่างมีประสิทธิภาพ ตรวจหาปัญหาที่สำคัญแบบเรียลไทม์และระบุสาเหตุที่แท้จริงได้อย่างรวดเร็ว
คุณสามารถจัดทำแพ็กเกจและปรับใช้โซลูชันนี้ผ่านเทมเพลต CloudFormation เช่นเทมเพลตตัวอย่างนี้ ซึ่งสร้างบทบาทโปรไฟล์อินสแตนซ์ IAM พารามิเตอร์ Systems Manager และคลัสเตอร์ EMR
หากต้องการดำเนินการเพิ่มเติม ให้พิจารณาใช้บันทึกเหล่านี้ในการเตือน CloudWatch สำหรับการแจ้งเตือนใน ตัวกรองเมตริกกลุ่มบันทึก. คุณสามารถรวบรวมด้วยการเตือนอื่น ๆ ใน ปลุกคอมโพสิต หรือกำหนดค่าการดำเนินการแจ้งเตือน เช่น การส่ง บริการแจ้งเตือนแบบง่ายของ Amazon การแจ้งเตือน (Amazon SNS) เพื่อทริกเกอร์กระบวนการที่ขับเคลื่อนด้วยเหตุการณ์ เช่น AWS แลมบ์ดา ฟังก์ชั่น
เกี่ยวกับผู้เขียน
เอนนิโอ ปาสตอเร่ เป็นสถาปนิกข้อมูลอาวุโสในทีม AWS Data Lab เขาเป็นคนที่กระตือรือร้นในทุกสิ่งที่เกี่ยวข้องกับเทคโนโลยีใหม่ที่มีผลกระทบเชิงบวกต่อธุรกิจและการดำรงชีวิตทั่วไป Ennio มีประสบการณ์มากกว่า 10 ปีในการวิเคราะห์ข้อมูล เขาช่วยบริษัทกำหนดและนำแพลตฟอร์มข้อมูลไปใช้ในอุตสาหกรรมต่างๆ เช่น โทรคมนาคม การธนาคาร เกม การค้าปลีก และการประกันภัย
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/big-data/push-amazon-emr-step-logs-from-amazon-ec2-instances-to-amazon-cloudwatch-logs/
- :เป็น
- 1
- 10
- 100
- 9
- a
- เกี่ยวกับเรา
- การเข้าถึง
- ลงชื่อเข้าใช้
- ข้าม
- การปฏิบัติ
- คล่องแคล่ว
- นอกจากนี้
- ที่อยู่
- ตัวแทน
- ปลุก
- การแจ้งเตือน
- ทั้งหมด
- ทางเลือก
- อเมซอน
- Amazon EC2
- อเมซอน EMR
- การวิเคราะห์
- และ
- อาปาเช่
- Apache Spark
- การใช้งาน
- การใช้งาน
- สถาปัตยกรรม
- เป็น
- AS
- At
- ตนเอง
- AWS
- การธนาคาร
- ตาม
- BE
- ก่อน
- เริ่ม
- ที่ดีที่สุด
- ใหญ่
- ข้อมูลขนาดใหญ่
- บูต
- สร้าง
- ธุรกิจ
- by
- CAN
- จับ
- สาเหตุที่
- ช่อง
- โหลด
- Choose
- Cluster
- รวบรวม
- บริษัท
- สมบูรณ์
- เสร็จ
- คำนวณ
- องค์ประกอบ
- การเชื่อมต่อ
- พิจารณา
- ปลอบใจ
- เนื้อหา
- อย่างต่อเนื่อง
- แกน
- สอดคล้อง
- ค่าใช้จ่ายที่มีประสิทธิภาพ
- ค่าใช้จ่าย
- ได้
- สร้าง
- ที่สร้างขึ้น
- สร้าง
- การสร้าง
- วิกฤติ
- ปรับแต่ง
- ข้อมูล
- วิเคราะห์ข้อมูล
- ค่าเริ่มต้น
- แสดงให้เห็นถึง
- ปรับใช้
- นำไปใช้
- Deploys
- ต่าง
- ไดเรกทอรี
- กระจาย
- ลง
- ขับรถ
- แต่ละ
- ก่อน
- ง่ายดาย
- เสียงสะท้อน
- มีประสิทธิภาพ
- ช่วยให้
- คนที่กระตือรือร้น
- ความผิดพลาด
- จำเป็น
- อีเธอร์ (ETH)
- เหตุการณ์
- เหตุการณ์
- ทุกอย่าง
- ตัวอย่าง
- ที่คาดหวัง
- ประสบการณ์
- ส่งออก
- การแสดงออก
- ล้มเหลว
- ลักษณะ
- เนื้อไม่มีมัน
- ไฟล์
- กรอง
- ฟิลเตอร์
- หา
- ดังต่อไปนี้
- ดังต่อไปนี้
- สำหรับ
- ราคาเริ่มต้นที่
- ฟังก์ชั่น
- ต่อไป
- อนาคต
- การเล่นเกม
- General
- สร้าง
- Go
- มากขึ้น
- บัญชีกลุ่ม
- กลุ่ม
- ให้คำแนะนำ
- มี
- สุขภาพ
- ช่วย
- เป็นประโยชน์
- จะช่วยให้
- อย่างสูง
- เจ้าภาพ
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTML
- ที่ http
- HTTPS
- AMI
- ID
- แยกแยะ
- ระบุ
- ส่งผลกระทบ
- การดำเนินการ
- การดำเนินการ
- สำคัญ
- in
- ประกอบด้วย
- รวมถึง
- รวมทั้ง
- เป็นรายบุคคล
- อุตสาหกรรม
- ข้อมูล
- โครงสร้างพื้นฐาน
- ติดตั้ง
- การติดตั้ง
- ตัวอย่าง
- ประกัน
- Intelligence
- ปัญหา
- IT
- การสัมภาษณ์
- งาน
- jpg
- JSON
- ห้องปฏิบัติการ
- เปิดตัว
- เปิดตัว
- การเปิดตัว
- ชั้น
- กดไลก์
- โหลด
- ในประเทศ
- นาน
- การบำรุงรักษา
- ทำ
- จัดการ
- ผู้จัดการ
- ลักษณะ
- วิธี
- ตัวชี้วัด
- แก้ไข
- การตรวจสอบ
- การตรวจสอบ
- ข้อมูลเพิ่มเติม
- หลาย
- ชื่อ
- ที่มีชื่อ
- การเดินเรือ
- จำเป็น
- ต้อง
- ใหม่
- เทคโนโลยีใหม่ ๆ
- ถัดไป
- ปม
- โหนด
- การประกาศ
- การแจ้งเตือน
- จำนวน
- of
- เสนอ
- on
- ONE
- โอเพนซอร์ส
- การดำเนินงาน
- อื่นๆ
- เอาท์พุต
- แพ็คเกจ
- บานหน้าต่าง
- พารามิเตอร์
- พารามิเตอร์
- ในสิ่งที่สนใจ
- โดยเฉพาะ
- เส้นทาง
- การปฏิบัติ
- แพลตฟอร์ม
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- บวก
- โพสต์
- การปฏิบัติ
- นำเสนอ
- ประถม
- กระบวนการ
- การประมวลผล
- โปรไฟล์
- ให้
- ให้
- บทบัญญัติ
- ผลัก
- ใจเร่งเร้า
- อย่างรวดเร็ว
- จริง
- เรียลไทม์
- แนะนำ
- ปกติ
- ที่เกี่ยวข้อง
- ปล่อย
- ยังคง
- แหล่งข้อมูล
- ผลสอบ
- ค้าปลีก
- ทบทวน
- บทบาท
- ราก
- วิ่ง
- วิ่ง
- ที่ปรับขนาดได้
- ส่วน
- ความปลอดภัย
- การส่ง
- ระดับอาวุโส
- ชุด
- บริการ
- เซสชั่น
- ชุด
- น่า
- ง่าย
- So
- ซอฟต์แวร์
- ทางออก
- บาง
- จุดประกาย
- โดยเฉพาะ
- กอง
- มาตรฐาน
- เริ่มต้น
- ที่เริ่มต้น
- เริ่มต้น
- ขั้นตอน
- ขั้นตอน
- หยุด
- การเก็บรักษา
- ร้านค้า
- การทำให้เพรียวลม
- ลำธาร
- เครือข่ายย่อย
- ประสบความสำเร็จ
- อย่างเช่น
- sudo
- ระบบ
- ระบบ
- เอา
- ทีม
- เทคโนโลยี
- โทรคมนาคม
- เทมเพลต
- ที่
- พื้นที่
- พวกเขา
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- สาม
- ตลอด
- เวลา
- อนุกรมเวลา
- ไปยัง
- ติดตาม
- เรียก
- ใช้
- ความคุ้มค่า
- การตรวจสอบ
- รายละเอียด
- คำแนะนำ
- นาฬิกา
- ทาง..
- ที่
- ในขณะที่
- จะ
- กับ
- ไม่มี
- งาน
- เวิร์กโฟลว์
- การเขียน
- เขียน
- มันแกว
- ปี
- ของคุณ
- ลมทะเล