Bài đăng này được đồng viết với Hardik Modi, AVP, Sản phẩm đe dọa và di chuyển tại NETSCOUT.
NETSCOUT Chân trời mối đe dọa của Omni là một nền tảng nâng cao nhận thức về an ninh mạng toàn cầu cung cấp cho người dùng khả năng hiển thị theo ngữ cảnh cao về hoạt động của mối đe dọa “trên đường chân trời” trên bối cảnh DDoS (Từ chối dịch vụ phân tán) toàn cầu—những mối đe dọa có thể ảnh hưởng đến ngành, khách hàng hoặc nhà cung cấp của họ. Nó cho phép khách truy cập tạo hồ sơ tùy chỉnh và hiểu hoạt động DDoS đang được quan sát trong thời gian gần như thực thông qua nền tảng hiển thị ATLAS của NETSCOUT. Người dùng có thể tạo tài khoản miễn phí để tạo hồ sơ tùy chỉnh dẫn đến hiển thị dựa trên bản đồ (như trong ảnh chụp màn hình sau) cũng như báo cáo tóm tắt phù hợp. Các cuộc tấn công DDoS có thể ảnh hưởng đến các dịch vụ được cung cấp qua internet. Khả năng hiển thị bản chất này là chìa khóa cho bất kỳ ai muốn hiểu những gì đang xảy ra trong bối cảnh mối đe dọa. Omnis Threat Horizon đã có sẵn rộng rãi kể từ tháng 2019 năm XNUMX.
Để cung cấp khả năng hiển thị liên tục với chi phí cho mỗi người dùng thấp (để kích hoạt dịch vụ miễn phí), nhóm phát triển NETSCOUT đã chọn một loạt công nghệ AWS để hỗ trợ việc thu thập, lưu trữ, phân tích, lưu trữ, xác thực người dùng và phân phối ứng dụng. Đặc biệt họ đã chọn Dịch vụ Tìm kiếm Mở của Amazon làm công cụ phân tích cốt lõi. Họ lưu trữ tất cả các bản ghi tấn công đã xử lý trong Dịch vụ OpenSearch.
Bài đăng này thảo luận về những thách thức và mẫu thiết kế mà NETSCOUT đã sử dụng trên con đường trình bày chi tiết về khoảng 10 triệu cuộc tấn công DDoS hàng năm trong thời gian gần như thực.
Tiểu sử
NETSCOUT, thông qua dòng sản phẩm Arbor, là nhà cung cấp lâu năm các giải pháp về khả năng hiển thị mạng và giảm thiểu DDoS cho các nhà cung cấp dịch vụ và doanh nghiệp. Từ năm 2007, NETSCOUT đã vận hành một chương trình có tên ATLAS, trong đó khách hàng có thể chọn chia sẻ dữ liệu ẩn danh về các cuộc tấn công DDoS mà họ đang quan sát trên mạng của mình. Khi chương trình này đã hoàn thiện, NETSCOUT có khả năng hiển thị toàn diện về bối cảnh tấn công DDoS—cả số lượng và tính chất của các cuộc tấn công. Khả năng hiển thị này cung cấp thông tin và cải thiện sản phẩm của họ, cho phép họ chia sẻ kết quả phân tích dưới dạng bài báo, bài đăng trên blog và báo cáo mối đe dọa hai năm một lần. Kể từ khi NETSCOUT bắt đầu thu thập và phân tích dữ liệu ở dạng hiện tại vào tháng 2012 năm 96, họ đã quan sát được XNUMX triệu cuộc tấn công, cho phép họ thực hiện phân tích đáng kể về các xu hướng giữa các khu vực và ngành dọc, cũng như hiểu rõ các vectơ được sử dụng và quy mô của các cuộc tấn công.
Omnis Threat Horizon là giải pháp hiển thị thông tin này cho nhiều đối tượng hơn—về cơ bản là bất kỳ ai quan tâm đến bối cảnh mối đe dọa và đặc biệt là xu hướng tấn công DDoS tại bất kỳ thời điểm nào. Ngoài việc cung cấp bản đồ thời gian thực, giải pháp cho phép người dùng quay ngược thời gian để quan sát trực quan hoặc dưới dạng tóm tắt những gì có thể đã xảy ra tại một thời điểm nhất định.
Họ muốn đảm bảo rằng các yếu tố trực quan và ứng dụng có khả năng đáp ứng trên toàn cầu, cả về mặt thể hiện dữ liệu thời gian thực cũng như hiển thị thông tin lịch sử. Hơn nữa, họ muốn giữ chi phí gia tăng trên mỗi người dùng ở mức thấp nhất có thể để có thể cung cấp dịch vụ này miễn phí trên toàn cầu.
Tổng quan về giải pháp
Sơ đồ sau minh họa kiến trúc giải pháp.
Một trong những mục tiêu đằng sau giải pháp được chọn là sử dụng các dịch vụ AWS gốc trong mọi trường hợp có thể. Hơn nữa, họ đã chọn chia chức năng thành phần thành các vi dịch vụ của riêng mình và sử dụng nhất quán chức năng này thông qua giải pháp.
Cảm biến giám sát riêng lẻ cung cấp dữ liệu tới Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) hàng giờ. Khi các mục mới được nhận, Dịch vụ thông báo đơn giản của Amazon Thông báo (Amazon SNS) được gửi đi, dẫn đến việc xử lý dữ liệu. Các vi dịch vụ kế tiếp chịu trách nhiệm:
- Phân tích cú pháp
- Chạy thuật toán để xác định và phân tách các mục nhập giả
- Sự trùng lặp
- Ghi điểm
- SỰ TỰ TIN
Sau quá trình xử lý này, mỗi cuộc tấn công được thể hiện dưới dạng một tài liệu riêng biệt trong miền Dịch vụ OpenSearch. Vào thời điểm viết bài đăng này, NETSCOUT có khoảng 96 triệu cuộc tấn công trong cụm, tất cả các cuộc tấn công này có thể được thể hiện dưới một số dạng trong bản đồ và báo cáo trong Omnis Threat Horizon.
Dữ liệu được sắp xếp thành các tệp bin hàng giờ và được cung cấp cho ứng dụng thông qua Amazon CloudFront.
Bài học rút ra liên quan đến Elaticsearch
Trong các dự án trước đây, NETSCOUT đã thử Apache Cassandra, một cơ sở dữ liệu nguồn mở NoSQL phổ biến và cho rằng nó không đủ khả năng cho các truy vấn tổng hợp. Trong khi phát triển Horizon, họ đã chọn Elaticsearch để có quyền truy cập vào các khả năng truy vấn tổng hợp mạnh mẽ hơn với thời gian dành cho nhà phát triển ít hơn đáng kể.
Họ bắt đầu với một phiên bản tự quản lý nhưng gặp phải các vấn đề sau:
- Chi phí đáng kể về số giờ công chỉ để quản lý cơ sở hạ tầng
- Mỗi lần nâng cấp phiên bản là một quá trình liên quan, đòi hỏi nhiều kế hoạch và vẫn đặt ra những thách thức kỹ thuật trong quá trình thực hiện
- Không có truy vấn tự động chia tỷ lệ và tổng hợp lớn nào có thể phá vỡ Elaticsearch
Sau một vài chu kỳ hỗ trợ tính năng này, họ đã chuyển sang Dịch vụ OpenSearch để vượt qua những thách thức này.
Kết quả
NETSCOUT nhận thấy những lợi ích sau từ kiến trúc này:
- Xử lý nhanh dữ liệu tấn công – Thời gian từ khi nhận được dữ liệu tấn công đến khi có sẵn trong kho dữ liệu là khoảng vài giây, cho phép chúng cung cấp khả năng hiển thị gần như thời gian thực trong giải pháp.
- Chi phí quản lý thấp hơn – Kho dữ liệu phát triển ổn định và bằng cách sử dụng dịch vụ được quản lý, các nhóm tránh phải thực hiện các nhiệm vụ liên quan đến quản lý cụm. Đây là một điểm khó khăn lớn so với các giải pháp trước đây được áp dụng liên quan đến công nghệ tương tự.
- Kiến trúc có thể mở rộng – Có thể thêm các khả năng mới vào quy trình khi có yêu cầu xuất hiện mà không cần phải thiết kế lại các thành phần khác.
Kết luận
Với Dịch vụ OpenSearch, NETSCOUT đã có thể xây dựng một kho lưu trữ dữ liệu linh hoạt cho dữ liệu tấn công mà họ thu thập được. Nhờ các lựa chọn kiến trúc được thực hiện và các dịch vụ AWS cơ bản, họ có thể cung cấp khả năng hiển thị dữ liệu của mình với mức chi phí gia tăng nhỏ, cho phép họ cung cấp nền tảng khả năng hiển thị toàn cầu mà không mất phí cho người dùng cuối.
Với nhiều kinh nghiệm nhất, đám mây đáng tin cậy, có khả năng mở rộng và an toàn nhất cũng như bộ dịch vụ và giải pháp toàn diện nhất, AWS là nơi tốt nhất để khai thác giá trị từ dữ liệu của bạn và biến nó thành thông tin chuyên sâu.
Về các tác giả
Hardik Modi là AVP, Sản phẩm đe dọa và di chuyển tại NETSCOUT. Trong vai trò này, anh giám sát các nhóm chịu trách nhiệm về các sản phẩm giảm nhẹ cũng như tạo nội dung bảo mật cho các sản phẩm của NETSCOUT, mang lại khả năng bảo vệ tốt nhất cho người dùng, cũng như liên tục phân phối và xuất bản các nghiên cứu có tác động về DDoS và Xâm nhập. phong cảnh.
Sujatha Kuppuraju là Kiến trúc sư giải pháp chính tại Amazon Web Services (AWS). Cô gắn kết với khách hàng để tạo ra các giải pháp đổi mới nhằm giải quyết các vấn đề kinh doanh của khách hàng và đẩy nhanh quá trình áp dụng dịch vụ AWS.
Mike Arruda là Giám đốc tài khoản kỹ thuật cấp cao tại AWS, có trụ sở tại khu vực New England. Anh ấy làm việc với khách hàng của AWS Enterprise, hỗ trợ họ đạt được thành công trong việc áp dụng các biện pháp thực hành tốt nhất và giúp họ đạt được kết quả kinh doanh mong muốn với AWS.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 triệu
- 10
- 100
- 2012
- 2019
- a
- Có khả năng
- Giới thiệu
- đẩy nhanh tiến độ
- truy cập
- Tài khoản
- Trợ Lý Giám Đốc
- Đạt được
- ngang qua
- hoạt động
- Ngoài ra
- địa chỉ
- con nuôi
- Nhận nuôi
- Nhận con nuôi
- tập hợp
- thuật toán
- Tất cả
- Cho phép
- cho phép
- đàn bà gan dạ
- Amazon Web Services
- Amazon Web Services (AWS)
- phân tích
- phân tích
- phân tích
- và
- hàng năm
- bất kỳ ai
- Apache
- Các Ứng Dụng
- khoảng
- kiến trúc
- kiến trúc
- KHU VỰC
- bản địa đồ
- tấn công
- Các cuộc tấn công
- Tháng Tám
- Xác thực
- tự động
- có sẵn
- nhận thức
- AWS
- trở lại
- dựa
- cơ sở
- sau
- được
- Lợi ích
- BEST
- thực hành tốt nhất
- lớn
- Blog
- Blog Posts
- Nghỉ giải lao
- rộng hơn
- xây dựng
- xây dựng
- kinh doanh
- gọi là
- khả năng
- nắm bắt
- thách thức
- lựa chọn
- chọn
- lựa chọn
- đám mây
- cụm
- Thu
- bộ sưu tập
- thành phần
- các thành phần
- toàn diện
- đáng kể
- xem xét
- thích hợp
- nội dung
- liên tục
- Trung tâm
- Phí Tổn
- Chi phí
- có thể
- tạo
- tạo
- Current
- khách hàng
- khách hàng
- khách hàng
- tùy chỉnh
- An ninh mạng
- chu kỳ
- dữ liệu
- Cơ sở dữ liệu
- DDoS
- Tấn công DDoS
- cung cấp
- giao
- giao hàng
- Denial of Service
- Thiết kế
- mẫu thiết kế
- chi tiết
- Nhà phát triển
- phát triển
- Phát triển
- Giao diện
- phân phối
- tài liệu
- miền
- mỗi
- Elasticsearch
- các yếu tố
- cho phép
- cho phép
- Động cơ
- Nước Anh
- Doanh nghiệp
- khách hàng doanh nghiệp
- doanh nghiệp
- Ether (ETH)
- kinh nghiệm
- phải đối mặt
- vài
- Các tập tin
- tiếp theo
- hình thức
- Miễn phí
- từ
- chức năng
- Hơn nữa
- nói chung
- được
- được
- Toàn cầu
- Toàn cầu
- Go
- Phát triển
- có
- giúp đỡ
- cao
- lịch sử
- chân trời
- GIỜ LÀM VIỆC
- Độ đáng tin của
- HTTPS
- xác định
- ảnh hưởng lớn
- cải thiện
- in
- ngành công nghiệp
- thông tin
- sáng tạo
- cái nhìn sâu sắc
- ví dụ
- quan tâm
- Internet
- tham gia
- các vấn đề
- IT
- Giữ
- Key
- cảnh quan
- dẫn
- học
- Dòng
- Rất nhiều
- Thấp
- thực hiện
- làm cho
- quản lý
- quản lý
- quản lý
- giám đốc
- bản đồ
- Maps
- microservices
- Might
- triệu
- giảm nhẹ
- giám sát
- chi tiết
- hầu hết
- tự nhiên
- Thiên nhiên
- mạng
- Mới
- thông báo
- thông báo
- con số
- mục tiêu
- tuân theo
- mã nguồn mở
- vận hành
- gọi món
- Tổ chức
- Nền tảng khác
- Vượt qua
- riêng
- Đau
- giấy tờ
- riêng
- con đường
- mô hình
- thực hiện
- người
- đường ống dẫn
- Nơi
- lập kế hoạch
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Điểm
- Phổ biến
- có thể
- Bài đăng
- bài viết
- quyền lực
- mạnh mẽ
- Chạy
- thực hành
- trước
- Hiệu trưởng
- vấn đề
- quá trình
- xử lý
- Sản phẩm
- Sản phẩm
- Profiles
- chương trình
- dự án
- bảo vệ
- cho
- nhà cung cấp dịch vụ
- nhà cung cấp
- cung cấp
- Xuất bản
- thời gian thực
- dữ liệu theo thời gian thực
- nhận
- hồ sơ
- vùng
- liên quan
- đáng tin cậy
- báo cáo
- Báo cáo
- Báo cáo
- đại diện
- đại diện
- Yêu cầu
- nghiên cứu
- đàn hồi
- chịu trách nhiệm
- đáp ứng
- kết quả
- kết quả
- Vai trò
- khoảng
- tương tự
- khả năng mở rộng
- mở rộng quy mô
- giây
- an toàn
- an ninh
- cao cấp
- cảm biến
- Tháng Chín
- Loạt Sách
- dịch vụ
- các nhà cung cấp dịch vụ
- DỊCH VỤ
- định
- Chia sẻ
- đáng kể
- Đơn giản
- đơn giản
- kể từ khi
- kích thước
- nhỏ
- giải pháp
- Giải pháp
- một số
- đặc biệt
- bắt đầu
- Vẫn còn
- là gắn
- hàng
- thành công
- TÓM TẮT
- nhà cung cấp
- Hỗ trợ
- phù hợp
- nhiệm vụ
- nhóm
- đội
- Kỹ thuật
- Công nghệ
- Công nghệ
- về
- Sản phẩm
- cung cấp their dịch
- mối đe dọa
- Báo cáo Đe doạ
- Thông qua
- thời gian
- đến
- Xu hướng
- XOAY
- cơ bản
- hiểu
- mở khóa
- nâng cấp
- sử dụng
- người sử dang
- Người sử dụng
- sử dụng
- giá trị
- phiên bản
- ngành dọc
- thông qua
- khả năng hiển thị
- du khách
- hình dung
- muốn
- Kho bãi
- web
- các dịch vụ web
- Điều gì
- Là gì
- cái nào
- trong khi
- CHÚNG TÔI LÀ
- mong muốn
- không có
- công trinh
- viết
- trên màn hình
- zephyrnet