Alcion의 Zack Rossman과 공동으로 작성한 게스트 블로그 게시물입니다.
보안 우선, AI 기반 BaaS(Backup-as-a-Service) 플랫폼인 Alcion은 Microsoft 365 관리자가 사이버 위협과 우발적인 데이터 손실로부터 빠르고 직관적으로 데이터를 보호할 수 있도록 지원합니다. 데이터 손실이 발생한 경우 Alcion 고객은 백업된 항목(파일, 이메일, 연락처, 이벤트 등)에 대한 메타데이터를 검색하여 복원할 특정 항목 버전을 선택해야 합니다. 알시온이 사용하는 아마존 오픈서치 서비스 고객에게 이 백업 카탈로그에서 정확하고 효율적이며 신뢰할 수 있는 검색 기능을 제공합니다. 플랫폼은 다중 테넌트이므로 Alcion은 테넌트가 자신의 데이터만 검색할 수 있도록 데이터 격리 및 강력한 보안이 필요합니다.
OpenSearch Service는 AWS 클라우드에서 OpenSearch를 쉽게 배포, 확장 및 운영할 수 있게 해주는 완전관리형 서비스입니다. OpenSearch는 OpenSearch(검색, 분석 엔진 및 벡터 데이터베이스), OpenSearch 대시보드(시각화 및 유틸리티 사용자 인터페이스) 및 엔터프라이즈와 같은 고급 기능을 제공하는 플러그인으로 구성된 Apache-2.0 라이선스 오픈 소스 검색 및 분석 제품군입니다. - 등급 보안, 이상 감지, 관찰 가능성, 경고 등. Amazon OpenSearch 서버리스 OpenSearch Service 도메인을 구성, 관리 및 확장하지 않고도 OpenSearch를 간단하게 사용할 수 있게 해주는 서버리스 배포 옵션입니다.
이 게시물에서는 OpenSearch Serverless를 채택하여 Alcion이 확장 요구 사항을 충족하고 운영 오버헤드를 줄이며 테넌트 데이터를 보호할 수 있었던 방법을 공유합니다. 테넌트 격리 다중 테넌트 환경 내에서.
OpenSearch 서비스 관리 도메인
검색 아키텍처의 첫 번째 반복을 위해 Alcion은 OpenSearch Service에서 관리되는 도메인 배포 옵션을 선택했고 한 달도 채 안 되어 프로덕션에서 검색 기능을 시작할 수 있었습니다. 보안, 규모 및 테넌시 요구 사항을 충족하기 위해 각 테넌트에 대한 데이터를 전용 인덱스에 저장하고 세분화된 액세스 제어 테넌트 간 데이터 유출을 방지하기 위해 OpenSearch 서비스에서. 워크로드가 발전함에 따라 Alcion 엔지니어는 제공된 아마존 클라우드 워치 메트릭을 변경하여 스토리지를 늘리고 컴퓨팅 리소스를 최적화합니다.
Alcion 팀은 OpenSearch Service 관리 도메인의 여러 기능을 사용하여 운영 상태를 개선했습니다. 여러 기본 인덱스에 액세스(읽기 및 쓰기)하기 위한 단일 별칭 이름을 제공하는 인덱스 별칭을 도입했습니다. 그들은 또한 구성 인덱스 상태 관리 (ISM) 정책은 인덱스 크기에 따라 인덱스를 롤오버하여 데이터 수명 주기를 제어할 수 있도록 합니다. ISM 정책과 인덱스 별칭은 함께 대규모 테넌트에 대한 인덱스를 확장하는 데 필요했습니다. 알시온도 사용 인덱스 템플릿 데이터 수명 주기를 자동화하고 도메인의 성능과 안정성을 개선하기 위해 데이터의 인덱스(분할)당 샤드를 정의합니다.
다음 아키텍처 다이어그램은 Alcion이 OpenSearch 관리 도메인을 구성한 방법을 보여줍니다.
다음 다이어그램은 테넌트별 인덱스에서 Microsoft 365 데이터를 인덱싱하고 쿼리하는 방법을 보여줍니다. Alcion은 각 API 요청에 OpenSearch 기본 사용자 자격 증명을 제공하여 요청 인증을 구현했습니다.
OpenSearch Serverless 개요 및 테넌시 모델 옵션
OpenSearch Service 관리 도메인은 Alcion의 검색 기능을 위한 안정적인 기반을 제공했지만 팀은 최대 작업량을 위해 도메인에 리소스를 수동으로 프로비저닝해야 했습니다. 이는 Alcion의 워크로드가 폭증하기 때문에 비용 최적화의 여지를 남겼습니다. 즉, 단일 고객에 대해 그리고 전체로 보았을 때 초당 검색 및 인덱싱 트랜잭션 수에 큰 변화가 있습니다. 비용과 운영 부담을 줄이기 위해 팀은 자동 확장 기능을 제공하는 OpenSearch Serverless로 전환했습니다.
OpenSearch Serverless를 사용하려면 첫 번째 단계는 컬렉션을 만드는 것입니다. ㅏ 수집 특정 워크로드 또는 사용 사례를 지원하기 위해 함께 작동하는 OpenSearch 인덱스 그룹입니다. OCU(OpenSearch 컴퓨팅 단위)라고 하는 컬렉션의 컴퓨팅 리소스는 암호화 키를 공유하는 계정의 모든 컬렉션에서 공유됩니다. OCU 풀은 인덱싱 및 검색 트래픽 수요를 충족하기 위해 자동으로 확장 및 축소됩니다.
OpenSearch Serverless 컬렉션이 OpenSearch Service 관리 도메인과 동일한 OpenSearch API 및 라이브러리를 지원한다는 사실 덕분에 OpenSearch Service 관리 도메인에서 OpenSearch Serverless로 마이그레이션하는 데 필요한 노력 수준을 감당할 수 있었습니다. 이를 통해 Alcion은 새로운 검색 아키텍처에 대한 테넌시 모델을 최적화하는 데 집중할 수 있었습니다. 특히 팀은 보안과 총 소유 비용의 균형을 맞추면서 컬렉션 및 인덱스 내에서 테넌트 데이터를 분할하는 방법을 결정해야 했습니다. Alcion 엔지니어는 OpenSearch Serverless 팀과 협력하여 세 가지 테넌시 모델 고려:
- 사일로 모델: 각 테넌트에 대한 컬렉션 만들기
- 풀 모델: 단일 컬렉션을 만들고 여러 테넌트에 대해 단일 인덱스를 사용합니다.
- 브리지 모델: 단일 컬렉션 생성 및 테넌트당 단일 인덱스 사용
세 가지 설계 선택 모두 최종 솔루션을 설계할 때 고려해야 하는 이점과 장단점이 있었습니다.
사일로 모델: 각 테넌트에 대한 컬렉션 만들기
이 모델에서 Alcion은 새로운 고객이 플랫폼에 온보딩할 때마다 새로운 컬렉션을 만들었습니다. 테넌트 데이터는 컬렉션 간에 명확하게 분리되지만 컬렉션 생성 시간으로 인해 고객이 등록 후 즉시 데이터를 백업하고 검색할 수 없기 때문에 이 옵션은 부적격했습니다.
풀 모델: 단일 컬렉션을 만들고 여러 테넌트에 대해 단일 인덱스를 사용합니다.
이 모델에서 Alcion은 AWS 계정당 단일 컬렉션을 생성하고 해당 컬렉션에 속한 많은 공유 인덱스 중 하나에서 테넌트별 데이터를 인덱싱합니다. 처음에는 테넌트 데이터를 공유 인덱스로 풀링하는 것이 인덱스 리소스를 가장 효율적으로 사용할 수 있기 때문에 규모 측면에서 매력적이었습니다. 그러나 추가 분석 후 Alcion은 각 테넌트에 대해 하나의 인덱스를 할당하더라도 컬렉션당 인덱스 할당량 내에 있음을 발견했습니다. 이러한 확장성 문제가 해결되면서 Alcion은 세 번째 옵션을 추구했습니다. 테넌트 데이터를 전용 인덱스에 격리하면 공유 인덱스 모델보다 테넌트 격리가 더 강력해지기 때문입니다.
브리지 모델: 단일 컬렉션 생성 및 테넌트당 단일 인덱스 사용
이 모델에서 Alcion은 AWS 계정당 단일 컬렉션을 생성하고 해당 계정에서 관리하는 수백 개의 테넌트 각각에 대한 인덱스를 생성합니다. 각 테넌트를 전용 인덱스에 할당하고 이러한 인덱스를 단일 컬렉션에 풀링함으로써 Alcion은 새 테넌트 및 격리된 테넌트 데이터에 대한 온보딩 시간을 깔끔하게 분리된 버킷으로 줄였습니다.
다중 테넌시 지원을 위한 역할 기반 액세스 제어 구현
OpenSearch Serverless는 데이터 액세스, 네트워크 액세스 및 암호화를 다루는 상속 가능한 다지점 보안 제어 세트를 제공합니다. Alcion은 OpenSearch Serverless를 최대한 활용했습니다. 데이터 액세스 정책 다음 세부 정보를 사용하여 각 테넌트별 인덱스에 대한 RBAC(역할 기반 액세스 제어)를 구현합니다.
- 공통 접두사 및 테넌트 ID(예:
index-v1-<tenantID>
) - 전용 만들기 AWS 자격 증명 및 액세스 관리 OpenSearch Serverless 컬렉션에 대한 요청에 서명하는 데 사용되는 (IAM) 역할
- 해당 테넌트의 IAM 역할에 대한 전용 테넌트 인덱스 내에서 문서 읽기/쓰기 권한을 부여하는 OpenSearch Serverless 데이터 액세스 정책 생성
- 테넌트 인덱스에 대한 OpenSearch API 요청은 테넌트별 IAM 역할에 속하는 임시 자격 증명으로 서명됩니다.
다음은 ID가 있는 모의 테넌트에 대한 OpenSearch Serverless 데이터 액세스 정책의 예입니다. t-eca0acc1-12345678910
. 이 정책은 전용 테넌트 액세스에 대한 IAM 역할 문서 읽기/쓰기 액세스 권한을 부여합니다.
다음 아키텍처 다이어그램은 Alcion이 OpenSearch Serverless 공유 컬렉션 접근 방식을 사용하여 Microsoft 365 리소스에 대한 인덱싱 및 검색을 구현한 방법을 보여줍니다.
다음은 OpenSearch Serverless 컬렉션에 API 요청을 보내기 위한 샘플 코드 스니펫입니다. API 클라이언트가 이전 코드 스니펫에서 OpenSearch 서버리스 데이터 액세스 정책에 연결된 동일한 IAM 보안 주체로 요청에 서명하는 서명자 객체로 초기화되는 방식에 주목하세요.
결론
2023년 30월 Alcion은 모든 프로덕션 및 사전 프로덕션 환경에서 공유 컬렉션 및 테넌트당 전용 인덱스 모델을 기반으로 하는 검색 아키텍처를 출시했습니다. 팀은 OpenSearch 서비스 관리 도메인 확장에 전념했던 복잡한 코드 및 운영 프로세스를 제거할 수 있었습니다. 또한 OpenSearch Serverless의 자동 확장 기능 덕분에 Alcion은 OpenSearch 비용을 XNUMX% 절감했으며 비용 프로필이 유리하게 확장될 것으로 기대합니다.
관리형에서 서버리스 OpenSearch Service로 전환하는 과정에서 Alcion은 처음에 OpenSearch Service 관리형 도메인을 선택함으로써 이점을 얻었습니다. 앞으로 마이그레이션하면서 OpenSearch Service 관리 도메인에 사용한 것과 동일한 OpenSearch Serverless 컬렉션에 대해 동일한 OpenSearch API 및 라이브러리를 재사용할 수 있었습니다. 또한 OpenSearch Serverless 데이터 액세스 정책을 활용하도록 테넌시 모델을 업데이트했습니다. OpenSearch Serverless를 사용하여 테넌트 격리를 보장하면서 고객의 규모 요구 사항에 쉽게 적응할 수 있었습니다.
Alcion에 대한 자세한 내용은 웹 사이트.
저자에 관하여
Zack Rossman은 Alcion의 기술 직원입니다. 그는 검색 및 AI 플랫폼의 기술 책임자입니다. Alcion 이전에 Zack은 Okta의 수석 소프트웨어 엔지니어로 Directories 팀을 위한 핵심 인력 ID 및 액세스 관리 제품을 개발했습니다.
Niraj Jetly는 Amazon OpenSearch Serverless의 소프트웨어 개발 관리자입니다. Niraj는 Amazon OpenSearch Serverless 출시를 담당하는 여러 데이터 플레인 팀을 이끌고 있습니다. AWS 이전에 Niraj는 15년 이상 CTO, 엔지니어링 부사장 및 제품 관리 책임자로서 여러 제품 및 엔지니어링 팀을 이끌었습니다. Niraj는 15년 올해의 CIO, 2014년과 100년 2013대 CIO로 선정된 것을 포함하여 2016개 이상의 혁신상을 수상했습니다. 여러 회의에서 자주 연사로 참석한 그는 NPR, WSJ 및 The Boston Globe에 인용되었습니다.
존 핸들러 캘리포니아 팔로 알토에 본사를 둔 Amazon Web Services의 수석 수석 솔루션 아키텍트입니다. Jon은 OpenSearch 및 Amazon OpenSearch Service와 긴밀히 협력하여 AWS 클라우드로 이전하려는 검색 및 로그 분석 워크로드가 있는 광범위한 고객에게 도움과 지침을 제공합니다. AWS에 합류하기 전 Jon의 소프트웨어 개발자 경력에는 대규모 전자상거래 검색 엔진을 코딩한 4년이 포함됩니다. Jon은 University of Pennsylvania에서 학사 학위를, Northwestern University에서 이학 석사 및 컴퓨터 과학 및 인공 지능 박사 학위를 받았습니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :있다
- :이다
- $UP
- 10
- 100
- 15년
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- 할 수 있는
- 소개
- ACCESS
- 액세스 관리
- 계정
- 정확한
- 가로질러
- 각색하다
- 또한
- 구애
- 관리자
- 채택
- 많은
- 이점
- 후
- AI
- All
- 할당
- 수
- 수
- 또한
- 이기는하지만
- 아마존
- Amazon Web Services
- an
- 분석
- 분석
- 및
- 이상 감지
- API를
- API
- 접근
- 아키텍처
- 있군요
- 인조의
- 인공 지능
- 예술
- AS
- At
- 매력적인
- 인증
- 자동
- 자동화
- 자동적으로
- 상
- AWS
- BAAS
- 뒤로
- 백업
- 균형
- 기반으로
- BE
- 때문에
- 된
- 존재
- 혜택
- 사이에
- 블로그
- 몸
- 보스턴
- 두
- 넓은
- 부담
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- CA
- 라는
- CAN
- 기능
- 능력
- 채용
- 케이스
- 목록
- 변경
- 선택
- 선택
- 선택
- CIO
- 클라이언트
- 면밀히
- 클라우드
- 암호
- 코딩
- 협동
- 수집
- 컬렉션
- 공통의
- 복잡한
- ~을 포함하는
- 계산
- 컴퓨터
- 컴퓨터 과학
- 관심
- 회의
- 구성
- 고려
- 콘택트 렌즈
- 문맥
- 제어
- 컨트롤
- 핵심
- 비용
- 비용
- 피복
- 만들
- 만들기
- 창조
- 신임장
- CTO (최고 기술 담당자)
- 고객
- 고객
- 사이버
- 대시 보드
- 데이터
- 데이터 액세스
- 데이터 손실
- 데이터베이스
- 결정하다
- 전용
- 태만
- 요구
- 배포
- 전개
- 설명
- 디자인
- 설계
- 세부설명
- Detection System
- 개발자
- 개발
- 개발
- 디렉토리
- 문서
- 서류
- 도메인
- 도메인
- 아래 (down)
- 마다
- 쉽게
- 전자 상거래
- 효율적인
- 노력
- 이메일
- 사용 가능
- 암호화
- 시행
- 엔진
- 기사
- 엔지니어링
- 엔지니어
- 확인
- 보장
- 엔터프라이즈 급
- 환경
- 환경
- 오류
- 오류
- 에테르 (ETH)
- 조차
- 이벤트
- 이벤트
- 진화
- 예
- ~을 기대하는
- 사실
- 특징
- 파일
- 최후의
- 먼저,
- 초점
- 수행원
- 럭셔리
- 앞으로
- 발견
- Foundation
- 빈번한
- 에
- 가득 찬
- 충분히
- 기능
- 추가
- 게다가
- 점점
- GitHub의
- 공
- 보조금
- 그룹
- 손님
- 게스트 블로그
- 지도
- 했다
- 있다
- he
- 머리
- 도움
- 도움이
- 보유
- 방법
- How To
- HTML
- HTTP
- HTTPS
- 수백
- IAM
- ID
- 통합 인증
- 신원 및 액세스 관리
- if
- 바로
- 구현
- 구현
- import
- 개선
- in
- 포함
- 포함
- 증가
- 색인
- 색인
- 색인
- 정보
- 처음에는
- 처음에는
- 혁신
- 혁신 상
- 인텔리전스
- 인터페이스
- 으로
- 소개
- 격리
- IT
- 항목
- 되풀이
- 그
- 가입
- 존
- 여행
- JPG
- JSON
- 키
- 넓은
- 대규모
- 시작
- 진수
- 리드
- 오퍼
- 누수
- 지도
- 왼쪽 (left)
- 적게
- 레벨
- 도서관
- wifecycwe
- 처럼
- 연결
- 로드
- 기록
- 오프
- 제작
- 유튜브 영상을 만드는 것은
- 관리
- 구축
- 매니저
- 관리
- 수동으로
- .
- 석사
- 경기
- XNUMX월..
- 방법
- 의미
- 소개
- 회원
- 메타 데이터
- 통계
- Microsoft
- Microsoft 365
- 이전
- 이주하는
- 모델
- 달
- 배우기
- 가장
- 움직임
- 많은
- 여러
- name
- 이름
- 필요한
- 필요
- 필요
- 요구
- 네트워크
- 네트워크 액세스
- 신제품
- 노스 웨스턴 대학
- 알아채다..
- 번호
- 대상
- of
- 제공
- 옥타
- on
- 온 보딩
- ONE
- 만
- 오픈 소스
- 운영
- 운영
- 최적화
- 최적화
- 선택권
- or
- 우리
- 아웃
- 위에
- 개요
- 자신의
- 소유권
- 페이지
- 팔로 알토
- 피크 (캐노피 지붕쪽)
- 펜실베니아
- 용
- 성능
- 허가
- 권한
- 관점
- 플랫폼
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 플러그인
- 정책
- 정책
- 풀
- 게시하다
- 예방
- 너무 이른
- 일차
- 교장
- 이전에
- 프로세스
- 프로덕트
- 제품 관리
- 생산
- 제품
- 프로필
- 보호
- 제공
- 제공
- 공급자
- 제공
- 규정
- 빨리
- 범위
- 읽기
- 리더
- 감소
- 감소
- 등록
- 신뢰할 수있는
- 의뢰
- 요청
- 필수
- 요구조건 니즈
- 필요
- 해결
- 의지
- 제품 자료
- 응답
- 책임
- 복원
- 결과
- return
- 재사용
- 직위별
- 압연
- 구르는
- 방
- 규칙
- 같은
- 확장성
- 규모
- 스케일링
- 과학
- 범위
- 검색
- 검색 엔진
- 수색
- 둘째
- 안전해야합니다.
- 보안
- 전송
- 연장자
- 서버리스
- 서비스
- 서비스
- 세트
- 몇몇의
- 공유
- 공유
- 쇼
- 기호
- 서명
- 안전표시
- 단순, 간단, 편리
- 단일
- 크기
- 단편
- So
- 소프트웨어
- 소프트웨어 개발
- 소프트웨어 엔지니어
- 해결책
- 솔루션
- Speaker
- 구체적인
- 구체적으로
- 안정
- 안정된
- 직원
- 주 정부
- 단계
- 저장
- 저장
- 끈
- 강한
- 강한
- 스위트
- SUPPORT
- 지원
- 지원
- 받아
- 촬영
- 팀
- 팀
- 기술
- 테크니컬
- 일시적인
- 거주자
- 보다
- 감사
- 그
- XNUMXD덴탈의
- 그들의
- 그들
- Bowman의
- 그들
- 제삼
- 이
- 위협
- 세
- 시간
- 에
- 함께
- 했다
- 상단
- 금액
- 교통
- 거래 내역
- 초당 트랜잭션
- 돌린
- 밑에 있는
- 단위
- 대학
- 펜실베니아 대학
- 업데이트
- 사용
- 유스 케이스
- 익숙한
- 사용자
- 시간을 아껴주는 인터페이스
- 사용
- 사용
- 유틸리티
- 마케팅은:
- 를 통해
- 방문
- 심상
- vp
- 필요
- 였다
- we
- 웹
- 웹 서비스
- 잘
- 했다
- 때마다
- 어느
- 동안
- 누구
- 모든
- 과
- 이내
- 없이
- 작업
- 협력
- 인력
- 일
- 겠지
- 쓰다
- WSJ
- year
- 년
- 제퍼 넷