거의 1년 전, IBM은 시간에 민감한 인수합병 데이터 흐름 중 하나에서 데이터 검증 문제에 직면했습니다. 문제 해결, 문제 식별, 데이터 흐름 수정, 다운스트림 데이터 파이프라인 변경, 자동화된 워크플로의 임시 실행 수행 등 문제를 해결하기 위해 작업하는 동안 몇 가지 문제에 직면했습니다.
Databand를 통한 데이터 해상도 향상 및 모니터링 효율성 향상
즉각적인 문제가 해결된 후 회고적 분석을 통해 적절한 데이터 검증과 지능형 모니터링을 통해 문제가 완화되고 해결 시간이 단축되었을 수 있다는 사실이 밝혀졌습니다. IBM은 즉각적인 문제만을 위한 맞춤형 솔루션을 개발하는 대신 이 시나리오뿐만 아니라 간과될 수 있는 잠재적인 문제도 처리할 수 있는 광범위하게 적용 가능한 데이터 검증 솔루션을 모색했습니다.
바로 그때 저는 최근 인수한 제품 중 하나인 데이터 관찰성을 위한 IBM® Databand®를 발견했습니다. 규칙 기반 모니터링이나 수백 개의 맞춤형 개발 모니터링 스크립트를 사용하는 기존 모니터링 도구와 달리 Databand는 자가 학습 모니터링을 제공합니다. 과거 데이터 동작을 관찰하고 특정 임계값을 초과하는 편차를 식별합니다. 이 기계 학습 기능을 통해 사용자는 데이터 또는 해당 동작 패턴에 대한 지식이 제한적인 경우에도 최소한의 규칙 구성 및 이상 탐지만으로 데이터를 모니터링할 수 있습니다.
Databand의 자체 학습 모니터링을 통해 데이터 흐름 관찰 가능성 최적화
Databand는 데이터 흐름의 과거 동작을 고려하고 의심스러운 활동에 플래그를 지정하는 동시에 사용자에게 경고합니다. IBM은 Databand를 100개 이상의 파이프라인으로 구성된 데이터 흐름에 통합했습니다. 모든 실행 및 파이프라인에 대해 쉽게 관찰할 수 있는 상태 업데이트를 제공했으며, 더 중요한 것은 강조된 오류를 제공했습니다. 이를 통해 우리는 데이터 흐름 사고의 해결에 집중하고 가속화할 수 있었습니다.
데이터 관측성을 위한 데이터밴드는 자가 학습을 사용하여 다음을 모니터링합니다.
- 스키마 변경: 스키마 변경이 감지되면 Databand는 이를 대시보드에 표시하고 경고를 보냅니다. 데이터 작업을 하는 사람이라면 누구나 열 추가 또는 제거와 같은 데이터 소스의 스키마 변경이 일어나는 시나리오를 접했을 것입니다. 이러한 변경 사항은 워크플로에 영향을 미치고, 이는 다시 다운스트림 데이터 파이프라인 처리에 영향을 미쳐 파급 효과를 가져옵니다. Databand는 스키마 기록을 분석하고 이상 징후가 있으면 즉시 경고하여 잠재적인 중단을 방지할 수 있습니다.
- 서비스 수준 계약(SLA) 영향: Databand는 데이터 계보를 표시하고 데이터 파이프라인 오류의 영향을 받는 다운스트림 데이터 파이프라인을 식별합니다. 데이터 전달에 대해 정의된 SLA가 있는 경우 경고는 SLA 준수를 인식하고 유지하는 데 도움이 됩니다.
- 성능 및 런타임 이상: Databand는 데이터 파이프라인 실행 기간을 모니터링하고 이상 징후를 감지하는 방법을 학습하여 필요할 때 플래그를 지정합니다. 사용자는 파이프라인의 기간을 알 필요가 없습니다. Databand는 과거 데이터를 통해 학습합니다.
- 상태 : Databand는 실패, 취소 또는 성공 여부를 포함하여 실행 상태를 모니터링합니다.
- 데이터 유효성 검사: Databand는 시간 경과에 따른 데이터 값 범위를 관찰하고 이상 징후가 감지되면 경고를 보냅니다. 여기에는 평균, 표준 편차, 최소값, 최대값 및 사분위수와 같은 일반적인 통계가 포함됩니다.
향상된 데이터 파이프라인을 위한 혁신적인 Databand 알림
사용자는 복잡하지 않고 워크플로우를 모니터링하고 지원하는 직관적인 대시보드를 갖춘 Databand 사용자 인터페이스를 사용하여 경고를 설정할 수 있습니다. 방향성 비순환 그래프를 통해 심층적인 가시성을 제공하며, 이는 많은 데이터 파이프라인을 처리할 때 유용합니다. 이 올인원 시스템을 통해 지원 팀은 주의가 필요한 영역에 집중하여 결과물을 가속화할 수 있습니다.
IBM Enterprise Data의 인수 및 합병을 통해 우리는 Databand를 통해 데이터 파이프라인을 강화할 수 있었으며 지금까지 뒤돌아보지 않았습니다. 데이터 사고를 조기에 식별하고 더 빠르게 해결하며 기업에 더욱 신뢰할 수 있는 데이터를 제공하는 데 도움이 되는 이 혁신적인 소프트웨어를 제공하게 되어 기쁘게 생각합니다.
지속적인 데이터 관찰성을 통해 신뢰할 수 있는 데이터 제공
이 글이 도움 되었나요?
가능아니
데이터 및 분석에 대한 추가 정보
IBM 뉴스레터
새로운 트렌드에 대한 최신 사고 리더십과 통찰력을 제공하는 뉴스레터와 주제 업데이트를 받아보세요.
지금 가입
더 많은 뉴스 레터
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://www.ibm.com/blog/ibm-databand-self-learning-for-anomaly-detection/
- :있다
- :이다
- :아니
- :어디
- 00
- 1
- 100
- 11
- 2%
- 2024
- 24
- 28
- 29
- 30
- 300
- 36
- 39
- 4
- 400
- 41
- 5
- 50
- 6
- 7
- 8
- 9
- a
- 소개
- 가속
- 가속 된
- 수락
- 에 따르면
- 획득한
- 인수
- 방과 후 액티비티
- 비 환식
- Ad
- 각색하다
- 첨가
- 채택
- 많은
- 광고
- 영향을
- 영향을받은
- 다시
- ...전에
- 협약
- AI
- 경보
- 알림
- All
- 올인원
- 수
- 또한
- 놀라운
- amp
- an
- 분석
- 분석
- 분석하다
- 및
- 이상 감지
- 어떤
- 누군가
- 응용할 수 있는
- 접근
- 아키텍처
- 있군요
- 지역
- 기사
- AS
- At
- 주의
- 저자
- 자동화
- 대기
- 인식
- 뒤로
- Bans
- 기지
- BE
- 때문에
- 행동
- 행동 적
- 존재
- 더 나은
- 차단
- 블로그
- 블로그
- 파란색
- 박스
- 브랜드
- 돋보이게
- 내장
- 사업
- 비즈니스 기능
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- 단추
- by
- CAN
- 취소 된
- 기능
- 능력
- 수
- 탄소
- 카드
- 카드
- CAT
- 범주
- 어떤
- 과제
- 이전 단계로 돌아가기
- 변경
- 잡담
- ChatGPT
- 검사
- 서클
- CIS
- 수업
- 현지 시간
- 동료
- 색
- 열
- 커뮤니티
- 기업
- 복잡성
- compliance
- 구성
- 집중
- 관심
- 구성
- 고려하다
- 소비자
- 소비자 행동
- 소비자
- 컨테이너
- 문맥
- 계속
- 끊임없는
- 핵심
- 비용
- cpg
- 만든
- 창조적 인
- CSS
- 관습
- 맞춤형 솔루션
- 매일
- 계기반
- 데이터
- 데이터 저장
- 데이터베이스
- 날짜
- 일
- 취급
- 태만
- 한정된
- 정의
- 배달하다
- 배달
- 수요
- 설명
- 책상
- 검색
- 탐지 된
- Detection System
- 개발자
- 개발
- 일탈
- 감독 된
- 발견
- 토론
- 다른
- 혼란
- do
- 문서
- 아래 (down)
- 지속
- ...동안
- 열심히
- 이전
- 용이하게
- 효과
- 효율성
- 출현
- 신흥
- 힘을 실어
- 사용 가능
- 수
- 가능
- end
- 참여
- 엔지니어
- 강화
- 강화
- 거대한
- 엔터 버튼
- 입력 된
- Enterprise
- 기업
- 기업가
- 에테르 (ETH)
- 조차
- EVER
- 사람
- 진화하는
- 넘다
- 흥분한
- 출구
- 체험
- 탐색
- 직면
- 실패한
- 고장
- 실패
- 그릇된
- 부채
- 빠른
- 특징
- Feb
- 플래그
- 융통성있는
- 흐름
- 흐름
- 초점
- 따라
- 수행원
- 글꼴
- 럭셔리
- 설립
- 에
- 기능
- 얻은
- 가트너
- 범용
- 생성
- 생성적인
- 제너레이티브 AI
- 발전기
- 얻을
- 상품
- 그래프
- 가장 큰
- 그리드
- 손
- 핸들
- 처리
- 있다
- he
- 표제
- 들었다
- 신장
- 도움
- 도움
- 도움이
- 도움이
- 강조
- 역사적인
- history
- 수평
- 방법
- 그러나
- HTTPS
- 수백
- i
- IBM
- ICO
- ICON
- 아이디어
- 식별하다
- 확인
- 식별
- if
- 영상
- 즉시
- 영향
- 중요성
- 중요하게
- 부과
- in
- 심도
- 사건
- 포함
- 포함
- 색인
- 개인
- 산업
- 인프라
- 혁신
- 통찰력
- 를 받아야 하는 미국 여행자
- 통합 된
- 통합
- 완성
- 지능형
- 인터페이스
- 내부의
- 으로
- 소개
- 직관적인
- 발행물
- 문제
- IT
- 그
- 일월
- 어울리다
- JPG
- 지식
- 언어
- 휴대용 퍼스널 컴퓨터
- 넓은
- 최근
- Leadership
- 지도
- 배우기
- 레벨
- 아마도
- 제한된
- 생활
- 지방의
- 장소
- 위치
- 보고
- 기계
- 기계 학습
- 기계
- 유지하다
- 유튜브 영상을 만드는 것은
- .
- 최대 폭
- 최고
- 평균
- 소개
- 멘토
- 합병
- 인수 합병
- 수도
- 분
- 최소의
- 최저한의
- 분
- 잘못 다루다
- 모바일
- 모델
- 모델
- 현대
- MongoDB의
- 모니터
- 모니터링
- 모니터
- 배우기
- my
- 카테고리
- 필요한
- 필요
- 신제품
- 뉴스 레터
- 노트
- 아무것도
- 지금
- 관찰
- of
- 오프
- 제공
- 제공
- Office
- 자주
- on
- 일단
- ONE
- 만
- 최적화
- 최적화
- or
- 기타
- 우리의
- 위에
- 포장하는
- 페이지
- 고통
- 과거
- 패턴
- 수행
- 실행할 수 있는
- 사람
- 개인
- 전화
- PHP
- 개척
- 관로
- 장소
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 플러그인
- 정책
- 위치
- 긍정적으로
- 게시하다
- 가능성
- Prakash
- 방지
- 일차
- 문제
- 처리
- 제품
- 현저한
- 약속
- 적절한
- 제공
- 제공
- 범위
- 읽기
- 현실
- 최근에
- 인식
- 신뢰할 수있는
- 개선
- 기억
- 제거
- 필요
- 분해능
- 해결
- 해결
- 해결
- 반응
- 얽매다
- 소매
- 소매업
- 소매
- 공개
- 혁명
- 리플
- 위험
- 로봇
- 방
- 통치
- 달리기
- 실행
- 확장성
- 확장성
- 대본
- 시나리오
- 학교
- 화면
- 스크립트
- 찾으라
- 전송
- 민감한
- 검색 엔진 최적화
- 세트
- 몇몇의
- 쇼
- 이후
- 대지
- 작은
- 소프트웨어
- 혼자서
- 해결책
- 일부
- 모색
- 출처
- 불꽃
- 전문
- 구체적인
- 연설
- 후원
- 사각형
- 표준
- 스타트
- 통계
- Status
- 아직도
- 저장
- 보폭
- 가입
- 성공한
- 이러한
- SUPPORT
- 지원
- 의심 많은
- SVG
- 체계
- 테이블
- 복용
- 명백한
- 작업
- 팀
- Technology
- 제삼기
- 본문
- 보다
- 감사
- 그
- XNUMXD덴탈의
- 그들
- 테마
- 그곳에.
- Bowman의
- 그들
- 이
- 생각
- 사고 리더십
- 을 통하여
- 시간
- 시간에 민감한
- Title
- 에
- 검색을
- 상단
- 화제
- 방향
- 전통적인
- 변형
- 경향
- 트렌드
- 회전
- 트위터
- 유형
- 전형적인
- 겪다
- 이해
- 같지 않은
- 업데이트
- ...에
- URL
- 우루과이
- us
- 사용
- 유용
- 사용자
- 시간을 아껴주는 인터페이스
- 사용자
- 사용
- 사용
- 확인
- 가치
- 자동 판매기
- 가시성
- W
- 였다
- we
- 뭐
- 언제
- 여부
- 어느
- 동안
- why
- 크게
- 과
- 이내
- 여자
- 워드프레스(WordPress)
- 작업
- 일
- 워크플로우
- 워크 플로우
- 일하는
- 전세계적인
- 쓰기
- 쓴
- year
- 당신
- 젊은
- 너의
- 제퍼 넷