기계 학습(ML) 모델 작업을 더 쉽게 해주는 인공 지능(AI) 기능과 도구를 통합한 애플리케이션의 수가 증가함에 따라 조직에 새로운 소프트웨어 공급망 문제가 발생했습니다. 이제 보안 팀은 다음과 같은 위험을 평가하고 관리해야 합니다. 이러한 AI 구성 요소. 보안 팀은 소프트웨어 공급망을 살펴보고 오픈 소스 구성 요소에 대해 생각하고 있지만 ML이 그 일부임을 인식하고 AI가 이미 존재하는 현실을 반영하도록 조직의 보안 제어 및 데이터 거버넌스 정책을 조정해야 합니다.
Berryville Institute of Machine Learning의 공동 창립자인 Gary McGraw는 조직에서 AI 사용 증가와 관련된 가장 큰 과제 중 하나는 실제로 기업 방어자들이 수년 동안 고심해 왔던 그림자 IT 문제와 동일하다고 말합니다. Shadow ML과 Shadow AI가 존재하는 이유는 많은 조직에서 비즈니스 그룹과 개인 직원이 작업 프로세스의 일부로 ML 애플리케이션과 AI 도구를 선택하고 채택하기 때문입니다. 보안팀은 이러한 도구가 조직에 도입될 때 정보를 받지 못하는 경우가 많으며, 가시성이 부족하면 도구를 관리하거나 사용 중인 데이터를 보호할 수 없습니다.
Legit Security의 자문위원회 회원인 McGraw는 최근 Fortune 100대 기업 및 애플리케이션 보안 스타트업 Legit Security의 경영진과의 회의에서 AI 사용에 대한 질문이 제기되었다고 말했습니다. 개발부터 제공까지 전체 소프트웨어 개발 라이프사이클을 계획하는 Legit Security의 플랫폼은 사용되는 모든 도구와 애플리케이션에 대한 가시성을 제공합니다.
“CISO는 '우리는 정책에 따라 머신러닝을 허용하지 않습니다. 아무도 그것을 사용하지 않습니다.'”라고 McGraw는 말합니다. 그리고 팀은 플랫폼을 사용하여 사용 중인 ML 및 AI의 여러 인스턴스를 보여줄 수 있었습니다.
어떤 ML과 AI가 사용되고 있는지 알지 못하는 것이 점점 더 우려되고 있으며 이는 이 회사에만 국한되지 않습니다. 안에 최근 Dark Reading 연구 조사, 응답자의 74%는 도구가 공식적으로 승인되지 않았음에도 불구하고 직원들이 ChatGPT와 같은 공개 생성 AI(GenAI) 도구를 업무 목적으로 사용하고 있다고 생각한다고 답했습니다. 응답자의 약 18분의 XNUMX(XNUMX%)은 AI에 대한 가장 큰 우려 사항 중 하나가 직원들이 공용 GenAI 도구를 사용하는 것을 막을 수 없다는 점이라고 말했습니다.
AI를 찾는 방법
Legit Security의 공동 창립자이자 CTO인 Liav Caspi는 Legit Security가 AI를 사용하여 코드를 생성하거나 LLM(대형 언어 모델)을 제품에 포함시키는 등 GenAI 기술이 소프트웨어 개발을 어떻게 변화시키는지 조사하고 있다고 말했습니다. 조직이 소프트웨어를 개발하고 제공하는 방법을 플랫폼 매핑하는 부산물은 사용되는 모든 오픈 소스 및 폐쇄 소스 소프트웨어 구성 요소, 빌드 도구, 프레임워크, 플러그인, 심지어 개발자가 사용하는 서버에 대한 "매우 상세한 인벤토리"입니다. Caspi는 이렇게 말합니다. 새로운 기술이 항상 하향식 방식으로 조직의 기술 스택에 도입되는 것은 아니기 때문에 이 자산 카탈로그는 경영진이 사용 중인 모든 소프트웨어 구성 요소와 개발자 도구에 대해 처음으로 배우는 경우가 많습니다.
McGraw는 “사람들이 생각하는 사실과 실제로 사실이 일치하지 않는 경우가 있다는 것이 밝혀졌습니다.”라고 말합니다. “CISO나 소프트웨어 보안 담당자에게 '이런 게 6개 있다는 걸 알고 계셨나요?'라고 말하면 그러면 그들은 '우리 둘만 있는 줄 알았는데'라고 하더군요. [문제가 있습니다.]”
조직에서 실행 중인 버그 추적 시스템 수, 설치된 GitHub 인스턴스 수, JIRA 인스턴스 수, 어떤 개발자가 어떤 컴파일러를 사용하고 있는지와 같은 질문에 답하는 것 외에도 Legit Security는 개발자가 어디에 있는지와 같은 질문에 답합니다. 어떤 응용 프로그램이 어떤 AI 서비스에 연결되어 있는지, 해당 서비스에 어떤 데이터가 전송되고 있는지, 실제로 어떤 모델이 사용되고 있는지 등 LLM을 사용하고 있습니다. 데이터가 다른 서비스로 전송되는지 여부에 대한 질문은 규제 대상 산업의 기업에 특히 중요하다고 Caspi는 말합니다.
“[우리는] 대규모 조직이 특정 라이브러리를 사용하고 있다는 사실을 몰랐던 것처럼 알지 못했던 사실을 발견했습니다. 그들은 코드를 어딘가의 계정에 복사한 해외 개발자가 있다는 사실을 몰랐습니다.”라고 Caspi는 말합니다.
또 다른 우려 사항은 조직이 AI 생성 코드에 의존하고 있는지 여부인데, 이는 개발자가 코드를 작성하는 데 도움이 되는 다양한 도구와 부조종사가 도입되면서 더욱 관련성이 높아지고 있다고 Caspi는 말합니다. Dark Reading 설문 조사에서 응답자의 28%는 AI 생성 코드의 취약점에 대한 우려를 언급했습니다.
현재 플랫폼은 AI가 접촉하는 모든 부분을 식별하기 위해 개발 인프라를 크롤링합니다. 리포지토리를 살펴보고 애플리케이션에 포함된 LLM, 코드 생성 도구가 사용되었는지 여부, 어떤 소프트웨어 라이브러리가 추가되었는지, 어떤 API 호출이 이루어지고 있는지, 어떤 종류의 라이센스가 사용되는지를 감지합니다. 예를 들어, Huggingface는 기계 학습 모델을 구축하고 통합하기 위한 소프트웨어 개발 프로젝트에서 널리 사용됩니다. 보안팀은 버전 번호뿐 아니라 모델 구현 방식도 고려해야 한다고 Caspi는 말합니다.
ML을 보호하는 방법
기계 학습을 적절하게 보호하려면 기업은 기계 학습이 사용되는 위치를 찾고, 발견된 내용을 기반으로 위험에 대한 위협 모델을 만들고, 이러한 위험을 관리하기 위한 제어 장치를 마련하는 세 가지 작업을 수행할 수 있어야 합니다.
McGraw는 "우리는 기계 학습을 찾고 발견한 내용을 기반으로 위협 모델을 수행해야 합니다."라고 말합니다. “몇 가지 항목을 찾았으니 이제 위협 모델을 조정해야 합니다. 위협 모델을 작성하고 몇 가지 위험과 위협을 식별한 후에는 이러한 모든 문제에 대해 몇 가지 제어 기능을 적용해야 합니다.”
보안 팀이 무엇이 사용되고 있는지 알게 되면 해당 구성 요소를 차단하거나 개발 프로세스에 안전 검사 또는 "가드레일"을 추가하기 위한 적절한 정책을 결정할 수 있다고 Caspi는 말합니다. 예를 들어, 코드베이스에 문제가 발생하지 않았는지 확인하기 위해 자동 생성된 코드를 검토하는 사람 없이 애플리케이션이 프로덕션으로 전환될 수 있습니다. 코드 블록에는 실제로 취약점이 없을 수도 있지만 보안 팀은 자동 생성 코드를 코드베이스에 병합하기 전에 두 사람이 검토하도록 요구하는 정책을 만들 수 있다고 그는 말했습니다.
Caspi는 "우리는 가드레일이 누락되었음을 알려주는 많은 탐지 항목을 보유하고 있습니다."라고 말합니다. 보안팀은 "우리가 발견한 내용에 대해 가능한 한 많은 정보"를 얻어 해당 정보를 사용하여 일종의 조치를 취할 수 있다고 Caspi는 말합니다. 어떤 경우에는 최선의 조치나 모범 사례에 대한 지침이 있을 것입니다.
세 가지를 모두 처리할 수 있는 단일 도구나 플랫폼은 없지만 McGraw는 우연히 각 영역에 해당하는 세 회사의 자문위원으로 활동하고 있습니다. Legit Security는 모든 것을 찾고, IriusRisk는 위협 모델링을 돕고, Calypso AI는 제어 기능을 제공합니다.
McGraw는 “모든 부품이 움직이는 것을 볼 수 있습니다.”라고 말합니다. “모든 조각이 하나로 합쳐지고 있어요.”
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- :있다
- :이다
- :아니
- :어디
- $UP
- 100
- a
- 할 수 있는
- 소개
- 계정
- 가로질러
- 동작
- 실제로
- 더하다
- 추가
- 맞추다
- 조정
- 채택
- 자문
- 자문위원회
- AI
- AI / ML
- All
- 수
- 이미
- 항상
- an
- 및
- 응답
- 답변
- 어떤
- API
- 어플리케이션
- 응용 프로그램 보안
- 어플리케이션
- 적당한
- 있군요
- 지역
- 지역
- 인조의
- 인공 지능
- 인공 지능(AI)
- AS
- 평가하다
- 유산
- At
- 허가
- 기반으로
- BE
- 때문에
- 되고
- 된
- 전에
- 존재
- 믿고
- BEST
- 모범 사례
- 큰
- 블록
- 판
- 가져
- 빌드
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 통화
- 온
- CAN
- 기능
- 케이스
- 가지 경우
- 목록
- 체인
- 과제
- 이전 단계로 돌아가기
- ChatGPT
- 확인하는 것이 좋다.
- 시스코
- 인용
- 닫은
- 공동 설립자
- 암호
- 코드베이스
- 오는
- 기업
- 회사
- 구성 요소
- 구성 요소들
- 관심
- 우려 사항
- 연결
- 포함하는
- 컨트롤
- 동
- 수
- 코스
- 만들
- 만든
- CTO (최고 기술 담당자)
- 주기
- 어두운
- 어두운 독서
- 데이터
- 수호자
- 제공
- 배달
- 상세한
- 결정
- 개발자
- 개발자
- 개발
- 개발
- DID
- didn
- 발견
- do
- 들린
- 돈
- ...동안
- 마다
- 쉽게
- 중
- 임베디드
- 임베딩
- 직원
- 확인
- Enterprise
- 전체의
- 엔티티
- 에테르 (ETH)
- 조차
- 모든
- 모두
- 예
- 임원으로 미국으로 이전하여 일할 수 있는 권리를 부여함
- 있다
- 다섯
- Find
- 발견
- finds
- 먼저,
- 처음으로
- 다섯
- 럭셔리
- 운
- 발견
- 프레임 워크
- 에
- Gary
- 제나이
- 생성
- 생성적인
- 제너레이티브 AI
- 얻을
- GitHub의
- Go
- 통치
- 움켜 쥐고
- 여러 떼
- 성장하는
- 지도
- 했다
- 핸들
- 발생
- 있다
- he
- 두통
- 도움
- 도움이
- 방법
- HTTPS
- 포옹 얼굴
- i
- 확인
- 확인
- 구현
- 중대한
- in
- 통합
- 통합
- 개인
- 산업
- 정보
- 정보
- 인프라
- 인스턴스
- 학회
- 인텔리전스
- 으로
- 소개
- 개요
- 목록
- 문제
- IT
- 다만
- 종류
- 알아
- 아는
- 알고있다
- 결핍
- 언어
- 넓은
- 배우다
- 배우기
- 합법
- 도서관
- 도서관
- 면허
- 생활
- 처럼
- 제한된
- 찾고
- 봐라.
- 롯
- 기계
- 기계 학습
- 만든
- 확인
- 관리
- 태도
- .
- 매핑
- 지도
- 경기
- XNUMX월..
- 방법
- 회의
- 회원
- 누락
- ML
- 모델
- 모델링
- 모델
- 배우기
- 움직이는
- 많은
- 여러
- 필요
- 요구
- 신제품
- 아니
- 노트
- 지금
- 번호
- 숫자
- of
- 공무상
- 자주
- on
- 일단
- ONE
- 사람
- 만
- 열 수
- 오픈 소스
- or
- 조직
- 조직
- 기타
- 아웃
- 위에
- 해외로
- 부품
- 특별히
- 부품
- 사람들
- 사람
- 개
- 장소
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 정책
- 정책
- 제기
- 가능한
- 사례
- 제시
- 문제
- 문제
- 방법
- 프로세스
- 생산
- 제품
- 프로젝트
- 정확히
- 보호
- 공개
- 목적
- 놓다
- 퍼츠
- 문제
- 문의
- RE
- 읽기
- 현실
- 정말
- 최근
- 인식
- 반영
- 규제
- 규제 산업
- 관련된
- 의지
- 연구
- 응답자
- 검토
- 리뷰
- 연락해주세요
- 위험
- 위험
- 달리는
- s
- 안전
- 말했다
- 같은
- 라고
- 라고
- 안전해야합니다.
- 보안
- 보안 시작
- 참조
- 선택
- 전송
- 서버
- 서비스
- 서비스
- 그림자
- 표시
- 이후
- SIX
- So
- 소프트웨어
- 소프트웨어 구성요소
- 소프트웨어 개발
- 소프트웨어 보안
- 소프트웨어 공급망
- 일부
- 어떤 사람
- 무언가
- 때로는
- 어딘가에
- 출처
- 구체적인
- 스택
- 시작
- 단계
- 중지
- 이러한
- 공급
- 공급망
- 주변
- 설문조사
- 시스템은
- T
- 받아
- 팀
- 팀
- 기술
- Technology
- 이야기
- 그
- XNUMXD덴탈의
- 정보
- 그들의
- 그들
- 그곳에.
- Bowman의
- 그들
- 일
- 생각
- 사고력
- 이
- 그
- 그래도?
- 생각
- 위협
- 위협
- 세
- 을 통하여
- 시간
- 에
- 함께
- 수단
- 검색을
- 상단
- 만진
- 결국
- 두
- 사용
- 익숙한
- 사용
- 사용
- 여러
- Ve
- 버전
- 대단히
- 가시성
- 취약점
- 였다
- we
- 잘
- 했다
- 뭐
- 언제
- 여부
- 어느
- 누구
- 누구의
- 크게
- 의지
- 과
- 없이
- 작업
- 쓰다
- 코드 작성
- 년
- 당신
- 너의
- 제퍼 넷