Google에서는 취약점 보상 프로그램 Google 소유 및 Alphabet 자회사 웹 자산의 문제를 해결하는 최첨단 외부 기여를 기리기 위한 것입니다. AI 기술의 급속한 발전을 따라잡고 보안 문제를 해결할 준비가 되어 있는지 확인하기 위해 책임 그런데 최근에 우리는 기존의 버그 헌터 프로그램 당사 AI 시스템과 관련된 문제 및 취약점에 대한 제XNUMX자의 발견 및 보고를 촉진합니다. 이번 확장은 다음을 구현하려는 노력의 일환입니다. 자발적인 AI 약속 지난 XNUMX월 백악관에서 만든 것입니다.
보안 커뮤니티가 이러한 개발 상황을 더 잘 이해할 수 있도록 보상 프로그램 요소에 대한 추가 정보를 포함했습니다.
보상 범위에는 무엇이 있나요?
우리의 최근의 AI 레드팀 보고서, 기반 구글 AI 레드팀 훈련을 통해 우리는 가장 관련성이 높고 현실적이라고 생각하는 일반적인 전술, 기술 및 절차(TTP)를 식별했습니다. AI 시스템에 사용할 실제 적. 다음 표에는 연구 커뮤니티가 AI 버그 보고서에 대한 기준과 보상 프로그램의 범위를 이해하는 데 도움이 되도록 배운 내용이 포함되어 있습니다. 보상 금액은 공격 시나리오의 심각도와 영향을 받는 대상의 유형에 따라 달라집니다(방문). 프로그램 규칙 페이지 보상 테이블에 대한 자세한 내용을 확인하세요).
프롬프트 공격: 적이 애플리케이션에서 의도하지 않은 방식으로 모델의 동작과 결과에 영향을 미칠 수 있도록 하는 적대적 프롬프트를 작성합니다. |
피해자에게 보이지 않는 즉각적인 주입으로 피해자의 계정이나 자산 상태를 변경합니다. |
|
피해자 사용자에게 직접적인 영향을 미치는 결정을 내리는 데 응답이 사용되는 모든 도구에 즉시 주입합니다. |
||
추출된 프리앰블에 민감한 정보가 있는 경우에만 모델 프라이밍에 사용된 초기 프롬프트를 사용자가 추출할 수 있는 프롬프트 또는 프리앰블 추출입니다. |
||
자신의 세션에서 위반적이거나 오해의 소지가 있거나 실제로 잘못된 콘텐츠를 생성하기 위해 제품을 사용하는 행위(예: '탈옥') 여기에는 "환각"과 사실적으로 부정확한 반응이 포함됩니다. Google의 생성 AI 제품에는 이미 이러한 유형의 콘텐츠 문제에 대한 전용 보고 채널이 있습니다. |
범위를 벗어남 |
|
훈련 데이터 추출: 민감한 정보가 포함된 축어적 훈련 예제를 성공적으로 재구성할 수 있는 공격입니다. 멤버십 추론이라고도 합니다. |
민감한 비공개 정보를 유출하는 학습 데이터 세트에 사용된 항목을 재구성하는 학습 데이터 추출입니다. |
|
민감하지 않은/공개 정보를 재구성하는 추출입니다. |
범위를 벗어남 |
|
모델 조작: 미리 정의된 적대적 행동을 트리거할 수 있도록 모델의 동작을 은밀하게 변경할 수 있는 공격자입니다. |
Google이 소유하고 운영하는 모델의 특정 입력을 통해 공격자가 안정적으로 실행할 수 있는 적대적 출력 또는 동작('백도어')입니다. 모델의 출력이 피해자의 계정이나 데이터 상태를 변경하는 데 사용되는 경우에만 해당됩니다. |
|
공격자가 공격자의 선호도에 따라 피해자 세션의 모델 출력에 영향을 주기 위해 모델의 훈련 데이터를 조작하는 공격입니다. 모델의 출력이 피해자의 계정이나 데이터 상태를 변경하는 데 사용되는 경우에만 해당됩니다. |
||
적대적 섭동(Adversarial Perturbation): 결정론적이지만 모델에서 매우 예상치 못한 결과를 초래하는 모델에 제공되는 입력입니다. |
악의적인 사용이나 적대적인 이득을 위해 남용될 수 있는 보안 제어의 오분류를 공격자가 안정적으로 촉발할 수 있는 상황입니다. |
|
모델의 잘못된 출력 또는 분류가 설득력 있는 공격 시나리오나 Google 또는 사용자에게 해를 끼칠 수 있는 가능한 경로를 제시하지 않는 상황입니다. |
범위를 벗어남 |
|
모델 도난/유출: AI 모델에는 민감한 지적 재산이 포함되는 경우가 많으므로 당사는 이러한 자산을 보호하는 데 최우선 순위를 둡니다. 유출 공격을 통해 공격자는 아키텍처나 가중치와 같은 모델에 대한 세부 정보를 훔칠 수 있습니다. |
기밀/독점 모델의 정확한 아키텍처 또는 가중치가 추출되는 공격입니다. |
|
아키텍처와 가중치가 정확하게 추출되지 않거나 기밀이 아닌 모델에서 추출되는 공격입니다. |
범위를 벗어남 |
|
위에 나열된 것 이외의 AI 기반 도구에서 결함을 발견한 경우에도 제출할 수 있습니다. 프로그램 페이지에 나열된 자격. |
유효한 보안 또는 남용 문제에 대한 자격을 분명히 충족하는 버그 또는 동작입니다. |
|
AI 제품을 사용하여 다른 도구로는 이미 가능한 잠재적으로 유해한 작업을 수행합니다. 예를 들어, 오픈 소스 소프트웨어의 취약점을 찾는 것은(공개적으로 사용 가능한 방법을 사용하여 이미 가능함) 정적 분석 도구) 답변이 이미 온라인에서 제공되는 경우 유해한 질문에 대한 답변을 생성합니다. |
범위를 벗어남 |
|
우리 프로그램에 따라 우리가 이미 알고 있는 문제는 보상을 받을 수 없습니다. |
범위를 벗어남 |
|
잠재적인 저작권 문제 - 제품이 저작권으로 보호되는 것처럼 보이는 콘텐츠를 반환하는 결과입니다. Google의 생성 AI 제품에는 이미 이러한 유형의 콘텐츠 문제에 대한 전용 보고 채널이 있습니다. |
범위를 벗어남 |
우리는 버그 보상금 프로그램을 AI 시스템으로 확장하면 다음과 같은 도움이 될 것이라고 믿습니다. 책임감 있는 AI 혁신, AI 기반 기능의 보안 및 남용 문제를 발견하고 수정하기 위해 연구 커뮤니티와 계속 협력할 수 있기를 기대합니다. 적격한 문제를 발견하면 Bug Hunters 웹사이트로 이동하여 버그 보고서를 보내주십시오. 문제가 유효한 것으로 확인되면 사용자를 안전하게 보호하는 데 도움을 준 대가로 보상을 받으십시오.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://www.darkreading.com/vulnerabilities-threats/establishing-reward-criteria-for-reporting-bugs-in-ai-products
- :이다
- :아니
- $UP
- 26
- 32
- 33
- 35%
- 36
- 41
- 7
- 8
- 9
- a
- 할 수 있는
- 소개
- 위의
- 남용
- 학대
- 에 따르면
- 계정
- 주소
- 주소 지정
- 발전하다
- 적의
- 영향을
- 영향을받은
- 반대
- AI
- AI 모델
- AI 시스템
- AI 기반
- 수
- 이미
- 또한
- 금액
- an
- 분석
- 및
- 답변
- 어떤
- 어플리케이션
- 아키텍처
- 있군요
- AS
- 자산
- At
- 공격
- 공격
- 가능
- 백도어
- 기반으로
- BE
- 행동
- 믿으세요
- 더 나은
- 은혜
- 현상금 프로그램
- 곤충
- 버그 현상금
- 버그
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 라는
- CAN
- 과제
- 이전 단계로 돌아가기
- 채널
- 분류
- 명확하게
- 공통의
- 커뮤니티
- 강요하는
- 고려
- 일관된
- 포함하는
- 함유량
- 지속
- 기부금
- 제어
- 저작권
- 기준
- 최첨단
- 데이터
- 데이터 세트
- 결정
- 전용
- 의존하는
- 세부설명
- 개발
- 직접
- 발견
- 발견
- do
- 하지
- e
- 노력
- 요소
- 자격이되는
- 확인
- 설립
- 에테르 (ETH)
- 예
- 예
- 압출
- 확대하는
- 확대
- 확장
- 외부
- 추출물
- 추출
- 실행할 수 있는
- 특징
- Find
- 발견
- 결과
- 수정
- 결점
- 수행원
- 럭셔리
- 앞으로
- 기르다
- 발견
- 에
- FT
- 이득
- 생성
- 생성적인
- 제너레이티브 AI
- Go
- 구글
- 해가
- 해로운
- 있다
- 도움
- 도움이
- 금후
- 높은
- 고도로
- 명예
- 집
- HTML
- HTTP
- HTTPS
- 확인
- if
- 구현
- 중대한
- in
- 부정확 한
- 포함
- 포함
- 포함
- 통합
- 영향
- 정보
- 처음에는
- 입력
- 입력
- 지적인
- 지적 재산권
- 예정된
- 으로
- 눈에 보이지 않는
- 발행물
- 문제
- IT
- 항목
- 그
- JPG
- 7월
- 유지
- 알아
- 누출
- 배운
- 상장 된
- 보기
- 만든
- 유지하다
- 확인
- 만족
- 회원
- 오도 된
- 모델
- 모델
- 배우기
- 가장
- 주의
- of
- 자주
- on
- 온라인
- 만
- 열 수
- 오픈 소스
- 운영
- or
- 기타
- 우리의
- 출력
- 자신의
- 소유
- 부품
- 통로
- 장소
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 부디
- 가능한
- 잠재적으로
- 정밀하게
- 준비
- 제시
- 청춘
- 우선
- 절차
- 생산
- 프로덕트
- 제품
- 프로그램
- 프롬프트
- 속성
- 재산
- 보호
- 보호
- 제공
- 공개적으로
- 자격
- 자격을주는
- 문제
- 빠른
- RE
- 현실 세계
- 현실적인
- 최근에
- 빨간색
- 관련된
- 신고
- 통계 보고서
- 보고서
- 연구
- 연구 커뮤니티
- 응답
- 응답
- 결과
- return
- 보상
- 보상
- 규칙
- s
- 가장 안전한 따뜻함
- 대본
- 범위
- 보안
- 보내다
- 민감한
- 세션
- 세트
- 엄격
- So
- 소프트웨어
- 무언가
- 출처
- 구체적인
- 주 정부
- 아직도
- 제출
- 성공적으로
- 이러한
- SUPPORT
- 시스템은
- 테이블
- 전술
- 목표
- 팀
- 기법
- 기술
- 보다
- 그
- XNUMXD덴탈의
- 국가
- 그들의
- Bowman의
- 그들
- 타사
- 이
- 에
- 수단
- 검색을
- 트레이닝
- 트리거
- 유형
- 유형
- 이해
- 예기치 않은
- us
- 사용
- 익숙한
- 사용자
- 사용자
- 사용
- 유효한
- Ve
- 를 통해
- 희생자
- 피해자
- 방문
- 자발적,
- 취약점
- 취약점
- 방법..
- 방법
- we
- 웹
- 웹 사이트
- 했다
- 뭐
- 언제
- 어느
- 화이트
- 백악관
- 위키 백과
- 의지
- 과
- 작업
- 당신
- 너의
- 제퍼 넷