Nu de beveiliging onder de loep wordt genomen, recruteert OpenAI een ‘rood team’ op het gebied van cyberbeveiliging - Decrypt

Heruitgegeven door Plato

volgers: 0

Om de veiligheid van zijn populaire AI-chatbot te versterken, wendt OpenAI zich tot externe experts op het gebied van cyberbeveiliging en penetratie, ook wel bekend als ‘rode teams’, om gaten in het AI-platform te vinden.

Het bedrijf zegt dat het op zoek is naar experts op verschillende gebieden, waaronder cognitieve en computerwetenschappen, economie, gezondheidszorg en cyberbeveiliging. Het doel, zegt OpenAI, is om de veiligheid en ethiek van AI-modellen te verbeteren.

De open uitnodiging komt op het moment dat de Amerikaanse Federal Trade Commission een initiatief lanceert onderzoek in OpenAI's gegevensverzameling en beveiligingspraktijken, en beleidsmakers en bedrijven vragen zich af hoe veilig het gebruik van ChatGPT is.

"[Het is] crowdsourcing van vrijwilligers om in te springen en leuke beveiligingsdingen te doen," Halborn Mede-oprichter en CISO Steven Walbroehl vertelde het decoderen. “Het is een netwerkmogelijkheid en een kans om in de frontlinie van de technologie te staan.”

“Hackers – de besten – hacken graag de nieuwste opkomende technologie,” voegde Walbroehl eraan toe.

Om de deal nog aantrekkelijker te maken, zegt OpenAI dat leden van het rode team een vergoeding zullen krijgen, en dat er geen voorafgaande ervaring met AI nodig is – alleen de bereidheid om verschillende perspectieven bij te dragen.

“We kondigen een open oproep aan voor het OpenAI Red Teaming Network en nodigen domeinexperts uit die geïnteresseerd zijn in het verbeteren van de veiligheid van de modellen van OpenAI om zich bij onze inspanningen aan te sluiten,” OpenAI schreef. “We zijn op zoek naar experts uit verschillende vakgebieden die met ons willen samenwerken bij het rigoureus evalueren en red-teamen van onze AI-modellen.”

Rode ploegen verwijzen naar cyberbeveiligingsprofessionals die experts zijn in het aanvallen van systemen (ook wel penetratietesten of pentesten genoemd) en het blootleggen van kwetsbaarheden. Blauwe teams beschrijven daarentegen cyberbeveiligingsprofessionals die systemen verdedigen tegen aanvallen.

“Behalve deelname aan het netwerk zijn er nog andere samenwerkingsmogelijkheden om bij te dragen aan de veiligheid van AI”, vervolgde OpenAI. “Een optie is bijvoorbeeld om veiligheidsevaluaties van AI-systemen te maken of uit te voeren en de resultaten te analyseren.”

OpenAI werd gelanceerd in 2015 en kwam eind vorig jaar in de publieke belangstelling met de publieke lancering van ChatGPT en de meer geavanceerde GPT-4 in maart, waardoor de technische wereld stormenderhand werd veroverd en generatieve AI in de hoofdstroom.

In juli sloot OpenAI zich aan bij Google, Microsoft en anderen en beloofde zich te zullen inzetten voor de ontwikkeling veilig AI-tools.

Terwijl generatieve AI-tools zoals ChatGPT een revolutie teweeg hebben gebracht in de manier waarop mensen inhoud creëren en informatie consumeren, zijn AI-chatbots niet zonder controverse geweest, met claims van vooringenomenheid, racisme, liegen (hallucineren), en een gebrek aan transparantie over hoe en waar gebruikersgegevens worden opgeslagen.

Bezorgdheid over de privacy van gebruikers leidde in verschillende landen, waaronder Italië, Rusland, China, Noord-Korea, Cuba, Iran en Syrië, om een verbod op het gebruik van ChatGPT binnen hun grenzen in te voeren. Als reactie hierop heeft OpenAI ChatGPT bijgewerkt met een verwijderbare chatgeschiedenis functie om de privacy van gebruikers te vergroten.

Het Red Team-programma is het nieuwste initiatief van OpenAI om topbeveiligingsprofessionals aan te trekken om de technologie ervan te helpen evalueren. In juni beloofde OpenAI dit $ 1 miljoen richting cyberbeveiligingsmaatregelen en -initiatieven die gebruik maken van kunstmatige intelligentie.

Hoewel het bedrijf zegt dat onderzoekers niet beperkt zijn in het publiceren van hun bevindingen of het nastreven van andere mogelijkheden, merkte OpenAI op dat leden van het programma zich ervan bewust moeten zijn dat betrokkenheid bij red teaming en andere projecten vaak onderworpen is aan geheimhoudingsovereenkomsten (NDA’s) of ‘moet blijven’. vertrouwelijk voor onbepaalde tijd.”

“We moedigen creativiteit en experimenten aan bij het evalueren van AI-systemen”, concludeerde OpenAI. “Eenmaal voltooid, heten wij u van harte welkom om uw evaluatie bij te dragen aan de open-source Evals-repository voor gebruik door de bredere AI-gemeenschap.”

OpenAI keerde niet onmiddellijk terug Ontsleutelen verzoek om commentaar.