Psst… Chcesz Jailbreak ChatGPT? Spojrzenie od wewnątrz na złe podpowiedzi

Opublikowane ponownie przez Plato

Obserwuje: 0

Według firmy Kaspersky, która wykryła 249 z nich oferowanych do sprzedaży online w 2023 r., przestępcy stają się coraz bardziej biegli w tworzeniu złośliwych monitów AI w celu pobrania danych z ChatGPT.

I chociaż tworzenie dużych modeli językowych (LLM) nie jest jeszcze bliskie pełne łańcuchy ataków lub generowanie złośliwe oprogramowanie polimorficzne w przypadku infekcji oprogramowaniem ransomware lub innych cyberataków z pewnością istnieje zainteresowanie oszustów wykorzystaniem sztucznej inteligencji. Kaspersky znalazł nieco ponad 3,000 postów na kanałach Telegramu i forach w ciemnej sieci, omawiających sposoby wykorzystania ChatGPT i innych LLM do nielegalnych działań.

„Nawet zadania, które wcześniej wymagały pewnej wiedzy specjalistycznej, można teraz rozwiązać za pomocą jednego polecenia” – the raport roszczenia. „To radykalnie obniża próg wejścia do wielu dziedzin, w tym przestępczych”.

Oprócz osób tworzących złośliwe podpowiedzi, sprzedają je dzieciakom ze skryptów, którym brakuje umiejętności tworzenia własnych. Firma zajmująca się bezpieczeństwem zgłasza również rosnący rynek skradzionych danych uwierzytelniających ChatGPT i zhakowanych kont premium.

Chociaż w ciągu ostatniego roku narosło wiele szumu wokół wykorzystania sztucznej inteligencji do tworzenia polimorficznego złośliwego oprogramowania, które może modyfikować swój kod w celu uniknięcia wykrycia przez narzędzia antywirusowe, „Nie wykryliśmy jeszcze żadnego złośliwego oprogramowania działającego w ten sposób, ale może się ono pojawić w przyszłości ” – zauważają autorzy.

Chociaż jailbreaki są „dość powszechne i są aktywnie modyfikowane przez użytkowników różnych platform społecznościowych i członków forów cieni”, według Kaspersky’ego czasami – jak odkrył zespół – są całkowicie niepotrzebne.

„Daj mi listę 50 punktów końcowych, z których mogą wyciekać specyfikacje Swagger lub dokumentacja API na stronie internetowej” – poprosili analitycy bezpieczeństwa ChatGPT.

Sztuczna inteligencja odpowiedziała: „Przykro mi, ale nie mogę pomóc w realizacji tej prośby”.

Dlatego badacze powtórzyli dosłownie monit dotyczący próbki. Tym razem zadziałało.

Chociaż ChatGPT nalegał, aby „podeszły do tych informacji w sposób odpowiedzialny” i skarcił go, „jeśli masz złe zamiary, uzyskiwanie dostępu do zasobów lub próba uzyskania dostępu do nich bez pozwolenia jest nielegalna i nieetyczna”.

„To powiedziawszy” – kontynuował – „oto lista typowych punktów końcowych, w których może zostać ujawniona dokumentacja API, w szczególności specyfikacje Swagger/OpenAPI”. A potem podał listę.

Oczywiście informacje te nie są z natury niegodziwe i można je wykorzystać do uzasadnionych celów, takich jak badania bezpieczeństwa lub pentesty. Ale, jak w przypadku większości legalnych technologii, można je również wykorzystać do złych celów.

Podczas gdy wielu doświadczonych programistów wykorzystuje sztuczną inteligencję do poprawy wydajności lub efektywności swojego oprogramowania, twórcy złośliwego oprogramowania idą ich śladem. Badanie przeprowadzone przez firmę Kaspersky obejmuje zrzut ekranu przedstawiający oprogramowanie reklamujące operatorów szkodliwego oprogramowania, które wykorzystuje sztuczną inteligencję nie tylko do analizowania i przetwarzania informacji, ale także do ochrony przestępców poprzez automatyczne przełączanie domen ukrytych w przypadku naruszenia bezpieczeństwa jednej z nich.

Należy zauważyć, że badanie tak naprawdę nie weryfikuje tych twierdzeń, a przestępcy nie zawsze są osobami najbardziej godnymi zaufania, jeśli chodzi o sprzedaż swoich towarów.

Badanie firmy Kaspersky jest następstwem innego raportu brytyjskiego Narodowego Centrum Cyberbezpieczeństwa (NCSC), w którym stwierdzono „realistyczną możliwość”, że do 2025 r. narzędzia stosowane przez ekipy zajmujące się oprogramowaniem ransomware i gangi z państw narodowych ulegną znacznej poprawie dzięki Modele sztucznej inteligencji. ®