اسکای نت آهوی؟ برای خطرات امنیتی هوش مصنوعی نسل بعدی چه انتظاری داریم؟

کارشناسان امنیتی هشدار می‌دهند که از آنجایی که نوآوری در هوش مصنوعی (AI) به سرعت ادامه دارد، سال 2024 برای سازمان‌ها و نهادهای حاکم برای ایجاد استانداردهای امنیتی، پروتکل‌ها و سایر نرده‌های محافظ برای جلوگیری از پیشی گرفتن هوش مصنوعی از آن‌ها، زمان حیاتی خواهد بود.

مدل‌های زبان بزرگ (LLM)، با الگوریتم‌های پیچیده و مجموعه‌های داده عظیم، درک زبان و قابلیت‌های مکالمه‌ای شبیه انسان را نشان می‌دهند. یکی از پیچیده‌ترین این پلتفرم‌ها تا به امروز، OpenAI's GPT-4 است که دارای قابلیت‌های استدلال و حل مسئله پیشرفته است و ربات ChatGPT شرکت را قدرتمند می‌کند. و این شرکت با مشارکت مایکروسافت کار بر روی GPT-5 را آغاز کرده است که مدیر عامل شرکت سام آلتمن گفت. بسیار فراتر خواهد رفت - تا حد برخورداری از "فوق هوش".

این مدل‌ها نشان‌دهنده پتانسیل عظیمی برای بهره‌وری و بهره‌وری قابل‌توجه برای سازمان‌ها هستند، اما کارشناسان توافق دارند که زمان برای کل صنعت فرا رسیده است. برای رسیدگی به خطرات امنیتی ذاتی ناشی از توسعه و استقرار آنها. در واقع، تحقیقات اخیر Writerbuddy AI، که یک ابزار نوشتن محتوا مبتنی بر هوش مصنوعی ارائه می دهد، دریافت که ChatGPT تاکنون 14 میلیارد بازدید و شمارش داشته است.

گال رینگل، مدیر عامل شرکت امنیتی و حریم خصوصی MineOS می‌گوید: همانطور که سازمان‌ها به سمت پیشرفت در هوش مصنوعی پیش می‌روند، این باید با ملاحظات اخلاقی دقیق و ارزیابی ریسک همراه باشد.

آیا هوش مصنوعی یک تهدید وجودی است؟

نگرانی‌ها در مورد امنیت نسل بعدی هوش مصنوعی در ماه مارس با نامه‌ای سرگشاده با امضای نزدیک به 34,000 فن‌آور برتر که خواستار توقف توسعه سیستم‌های هوش مصنوعی مولد قدرتمندتر از OpenAI GPT-4. در این نامه به «خطرات عمیقی» برای جامعه اشاره شده است که این فناوری نشان‌دهنده آن است و «مسابقه خارج از کنترل آزمایشگاه‌های هوش مصنوعی برای توسعه و استقرار ذهن‌های دیجیتالی قدرتمندتر که هیچ‌کس – حتی سازندگان آن‌ها – نتواند آن را درک، پیش‌بینی یا پیش‌بینی کند. قابل اطمینان کنترل کنید.»

علیرغم این ترس‌های دیستوپیایی، اکثر کارشناسان امنیتی نگران سناریوی روز قیامت نیستند که در آن ماشین‌ها از انسان‌ها باهوش‌تر شوند و دنیا را تحت کنترل خود درآورند.

مت ویلسون، مدیر مهندسی فروش در شرکت امنیت سایبری نتریکس، می‌گوید: «این نامه سرگشاده به نگرانی‌های معتبر در مورد پیشرفت سریع و کاربردهای بالقوه هوش مصنوعی به طور گسترده اشاره کرده است، آیا این برای بشریت خوب است». اگرچه در سناریوهای خاص چشمگیر است، اما نسخه های عمومی ابزارهای هوش مصنوعی آنقدرها هم تهدیدآمیز به نظر نمی رسند.

محققان خاطرنشان می‌کنند که آنچه نگران‌کننده است این واقعیت است که پیشرفت‌ها و پذیرش هوش مصنوعی خیلی سریع پیش می‌رود تا ریسک‌ها به درستی مدیریت شوند. پاتریک هار، مدیر عامل تامین‌کننده امنیت هوش مصنوعی SlashNext می‌گوید: «ما نمی‌توانیم درب جعبه پاندورا را برگردانیم.

مارکوس فاولر، مدیر عامل شرکت امنیتی DarkTrace فدرال، معتقد است، صرفاً «تلاش برای متوقف کردن نرخ نوآوری در فضا به کاهش خطرات ناشی از آن کمکی نمی‌کند» که باید به طور جداگانه مورد بررسی قرار گیرد. او می گوید که این بدان معنا نیست که توسعه هوش مصنوعی باید بدون کنترل ادامه یابد. برعکس، میزان ارزیابی ریسک و اجرای پادمان‌های مناسب باید با نرخ آموزش و توسعه LLM مطابقت داشته باشد.

فاولر توضیح می‌دهد: «فناوری هوش مصنوعی به سرعت در حال پیشرفت است، بنابراین دولت‌ها و سازمان‌هایی که از هوش مصنوعی استفاده می‌کنند نیز باید بحث‌ها را در مورد ایمنی هوش مصنوعی تسریع کنند.

خطرات هوش مصنوعی مولد

چندین خطر شناخته شده برای هوش مصنوعی مولد وجود دارد که نیاز به بررسی دارد و با هوشمندتر شدن نسل‌های آینده این فناوری بدتر خواهد شد. خوشبختانه برای انسان ها، هیچ یک از آنها تاکنون سناریوی روز قیامت علمی-تخیلی را ارائه نکرده اند که در آن هوش مصنوعی برای نابودی سازندگانش توطئه می کند.

در عوض، آنها شامل تهدیدهای بسیار آشناتر مانند نشت داده ها، احتمالاً اطلاعات حساس تجاری می شوند. سوء استفاده برای فعالیت های مخرب؛ و خروجی های نادرست که می تواند کاربران را گمراه یا گیج کند و در نهایت منجر به پیامدهای منفی تجاری شود.

از آنجایی که LLM ها برای ارائه خروجی های دقیق و مرتبط نیازمند دسترسی به حجم وسیعی از داده ها هستند، اطلاعات حساس می توانند سهوا فاش شوند یا مورد سوء استفاده قرار گیرند.

خطر اصلی این است که کارمندان به آن غذا می دهند با اطلاعات حساس تجاری رینگل خاطرنشان می‌کند که وقتی از آن می‌خواهید طرحی بنویسد یا ایمیل‌ها یا دکورهای تجاری حاوی اطلاعات اختصاصی شرکت را بازنویسی کند.

از منظر حمله سایبری، عوامل تهدید در حال حاضر راه‌های بی‌شماری برای مسلح کردن ChatGPT و سایر سیستم‌های هوش مصنوعی پیدا کرده‌اند. یکی از راه‌ها استفاده از مدل‌ها برای ایجاد مصالحه ایمیل تجاری پیچیده (BEC) و سایر حملات فیشینگ بوده است که نیاز به ایجاد پیام‌های مهندسی شده اجتماعی و شخصی‌سازی شده برای موفقیت دارند.

هار می‌گوید: «با بدافزار، ChatGPT مجرمان سایبری را قادر می‌سازد تا تغییرات کد بی‌نهایتی را ایجاد کنند تا یک قدم جلوتر از موتورهای شناسایی بدافزار باشند.

توهمات هوش مصنوعی همچنین یک تهدید امنیتی قابل توجه است و به عوامل مخرب اجازه می دهد تا فناوری مبتنی بر LLM مانند ChatGPT را به روشی منحصر به فرد مسلح کنند. توهم هوش مصنوعی پاسخی قابل قبول از سوی هوش مصنوعی است که ناکافی، جانبدارانه یا واضح است. آویوا لیتان، معاون گارتنر هشدار می‌دهد: «پاسخ‌های ساختگی یا سایر پاسخ‌های ناخواسته می‌توانند سازمان‌ها را به سمت تصمیم‌گیری، فرآیندها و ارتباطات گمراه‌کننده معیوب سوق دهند».

مایکل راینهارت، معاون هوش مصنوعی در ارائه‌دهنده امنیت داده Securiti می‌گوید، عوامل تهدید همچنین می‌توانند از این توهم‌ها برای مسموم کردن LLM‌ها و «تولید اطلاعات نادرست خاص در پاسخ به یک سؤال» استفاده کنند. این قابلیت برای تولید کد منبع آسیب‌پذیر و احتمالاً مدل‌های چت که کاربران یک سایت را به سمت اقدامات ناامن هدایت می‌کنند، قابل گسترش است.»

مهاجمان حتی می توانند تا آنجا پیش بروند انتشار نسخه های مخرب بسته های نرم افزاری که یک LLM ممکن است به یک توسعه‌دهنده نرم‌افزار توصیه کند، با این باور که این یک راه حل قانونی برای یک مشکل است. به این ترتیب، مهاجمان می‌توانند بیشتر از هوش مصنوعی برای حمله‌های زنجیره تامین سلاح استفاده کنند.

راه پیش رو

کارشناسان خاطرنشان می‌کنند که مدیریت این ریسک‌ها به اقدامات جمعی و اندازه‌گیری شده نیاز دارد، قبل از اینکه نوآوری هوش مصنوعی از توانایی صنعت برای کنترل آن پیشی بگیرد. اما آنها همچنین ایده هایی در مورد نحوه رسیدگی به مشکل هوش مصنوعی دارند.

هار به یک "مبارزه با هوش مصنوعی با Aاستراتژی، که در آن «پیشرفت در راه‌حل‌های امنیتی و استراتژی‌های خنثی کردن خطرات ناشی از هوش مصنوعی باید با سرعتی برابر یا بیشتر توسعه یابد.

او می افزاید: «حفاظت از امنیت سایبری باید از هوش مصنوعی برای مبارزه با تهدیدات سایبری با استفاده از فناوری هوش مصنوعی استفاده کند. "در مقایسه، فناوری امنیتی قدیمی شانسی در برابر این حملات ندارد."

با این حال، سازمان‌ها نیز باید رویکردی سنجیده برای پذیرش هوش مصنوعی اتخاذ کنند - از جمله راه حل های امنیتی مبتنی بر هوش مصنوعی ویلسون نتریکس هشدار می دهد که مبادا خطرات بیشتری را وارد محیط خود کنند.

او توصیه می کند: "درک کنید که هوش مصنوعی چیست و چیست." فروشندگانی را که ادعا می‌کنند از هوش مصنوعی استفاده می‌کنند به چالش بکشید تا توضیح دهند که چه کاری انجام می‌دهد، چگونه راه‌حل‌هایشان را بهبود می‌بخشد، و چرا این موضوع برای سازمان شما اهمیت دارد.»

Securiti's Rinehart با به کارگیری راه حل های متمرکز و سپس قرار دادن نرده های محافظ بلافاصله قبل از اینکه سازمان را در معرض خطرات غیرضروری قرار دهد، رویکردی دو سطحی برای مرحله بندی هوش مصنوعی در یک محیط ارائه می دهد.

او می‌گوید: «ابتدا مدل‌های ویژه برنامه‌ای را اتخاذ کنید، که به طور بالقوه توسط پایگاه‌های دانش تقویت شده‌اند، که برای ارائه ارزش در موارد استفاده خاص طراحی شده‌اند. سپس… یک سیستم نظارتی را برای محافظت از این مدل‌ها با بررسی دقیق پیام‌ها به آن‌ها و از آنها برای مسائل مربوط به حریم خصوصی و امنیتی، اجرا کنید.»

کارشناسان همچنین توصیه می‌کنند که سیاست‌ها و رویه‌های امنیتی را قبل از استقرار هوش مصنوعی تنظیم کنید و نه به‌عنوان یک فکر بعدی برای کاهش خطر. آن‌ها حتی می‌توانند یک افسر ریسک هوش مصنوعی یا گروه ویژه برای نظارت بر انطباق ایجاد کنند.

خارج از شرکت، صنعت به عنوان یک کل باید اقداماتی را برای تنظیم استانداردها و شیوه‌های امنیتی پیرامون هوش مصنوعی انجام دهد که همه افراد در حال توسعه و استفاده از این فناوری می‌توانند آن را اتخاذ کنند - چیزی که نیاز به اقدام جمعی از سوی بخش عمومی و خصوصی در مقیاس جهانی دارد. فاولر DarkTrace Federal's می گوید.

او میگوید دستورالعمل های ساخت سیستم های هوش مصنوعی ایمن به طور مشترک توسط آژانس امنیت سایبری و امنیت زیرساخت ایالات متحده (CISA) و مرکز امنیت سایبری ملی بریتانیا (NCSC) به عنوان نمونه ای از نوع تلاش هایی که باید با تکامل مداوم هوش مصنوعی همراه باشد، منتشر شده است.

راینهارت از Securiti می‌گوید: «در اصل، سال 2024 شاهد تطبیق سریع تکنیک‌های امنیتی سنتی و پیشرفته هوش مصنوعی برای محافظت از کاربران و داده‌ها در این عصر نوظهور هوش مصنوعی خواهد بود.»

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://www.darkreading.com/vulnerabilities-threats/skynet-ahoy-what-to-expect-next-gen-ai-security-risks