Coinbase: ChatGPT لا يلبي متطلبات الدقة للتكامل في عملية مراجعة الأمان

أعاد نشره أفلاطون

المتابعون: 0

قالت Coinbase إنها لن تدمج أداة الذكاء الاصطناعي الشهيرة ChatGPT في عملية المراجعة الأمنية لأنها لا تفي بمتطلبات الدقة الخاصة بها.

استخدمت Coinbase ChatGPT لاختبار معايير الأمان لـ 20 من رموز ERC-20 غير المسماة. أظهرت نتائج الاختبارات أن الأداة أظهرت "وعدًا بقدرتها على تقييم مخاطر العقود الذكية بسرعة".

ومع ذلك ، عند مقارنة نتائج ChatGPT بالمراجعة اليدوية لفريق Coinbase الأمني ، قدم الجهاز ثماني إجابات غير صحيحة - خمسة منها كانت أسوأ حالة فشل.

أظهر تفصيل هذه الأخطاء أن ChatGPT صنف بشكل غير صحيح الأصول عالية المخاطر على أنها منخفضة المخاطر. وأشار موقع Coinbase إلى أن "التقليل من درجة المخاطرة هو أكثر ضررًا بكثير من المبالغة في التقدير".

فريق أمان Coinbase محمد لقد قامت أولاً بتعليم ChatGPT كيفية إجراء تحليل الأمان باستخدام تنسيقه. ومع ذلك ، لا يزال الجهاز يخطئ في تسمية هذه المخاطر لأنه لا يمكنه التعرف على "عندما يفتقر إلى السياق لإجراء تحليل أمني قوي".

بالإضافة إلى ذلك ، كانت ردود ChatGPT غير متسقة أيضًا عند طرح نفس السؤال مرارًا وتكرارًا. قال Coinbase إن أداة الذكاء الاصطناعي "تأثرت بالتعليقات الواردة في الكود وبدت وكأنها تلقائية بالتعليقات بدلاً من منطق الوظيفة في بعض الأحيان".

خلص Coinbase إلى أن:

"بينما تُظهر ChatGPT نتائج واعدة لقدرتها على تقييم مخاطر العقود الذكية بسرعة ، إلا أنها لا تفي بمتطلبات الدقة ليتم دمجها في عمليات مراجعة أمان Coinbase."

وفي الوقت نفسه ، تمثل هذه التجربة مثالًا آخر على الإمكانات التطبيقات من ChatGPT وأحدث إصدار له ، جي بي تي-4. اكتسبت أداة الذكاء الاصطناعي شهرة بسبب استجاباتها الشبيهة بالإنسان ونتائجها العالية في الاختبارات الرئيسية.

سلط المتحمسون للعملات المشفرة الضوء أيضًا على قدرتها على مراجعة عقود Ethereum الذكية ، وتحديد نقاط الضعف وطرق استغلال الكود. مدير Coinbase كونور جروجان وأشار هذا في خيط Twitter حيث "سلط الجهاز الضوء على عدد من نقاط الضعف الأمنية وأشار إلى المناطق السطحية التي يمكن استغلال العقد فيها".

يعتقد العديد من مطوري blockchain أن الأداة يمكن أن تساعدهم في عملهم ولكن لا يرون أنها تحل محل البشر.