As usual in January we start with a look back at the papers we reviewed last year. Paul Cunningham (GM, Verification at Cadence), Raúl Camposano (Silicon Catalyst, entrepreneur, former Synopsys CTO and now Silvaco CTO) and I continue our series on research ideas. As always, feedback welcome. We’re planning on starting a live series this year to debate ideas and broader topics and to get your feedback. Details to follow!
2023 کے انتخاب
These are the blogs we posted through the year, sorted by popularity. We averaged 12.7k engagements per blog, a meaningful increase from last year which we take as an indication that you continue to enjoy our reviews of current research in verification. The leader was no surprise, applying LLMs to automated code review at almost 17k engagements. A close second uses ML to develop model abstractions. In fact the top 4 blogs in 2023 were on all on applications of AI/ML. Petri nets made an appearance again this year, here for validating rapidly evolving DRAM protocols. Using dedicated hardware for speculation in simulation, and a method to find anomalies rounded out the list. The retrospective for 2022 did about as well as usual but was overshadowed by interest in other papers through the year. It is a safe bet we will be looking at more applications of AI/ML in 2024!
پال کا نظریہ
Another year flies by, and 49 papers read since we started the blog in November 2019! Back then we were thinking it would be a great way to bring together our verification community and show our appreciation for continued investment in verification research at academic institutions around the world.
What I didn’t predict was how reading all these papers would inspire new investments and innovations at Cadence. Writing this blog as has taught me that even at an executive level in engineering, staying connected to ground level research and reading papers regularly is good for business. So thank you readers, and thank you Bernard!
No surprise that our top 3 hits last year were all papers on using AI in verification, one on AI to automate code review (لنک), one on AI to help find bugs more quickly in high level SimuLink models of mixed-signal devices (لنک), and one on using AI to automatically identify which line of source code is the root cause of a test failure (لنک). We absolutely need to continue to invest in research here both in academia and in the commercial world. Somehow, over the next decade we need to find our next 10x in verification productivity, and it’s most likely to come from AI.
That said, my personal shout out from 2024 is not AI related. It’s for two papers in logic simulation: one on parallelizing simulation using speculative execution of the event queue (لنک), and the other on improving distribution quality of randomized inputs in constrained random tests using clever hashing functions (لنک). I call these “engine-level” innovations –making the building blocks inside EDA tools fundamentally better. We also need to continue research and innovation here. These two papers were very innovative but had nothing to do with AI. Let’s not forget to keep investing in non-AI related innovation as well.
راول کا نظریہ
Writing this retrospective during the holidays inevitably collides with one of humankind’s necessities which can be elevated to an art: eating. Reviewing restaurants perhaps shares enough with reviewing papers to justify ratings such as ★★★ exceptional, worth a special journey, ★★ excellent, worth a detour, ★ high quality, worth a stop, and 😋 exceptionally good at moderate prices. Paul already stated that our September review ایک تھا "Michelin star topic”. I will continue in this vein, using your preferences (number of views), dear readers, as the yardstick.
While last year’s blog was largely about cool algorithms, this year’s was about AI / ML اور سافٹ ویئر (SW). The top three ★★★ papers were all about verification of SW using AI/ML. The top rated blog (جولائی) was about code review with generative AI, the second (نومبر) dealt with testing and verifying SW for Cyber-Physical Systems using surrogate AI models, and the third (مئی) was about detecting and fixing bugs in Java augmenting with AI classifiers. Two of these three papers use large datasets from GitHub for training. Such data is not available publicly for hardware (HW) design; which is arguably different enough from SW to at least raise the question whether these results can/will be replicated for HW. Nevertheless, looking at what the SW community is doing about verification is certainly a source of inspiration.
The next three papers, ranked with ★★, are an eclectic collection of AI/ML, a very cool algorithm, and Petri-Nets. All deal with verification in EDA. ستمبر کا paper was a preview on using a LLM (GPT-4) and a model checker (JasperGold) to translate English into System Verilog Assertions (SVA). The next one (جون) addressed how to sample the solution space for constrained random verification یکساں طور پر (meeting the constraints) – a cool algorithm for a hard problem, back from 2014. The last contribution in this group (اپریل) extended Petri Nets for the verification of JEDEC DDR specifications; it is educational both on JEDEC specs and Petri Nets, and uncovers one timing violation.
Papers 7-9, ranked with ★, deal with analog design verification, CPU verification and parallel SW execution. In اکتوبر we reviewed an invited paper to the IEEE open journal of the Solid-State Circuits Society, besides being a good tutorial on analog design and validation, the main contribution consists of replacing analog circuit models by functional models to accelerate Spice simulation by 4 orders of magnitude. February’s paper was about using DNNs to improve random instruction generators in CPU verification, showing a reduction of “2 یا اس سے زیادہ کے فیکٹر کے ذریعہ نقلیوں کی تعداد” in a simple example (IBM Northstar, 5 instructions). مارچ brought us the complete design of a HW accelerator to implement the Spatially Located Ordered Tasks (SLOT) پر عمل درآمد کا ماڈل to exploit parallelism and speculation, and for applications that generate tasks dynamically at runtime.
Which leaves us with two 😋 recipients. In اگست we reviewed a paper from 2013 which pioneered k-means clustering (2013) for post silicon bug detection. And in دسمبر we looked at a very important topic, security verification using IFT (Information Flow Tracking) and it’s extension from gate level to RTL. Not surprisingly, December’s contribution got the least hits as our readers were probably facing the dilemma described initially.
Ratings can be arbitrary at times, all these contributions are star worthy and advance the state of the art. We can be grateful for an active, international research community in academia and industry tackling really hard problems. As of my personal preferences, you can guess…
اس پوسٹ کو بذریعہ شیئر کریں:
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://semiwiki.com/eda/341102-2023-retrospective-innovation-in-verification/
- : ہے
- : ہے
- : نہیں
- 12
- 2013
- 2014
- 2022
- 2023
- 2024
- 49
- a
- ہمارے بارے میں
- بالکل
- اکیڈمی
- تعلیمی
- رفتار کو تیز تر
- مسرع
- فعال
- خطاب کیا
- آگے بڑھانے کے
- پھر
- AI
- اے آئی ماڈلز
- AI / ML
- یلگورتم
- یلگوردمز
- تمام
- تقریبا
- پہلے ہی
- بھی
- ہمیشہ
- an
- اور
- ایپلی کیشنز
- درخواست دینا
- قدردانی
- کیا
- دلیل سے
- ارد گرد
- فن
- AS
- At
- خود کار طریقے سے
- آٹومیٹڈ
- خود کار طریقے سے
- دستیاب
- واپس
- BE
- کیا جا رہا ہے
- اس کے علاوہ
- بیٹ
- بہتر
- بلاکس
- بلاگ
- بلاگز
- دونوں
- لانے
- وسیع
- لایا
- بگ کی اطلاع دیں
- کیڑوں
- عمارت
- کاروبار
- لیکن
- by
- Cadence سے
- فون
- کر سکتے ہیں
- عمل انگیز
- کیونکہ
- یقینی طور پر
- کلوز
- clustering کے
- کوڈ
- کوڈ کا جائزہ
- مجموعہ
- کس طرح
- تجارتی
- کمیونٹی
- مکمل
- منسلک
- مشتمل
- رکاوٹوں
- جاری
- جاری رہی
- شراکت
- شراکت دار
- ٹھنڈی
- CPU
- CTO
- موجودہ
- اعداد و شمار
- ڈیٹاسیٹس
- نمٹنے کے
- عزیز
- بحث
- دہائی
- وقف
- بیان کیا
- ڈیزائن
- تفصیلات
- کھوج
- ترقی
- کے الات
- DID
- مختلف
- تقسیم
- do
- کر
- کے دوران
- متحرک طور پر
- انتخابی
- تعلیمی
- بلند
- مصروفیات
- انجنیئرنگ
- انگریزی
- لطف اندوز
- کافی
- ٹھیکیدار
- بھی
- واقعہ
- تیار ہوتا ہے
- مثال کے طور پر
- بہترین
- غیر معمولی
- غیر معمولی
- پھانسی
- ایگزیکٹو
- دھماکہ
- توسیع
- مدت ملازمت میں توسیع
- سامنا کرنا پڑا
- حقیقت یہ ہے
- عنصر
- ناکامی
- آراء
- مل
- بہاؤ
- کے لئے
- سابق
- سے
- فنکشنل
- افعال
- بنیادی طور پر
- دروازے
- پیدا
- پیداواری
- پیداواری AI۔
- جنریٹر
- حاصل
- GitHub کے
- GM
- اچھا
- ملا
- شکر گزار
- عظیم
- گراؤنڈ
- گروپ
- تھا
- ہارڈ
- ہارڈ ویئر
- ہیشنگ
- مدد
- یہاں
- ہائی
- مشاہدات
- تعطیلات
- کس طرح
- کیسے
- HTTPS
- i
- IBM
- خیالات
- شناخت
- IEEE
- پر عملدرآمد
- اہم
- کو بہتر بنانے کے
- کو بہتر بنانے کے
- in
- دیگر میں
- اضافہ
- اشارہ
- صنعت
- لامحالہ
- معلومات
- ابتدائی طور پر
- جدت طرازی
- بدعت
- جدید
- آدانوں
- کے اندر
- پریرتا
- حوصلہ افزائی
- اداروں
- ہدایات
- دلچسپی
- بین الاقوامی سطح پر
- میں
- سرمایہ کاری
- سرمایہ کاری
- سرمایہ کاری
- سرمایہ کاری
- مدعو کیا
- IT
- جنوری
- اعلی درجے کا Java
- جرنل
- سفر
- رکھیں
- بڑے
- بڑے پیمانے پر
- آخری
- آخری سال
- رہنما
- کم سے کم
- سطح
- امکان
- لائن
- لسٹ
- رہتے ہیں
- واقع ہے
- منطق
- دیکھو
- دیکھا
- تلاش
- بنا
- مین
- زیادہ سے زیادہ چوڑائی
- me
- بامعنی
- اجلاس
- طریقہ
- ML
- ماڈل
- ماڈل
- اعتدال پسند
- زیادہ
- سب سے زیادہ
- my
- ضروریات
- ضرورت ہے
- نیٹ
- پھر بھی
- نئی
- اگلے
- نہیں
- کچھ بھی نہیں
- نومبر
- اب
- تعداد
- of
- on
- ایک
- کھول
- or
- احکامات
- دیگر
- ہمارے
- باہر
- پر
- کاغذ.
- کاغذات
- متوازی
- پال
- فی
- شاید
- ذاتی
- پیٹرری
- پایا
- منصوبہ بندی
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- مقبولیت
- پوسٹ
- پوسٹ کیا گیا
- پیشن گوئی
- ترجیحات
- پیش نظارہ
- قیمتیں
- شاید
- مسئلہ
- مسائل
- پیداوری
- پروٹوکول
- عوامی طور پر
- معیار
- سوال
- جلدی سے
- بلند
- بے ترتیب
- بے ترتیب
- رینکنگ
- میں تیزی سے
- شرح
- درجہ بندی
- پڑھیں
- قارئین
- پڑھنا
- واقعی
- وصول کنندگان
- کمی
- باقاعدگی سے
- متعلقہ
- نقل تیار
- تحقیق
- تحقیق اور بدعت
- ریسرچ کمیونٹی
- ریستوران
- نتائج کی نمائش
- کا جائزہ لینے کے
- -جائزہ لیا
- جائزہ لیں
- جائزہ
- جڑ
- محفوظ
- کہا
- دوسری
- سیکورٹی
- سیریز
- حصص
- دکھائیں
- ظاہر
- سلیکن
- سادہ
- تخروپن
- نقوش
- بعد
- سلاٹ
- So
- سوسائٹی
- حل
- کسی طرح سے
- ماخذ
- ماخذ کوڈ
- خلا
- خصوصی
- وضاحتیں
- شیشے
- قیاس
- نمائش
- مسالا
- سٹار
- شروع کریں
- شروع
- شروع
- حالت
- نے کہا
- رہ
- بند کرو
- اس طرح
- حیرت
- کے نظام
- سسٹمز
- سے نمٹنے
- لے لو
- کاموں
- سکھایا
- ٹیسٹ
- ٹیسٹنگ
- ٹیسٹ
- شکریہ
- کہ
- ۔
- ریاست
- دنیا
- تو
- یہ
- سوچنا
- تھرڈ
- اس
- اس سال
- تین
- کے ذریعے
- اوقات
- وقت
- کرنے کے لئے
- مل کر
- اوزار
- سب سے اوپر
- موضوع
- موضوعات
- ٹریکنگ
- ٹریننگ
- ترجمہ کریں
- سبق
- دو
- us
- استعمال کی شرائط
- استعمال
- کا استعمال کرتے ہوئے
- ہمیشہ کی طرح
- توثیق کرنا
- توثیق
- توثیق
- تصدیق کرنا
- بہت
- کی طرف سے
- خیالات
- خلاف ورزی
- تھا
- راستہ..
- we
- آپ کا استقبال ہے
- اچھا ہے
- تھے
- کیا
- چاہے
- جس
- گے
- ساتھ
- دنیا
- قابل
- قابل
- گا
- تحریری طور پر
- سال
- آپ
- اور
- زیفیرنیٹ