Perjalanan 50 Tahun Teori Kompleksitas ke Batas Pengetahuan | Majalah Quanta

Pada minggu pertama semester musim gugur tahun 2007, Marco Carmosino menyeret dirinya ke kelas matematika yang diwajibkan untuk semua jurusan ilmu komputer di University of Massachusetts, Amherst. Carmosino, mahasiswa tahun kedua, sedang mempertimbangkan untuk berhenti kuliah untuk merancang video game. Kemudian sang profesor mengajukan pertanyaan sederhana yang akan mengubah jalan hidupnya: Bagaimana Anda tahu bahwa matematika benar-benar berhasil?

“Itu membuat saya duduk dan memperhatikan,” kenang Carmosino, sekarang menjadi ilmuwan komputer teoretis di IBM. Dia mendaftar untuk seminar opsional tentang karya Kurt Gödel, yang argumen rujukan-dirinya yang memusingkan pertama kali mengungkap batas penalaran matematis dan menciptakan fondasi untuk semua pekerjaan di masa depan tentang batas fundamental perhitungan. Banyak yang harus diterima.

“Saya 100% tidak mengerti,” kata Carmosino. "Tapi aku tahu bahwa aku menginginkannya."

Saat ini, bahkan peneliti berpengalaman menemukan pemahaman dalam pasokan pendek ketika mereka menghadapi pertanyaan terbuka utama dalam ilmu komputer teoretis, yang dikenal sebagai masalah P versus NP. Intinya, pertanyaan itu menanyakan apakah banyak masalah komputasi yang telah lama dianggap sangat sulit sebenarnya dapat diselesaikan dengan mudah (melalui jalan pintas rahasia yang belum kami temukan), atau apakah, seperti yang diduga sebagian besar peneliti, mereka benar-benar sulit. Yang dipertaruhkan tidak lain adalah sifat dari apa yang dapat diketahui.

Terlepas dari upaya puluhan tahun oleh para peneliti di bidang teori kompleksitas komputasi - studi tentang pertanyaan semacam itu tentang kesulitan intrinsik dari masalah yang berbeda - resolusi untuk pertanyaan P versus NP tetap sulit dipahami. Dan bahkan tidak jelas di mana calon bukti harus dimulai.

"Tidak ada peta jalan," kata Michael Sipser, ahli teori kompleksitas veteran di Massachusetts Institute of Technology yang menghabiskan waktu bertahun-tahun bergulat dengan masalah tersebut pada 1980-an. "Ini seperti kamu pergi ke hutan belantara."

Tampaknya membuktikan bahwa masalah komputasi sulit dipecahkan itu sendiri merupakan tugas yang sulit. Tapi kenapa begitu sulit? Dan seberapa sulitkah itu? Carmosino dan peneliti lain di subbidang meta-kompleksitas merumuskan ulang pertanyaan seperti ini sebagai masalah komputasi, mendorong bidang ini ke depan dengan mengembalikan lensa teori kompleksitas ke dirinya sendiri.

“Anda mungkin berpikir, 'Oke, itu keren. Mungkin ahli teori kompleksitas sudah gila,'” kata Rahul Ilango, seorang mahasiswa pascasarjana di MIT yang telah menghasilkan beberapa hasil terbaru yang paling menarik di bidangnya.

Dengan mempelajari pertanyaan-pertanyaan yang berwawasan ke dalam ini, para peneliti telah belajar bahwa kekerasan dalam membuktikan kekerasan komputasional terkait erat dengan pertanyaan mendasar yang mungkin pada awalnya tampak tidak berhubungan. Seberapa sulit menemukan pola tersembunyi dalam data yang tampaknya acak? Dan jika memang ada masalah yang benar-benar sulit, seberapa sering masalah itu sulit?

“Menjadi jelas bahwa meta-kompleksitas dekat dengan inti dari segala sesuatu,” kata Scott Aaronson, ahli teori kompleksitas di University of Texas, Austin.

Ini adalah kisah tentang jejak panjang dan berliku yang mengarahkan para peneliti dari masalah P versus NP ke meta-kompleksitas. Itu bukanlah perjalanan yang mudah — jalan itu dipenuhi dengan belokan dan penghalang jalan yang salah, dan jalan itu berputar kembali dengan sendirinya lagi dan lagi. Namun bagi peneliti meta-kompleksitas, perjalanan ke lanskap yang belum dipetakan itu adalah hadiahnya sendiri. Mulailah mengajukan pertanyaan yang tampaknya sederhana, kata Babi Valentine, seorang ahli teori kompleksitas di Universitas Simon Fraser di Kanada, dan "Anda tidak tahu ke mana Anda akan pergi."

Diketahui Tidak Diketahui

Masalah P versus NP berutang nama yang tidak menarik karena kebiasaan ahli teori kompleksitas dalam menyortir masalah komputasi menjadi “luas”kelas kompleksitas” dengan label yang menunjukkan simbol ticker Nasdaq. Masalah komputasi adalah salah satu yang pada prinsipnya dapat diselesaikan oleh suatu algoritma — daftar instruksi yang ditentukan secara tepat. Tetapi tidak semua algoritme sama-sama bermanfaat, dan variasi antar algoritme mengisyaratkan perbedaan mendasar antara masalah di kelas yang berbeda. Tantangan bagi ahli teori kompleksitas adalah mengubah petunjuk ini menjadi teorema yang ketat tentang hubungan antara kelas kompleksitas.

Hubungan ini mencerminkan kebenaran abadi tentang perhitungan yang jauh melampaui teknologi tertentu. “Ini seperti menemukan hukum alam semesta,” kata Kabanets.

"P" dan "NP" adalah dua anggota paling terkenal dari a kebun binatang yang berkembang dari ratusan kelas kompleksitas. Secara kasar, P adalah kelas masalah yang dapat diselesaikan dengan mudah, seperti menyusun daftar berdasarkan abjad. NP adalah kelas masalah dengan solusi yang mudah diperiksa, seperti teka-teki sudoku. Karena semua masalah yang mudah dipecahkan juga mudah diperiksa, masalah di P juga ada di NP. Tetapi beberapa masalah NP tampaknya sulit dipecahkan - Anda tidak dapat langsung menemukan solusi untuk teka-teki sudoku tanpa terlebih dahulu mencoba banyak kemungkinan. Mungkinkah kekerasan yang tampak ini hanyalah ilusi — bahwa ada satu trik sederhana untuk menyelesaikan setiap masalah yang dapat diperiksa dengan mudah?

Jika demikian, maka P = NP: Kedua kelas tersebut ekuivalen. Jika demikian, pasti ada beberapa algoritme yang membuatnya mudah untuk memecahkan teka-teki sudoku yang sangat besar, mengoptimalkan rute pengiriman global, memecahkan enkripsi canggih, dan mengotomatiskan pembuktian teorema matematika. Jika P ≠ NP, maka banyak masalah komputasi yang pada prinsipnya dapat dipecahkan dalam praktiknya akan selamanya berada di luar jangkauan kita.

Para peneliti khawatir tentang batasan penalaran matematika formal jauh sebelum masalah P versus NP pertama kali diartikulasikan — memang, jauh sebelum dimulainya ilmu komputer modern. Pada tahun 1921, berjuang dengan pertanyaan yang sama yang menarik perhatian Carmosino hampir seabad kemudian, ahli matematika David Hilbert mengusulkan program penelitian untuk mendasarkan matematika dalam kepastian mutlak. Dia berharap untuk memulai dari beberapa asumsi sederhana, yang disebut aksioma, dan memperoleh teori matematika terpadu yang memenuhi tiga kriteria utama.

Kondisi pertama Hilbert, konsistensi, adalah persyaratan esensial bahwa matematika harus bebas dari kontradiksi: Jika dua pernyataan yang kontradiktif dapat dibuktikan mulai dari aksioma yang sama, seluruh teori tidak akan dapat diselamatkan. Tetapi sebuah teori bisa bebas dari kontradiksi dan jangkauannya masih terbatas. Itulah motivasi untuk kondisi kedua Hilbert, kelengkapan: persyaratan bahwa semua pernyataan matematis dapat dibuktikan benar atau dapat dibuktikan salah. Kriteria ketiganya, decidability, menuntut prosedur mekanis yang jelas untuk menentukan apakah pernyataan matematis itu benar atau salah. Berpidato di sebuah konferensi pada tahun 1930, Hilbert menyatakan: "Slogan kita adalah 'Kita harus tahu, kita akan tahu.'"

Setahun kemudian, Gödel memberikan pukulan pertama ke mimpi Hilbert. Dia terbukti bahwa pernyataan yang mengalahkan diri sendiri seperti "pernyataan ini tidak dapat dibuktikan" dapat diturunkan dari rangkaian aksioma yang sesuai. Jika pernyataan seperti itu benar-benar tidak dapat dibuktikan, teorinya tidak lengkap, tetapi jika dapat dibuktikan, teorinya tidak konsisten — hasilnya bahkan lebih buruk. Dalam makalah yang sama, Gödel juga membuktikan bahwa tidak ada teori matematika yang dapat membuktikan konsistensinya sendiri.

Para peneliti masih berharap bahwa teori matematika masa depan, meskipun tidak lengkap, mungkin tetap dapat dibuktikan. Mungkin mereka dapat mengembangkan prosedur yang akan mengidentifikasi semua pernyataan yang dapat dibuktikan sambil menghindari proposisi yang menjengkelkan seperti Gödel. Masalahnya adalah tidak ada yang tahu bagaimana bernalar tentang prosedur hipotetis ini.

Kemudian pada tahun 1936, seorang mahasiswa pascasarjana berusia 23 tahun bernama Alan Turing mengulangi kondisi decidability Hilbert dalam bahasa perhitungan yang tidak dikenalnya dan memberikannya pukulan yang fatal. Turing merumuskan model matematika — sekarang dikenal sebagai Mesin turing — yang dapat mewakili semua kemungkinan algoritme, dan menunjukkan bahwa jika prosedur Hilbert ada, prosedur tersebut akan sesuai dengan model ini. Dia kemudian menggunakan metode referensi diri seperti yang dilakukan Gödel membuktikan keberadaan pernyataan yang tidak dapat diputuskan - atau, dengan kata lain, masalah yang tidak dapat dihitung yang tidak dapat diselesaikan oleh algoritme mana pun.

Program Hilbert hancur berantakan: Akan selalu ada batasan mendasar tentang apa yang bisa dibuktikan dan apa yang bisa dihitung. Tetapi ketika komputer berevolusi dari abstraksi teoretis menjadi mesin nyata, para peneliti menyadari bahwa perbedaan sederhana Turing antara masalah yang dapat dipecahkan dan yang tidak dapat dipecahkan meninggalkan banyak pertanyaan yang tidak terjawab.

Pada tahun 1960-an, ilmuwan komputer telah mengembangkan algoritme cepat untuk memecahkan beberapa masalah, sedangkan untuk yang lain, satu-satunya algoritme yang diketahui ternyata sangat lambat. Bagaimana jika pertanyaannya bukan hanya apakah masalah dapat dipecahkan, tetapi seberapa sulit untuk dipecahkan?

“Sebuah teori yang kaya muncul, dan kami tidak tahu jawabannya lagi,” kata Carmosino.

Jalan Divergen

Untuk mengilustrasikan betapa membingungkannya pertanyaan tentang kekerasan, mari pertimbangkan sepasang masalah terkait erat yang melibatkan grafik. Ini adalah jaringan titik, disebut simpul, dihubungkan dengan garis, disebut tepi. Ilmuwan komputer menggunakannya untuk memodelkan semuanya perhitungan kuantum ke arus lalu lintas.

Misalkan Anda diberi grafik dan diminta untuk menemukan sesuatu yang disebut jalur Hamiltonian — rute yang melewati setiap node tepat satu kali. Masalah ini pada prinsipnya dapat dipecahkan dengan jelas: Hanya ada sejumlah kemungkinan jalur yang terbatas, jadi jika semuanya gagal, Anda dapat memeriksa masing-masing jalur. Tidak apa-apa jika hanya ada beberapa node, tetapi bahkan untuk grafik yang sedikit lebih besar, jumlah kemungkinan lepas kendali, dengan cepat membuat algoritme sederhana ini tidak berguna.

Ada algoritma jalur Hamiltonian yang lebih canggih yang melakukan pertarungan yang lebih baik, tetapi waktu yang dibutuhkan algoritma untuk menyelesaikan masalah selalu tumbuh secara eksponensial dengan ukuran grafik. Grafik tidak harus berukuran sangat besar bahkan sebelum peneliti algoritme terbaik yang ditemukan tidak dapat menemukan jalur "dalam jumlah waktu yang masuk akal", kata Russel Impagliazzo, ahli teori kompleksitas di University of California, San Diego. “Dan dengan 'jumlah waktu yang masuk akal', maksud saya 'sebelum alam semesta berakhir.'”

Masalah jalur Hamiltonian memiliki sifat lain yang menarik. Jika seseorang mengklaim telah menemukan jalur Hamiltonian pada grafik tertentu, Anda dapat dengan cepat memeriksa apakah solusinya valid, meskipun grafiknya sangat besar. Yang perlu Anda lakukan adalah mengikuti jalur dan mencentang node satu per satu, memeriksa untuk memastikan Anda tidak mencentang node mana pun dua kali. Jika tidak ada simpul yang hilang pada akhirnya, maka lintasannya adalah Hamiltonian.

Waktu yang dibutuhkan untuk menjalankan algoritma pengecekan solusi ini sebanding dengan ukuran grafik. Itu menempatkannya ke dalam kategori algoritma polinomial yang lebih luas, yang waktu prosesnya meningkat sebagai fungsi polinomial dari ukuran grafik. Pertumbuhan polinomial jinak dibandingkan dengan pertumbuhan eksponensial, sehingga algoritme polinomial tetap dapat digunakan bahkan pada grafik besar. “Ini jauh lebih efisien,” kata Carmosino.

Masalah jalur Hamiltonian memiliki asimetri yang mencolok: Anda dapat memverifikasi solusi yang tepat menggunakan algoritme polinomial cepat, tetapi untuk menemukan solusi, Anda memerlukan algoritme eksponensial lambat. Asimetri itu mungkin tidak mengejutkan — lebih mudah untuk mengenali mahakarya artistik daripada menciptakannya, lebih mudah memeriksa bukti matematis daripada membuktikan teorema baru — namun tidak semua masalah komputasi memiliki karakter asimetris ini. Faktanya, masalah yang sangat mirip dengan menemukan jalur Hamilton berperilaku sangat berbeda.

Misalkan Anda kembali diberi grafik, tetapi sekarang Anda diminta untuk menemukan "jalur Euler" yang melintasi setiap sisi tepat satu kali. Sekali lagi, ada algoritme polinomial untuk memeriksa kemungkinan solusi, tetapi kali ini juga ada algoritme polinomial untuk menyelesaikan masalah. Tidak ada asimetri di sini. Dalam teori kompleksitas, beberapa jalur tampaknya lebih mudah ditemukan daripada yang lain.

Masalah jalur Hamiltonian dan masalah jalur Euler berada di kelas kompleksitas NP, yang didefinisikan untuk memasukkan semua masalah yang solusinya dapat diperiksa oleh algoritma polinomial. Masalah jalur Euler juga termasuk dalam kelas P karena algoritme polinomial dapat menyelesaikannya, tetapi tampaknya tidak berlaku untuk masalah jalur Hamiltonian. Mengapa kedua masalah graf ini, yang secara sepintas mirip, berbeda secara dramatis? Itulah inti dari masalah P versus NP.

Keras Secara Universal

Pada awalnya, kelas kompleksitas tampak seperti kategori yang nyaman untuk mengurutkan masalah yang serupa tetapi tidak terkait langsung — tidak ada yang menduga bahwa menemukan jalur Hamiltonian ada hubungannya dengan masalah komputasi sulit lainnya.

Kemudian pada tahun 1971, dalam setahun pindah ke Universitas Toronto setelah ditolak masa jabatannya di Amerika Serikat, ahli teori kompleksitas Stephen Masak menerbitkan sebuah hasil yang luar biasa. Dia mengidentifikasi masalah NP tertentu dengan fitur aneh: Jika ada algoritma polinomial yang dapat memecahkan masalah itu, itu juga dapat menyelesaikan setiap masalah lain di NP. Masalah "universal" Cook, tampaknya, adalah kolom tunggal yang menopang kelas masalah yang tampaknya sulit, memisahkannya dari masalah mudah di bawah. Pecahkan satu masalah itu, dan NP lainnya akan runtuh.

Cook curiga bahwa tidak ada algoritme cepat untuk masalah universalnya, dan dia mengatakannya di tengah-tengah makalah, menambahkan, "Saya merasa perlu menghabiskan banyak upaya untuk mencoba membuktikan dugaan ini." "Upaya yang cukup besar" akan menjadi pernyataan yang meremehkan.

Sekitar waktu yang sama, seorang mahasiswa pascasarjana di Uni Soviet bernama Leonid Levin terbukti a hasil serupa, kecuali bahwa ia mengidentifikasi beberapa masalah universal yang berbeda. Selain itu, ahli teori kompleksitas Amerika Richard Karp terbukti bahwa sifat universalitas yang diidentifikasi oleh Cook (dan Levin, meskipun Karp dan Cook tidak mengetahui karya Levin sampai bertahun-tahun kemudian) itu sendiri semuanya bersifat universal. Hampir setiap masalah NP tanpa algoritme polinomial yang dikenal — yaitu, hampir setiap masalah yang mudah diperiksa yang tampak sulit — memiliki sifat yang sama, yang kemudian dikenal sebagai kelengkapan NP.

Ini berarti semua masalah NP-complete — masalah jalur Hamiltonian, sudoku, dan ribuan dari yang lain - dalam arti yang tepat setara. “Anda memiliki semua tugas alami yang berbeda ini, dan semuanya secara ajaib berubah menjadi tugas yang sama,” kata Ilango. “Dan kami masih belum tahu apakah tugas yang sama itu mungkin atau tidak.”

Menyelesaikan kesulitan dari masalah NP-complete akan cukup untuk menyelesaikan pertanyaan P versus NP. Jika P ≠ NP, perbedaan antara soal mudah dan soal sulit dipegang oleh ribuan kolom yang semuanya sama kuatnya. Jika P = NP, seluruh bangunan tertatih-tatih di ambang kehancuran, hanya menunggu satu bagian runtuh.

Cook, Levin, dan Karp telah menyatukan banyak masalah yang tampaknya tidak berhubungan. Sekarang semua ahli teori kompleksitas harus menyelesaikan satu masalah: Apakah P = NP atau tidak?

Lima puluh tahun kemudian, pertanyaannya tetap tidak terjawab. Kabanets menyamakan penalaran tentang batas perhitungan dengan mensurvei wilayah yang luas tanpa memahami gambaran besarnya. Makhluk dengan kekuatan komputasi tak terbatas dapat mengintip dari puncak gunung dan mengamati seluruh lanskap sekaligus, tetapi manusia biasa tidak dapat mengandalkan keuntungan semacam itu. “Kami yang berada di bawah gunung dapat mencoba melompat-lompat untuk mendapatkan pemandangan yang lebih baik,” katanya.

Misalkan P = NP. Untuk membuktikannya, para peneliti perlu menemukan algoritme cepat untuk masalah NP-complete, yang mungkin bersembunyi di beberapa sudut yang tidak jelas dari lanskap yang luas itu. Tidak ada jaminan mereka akan menemukannya dalam waktu dekat: Ahli teori kompleksitas kadang-kadang menemukannya ditemukan algoritma cerdik untuk masalah yang tampaknya sulit (walaupun bukan NP-complete) hanya setelah beberapa dekade bekerja.

Sekarang misalkan P ≠ NP. Membuktikan itu tampaknya lebih sulit. Ahli teori kompleksitas harus menetapkan bahwa tidak ada algoritme cepat yang mungkin ada, secara efektif mengantisipasi dan menggagalkan upaya terbaik dari semua peneliti masa depan.

Tidak tahu harus mulai dari mana adalah bagian dari masalah. Tapi itu tidak seperti para peneliti belum mencobanya. Selama beberapa dekade mereka telah menyerang masalah dari banyak sudut dan menemukan jalan diblokir di setiap belokan. “Ini adalah salah satu kebenaran paling mencolok dalam teori ilmu komputer,” kata Carmosino. "Ketika Anda memiliki fenomena yang bertahan lama, Anda menginginkan penjelasan."

Pada tahun terakhir Carmosino di perguruan tinggi, keingintahuannya telah membawanya dari Gödel ke program pascasarjana dalam teori kompleksitas. Dia terkejut saat menyadari bahwa dia menghabiskan lebih banyak waktu untuk pekerjaan rumah daripada proyek kesukaannya, sebuah program komputer yang akan mempelajari struktur naratif dongeng dan menghasilkan yang baru.

“Saya berpikir, 'Wow, saya harus menganggap ini serius,'” kenang Carmosino. Tak lama kemudian, dia begitu asyik dengan subjek itu sehingga mentornya dengan lembut menyarankan agar dia mempertimbangkan kembali rencana pasca-kelulusannya.

“Dia seperti, 'Anda tahu, jika Anda ingin terus melakukan ini, jika Anda ingin terus melakukan ilmu komputer teoretis dan teori kompleksitas, Anda dapat: Ini disebut sekolah pascasarjana,'” kata Carmosino. Setelah mendapatkan gelar masternya, dia pindah ke San Diego pada tahun 2012 untuk bekerja menuju gelar doktor yang diawasi oleh Impagliazzo.

Tujuan utama Carmosino, pada awalnya, adalah untuk lebih memahami a kertas tengara dari dua dekade sebelumnya yang telah menangkap imajinasinya. Makalah itu, oleh ahli teori kompleksitas Alexander Razborov dan Steven Rudich, telah menunjukkan bahwa strategi "alami" tertentu untuk membuktikan P ≠ NP hampir pasti akan gagal, karena kesuksesan akan datang dengan biaya yang mahal — kerusakan lengkap kriptografi — yang dianggap sangat tidak mungkin oleh para peneliti. Para peneliti menginterpretasikan hasil Razborov dan Rudich sebagai penghalang pendekatan populer ini untuk membuktikan P ≠ NP.

"Penghalang bukti alami" ini hanyalah salah satu dari banyak penghalang yang diketahui untuk memecahkan masalah terbuka dalam teori kompleksitas. Masing-masing bertindak seperti penghalang jalan, memperingatkan bahwa jalan yang tampaknya menjanjikan sebenarnya adalah jalan buntu. Bersama-sama, penghalang ini menunjukkan bahwa bukti apa pun yang menyelesaikan masalah P versus NP harus sangat berbeda dari apa pun yang digunakan di masa lalu; itu sebabnya sebagian besar peneliti percaya bahwa solusinya masih jauh. Tapi setidaknya penghalang memberi tahu mereka ke mana tidak mencari.

“Teori kompleksitas dikutuk dan diberkati dengan begitu banyak penghalang,” kata Ilango.

Pada saat Carmosino menemukan penghalang bukti alami, usianya hampir 20 tahun. Namun dia menduga itu memiliki lebih banyak pelajaran bagi para peneliti. Perasaan itu suatu hari akan terbukti benar ketika dia dan tiga rekannya membuktikan hasil yang mengejutkan dengan memeriksa penghalang bukti alami dari perspektif meta-kompleksitas. Bukti mereka adalah salah satu dari beberapa hasil besar yang memicu minat baru dalam meta-kompleksitas, yang mengarah ke kemajuan pesat dalam beberapa tahun terakhir.

Tetapi untuk mengikuti jejak dari penghalang bukti alami ke meta-kompleksitas, kita harus melompat kembali ke tempat kita meninggalkan para peneliti di tahun 1970-an, ketika mereka pertama kali mulai menangani masalah P versus NP. Apa yang membuatnya begitu sulit untuk membuktikan masalah sulit?

Jalan Berliku

Pada awalnya, para peneliti mencoba untuk membuktikan P ≠ NP — yaitu, membuktikan bahwa beberapa masalah NP tidak dapat diselesaikan oleh algoritme polinomial apa pun — menggunakan variasi teknik yang digunakan Turing untuk membuktikan bahwa beberapa masalah tidak dapat diselesaikan oleh algoritme apa pun. . Tapi mereka dengan cepat ditemukan bukti bahwa metode tersebut tidak akan berhasil — penghalang besar pertama untuk menyelesaikan pertanyaan P versus NP. Jadi mereka mulai mencari pendekatan lain, dan mereka segera menemukannya dalam karya kontemporer Turing claude shannon.

Shannon, yang dibesarkan di sebuah kota kecil di Michigan utara, tampaknya merupakan sosok yang tidak mungkin mengantarkan era informasi. Namun dia mencontohkan sifat interdisipliner dari disiplin ilmu komputer yang muncul, merasa betah dalam teknik elektro dan logika matematika. Dalam miliknya tesis master, Shannon menunjukkan bagaimana sirkuit yang terbuat dari sakelar elektromekanis dapat mewakili ekspresi logis yang melibatkan variabel Boolean — kuantitas yang hanya dapat menerima dua nilai (seperti benar atau salah, atau 1 dan 0).

Dalam ekspresi ini, variabel Boolean dihubungkan bersama oleh "gerbang logika" AND, OR dan NOT. Ungkapan elementer A DAN B, misalnya, benar jika A dan B keduanya benar, dan salah jika sebaliknya; Sebaliknya, A OR B benar jika setidaknya salah satu dari dua variabel benar. Gerbang NOT bahkan lebih sederhana: Ini membalikkan nilai variabel tunggal. Dengan cukup banyak blok bangunan dasar ini, Anda dapat melakukan perhitungan apa pun.

“Saat Anda melihat komputer Anda, pada akhirnya, apa yang dilakukannya? Ini menjalankan sirkuit, ”kata Ilango.

Karya Shannon menyarankan cara baru bagi ahli teori untuk berpikir tentang kesulitan masalah komputasi, yang disebut "kompleksitas sirkuit", meskipun sirkuit yang dimaksud hanyalah abstraksi matematis. Untuk sementara, para peneliti mengira pendekatan ini bisa menjadi cara untuk menyelesaikan P versus NP, tetapi akhirnya jejak itu melawan penghalang bukti alami.

Kerangka kompleksitas sirkuit memerlukan pemikiran ulang konsep paling dasar dalam model perhitungan Turing. Di sini, alih-alih masalah komputasi dan algoritme yang menyelesaikannya, peneliti mempertimbangkan fungsi Boolean dan sirkuit yang menghitungnya. Fungsi Boolean menggunakan variabel Boolean — benar dan salah, 1 dan 0 — dan menghasilkan benar atau salah, 1 atau 0. Dan seperti algoritme, rangkaian menjelaskan prosedur untuk menghasilkan keluaran dengan masukan apa pun.

“Pemahaman saya adalah bahwa orang mulai mengerjakan kompleksitas sirkuit karena mereka memutuskan bahwa mesin Turing terlalu rumit,” kata Ryan Williams, seorang ahli teori kompleksitas di MIT. "Kita bisa mempelajari sirkuit gerbang demi gerbang."

Sama seperti ada banyak algoritma untuk memecahkan masalah komputasi yang diberikan, beberapa lebih cepat dari yang lain, banyak sirkuit yang berbeda dapat menghitung fungsi Boolean yang diberikan, beberapa dengan gerbang lebih sedikit dari yang lain. Peneliti mendefinisikan kompleksitas sirkuit dari suatu fungsi sebagai jumlah total gerbang di sirkuit terkecil yang menghitungnya. Untuk fungsi dengan jumlah variabel input tetap, kompleksitas sirkuit juga merupakan angka tetap — lebih tinggi untuk beberapa fungsi daripada fungsi lainnya.

Namun dalam banyak kasus, Anda dapat mempertimbangkan versi yang lebih rumit dari fungsi yang sama dengan menambah jumlah variabel input, sama seperti Anda dapat mempersulit masalah jalur Hamiltonian dengan mempertimbangkan grafik yang lebih besar. Para peneliti kemudian mempertimbangkan pertanyaan yang sama yang mereka tanyakan ketika mempelajari waktu kerja algoritma: Apakah jumlah gerbang minimum yang diperlukan untuk menghitung fungsi Boolean tumbuh secara polinomial atau eksponensial ketika jumlah variabel input meningkat? Para peneliti masing-masing menyebut dua kategori fungsi ini "mudah dihitung" dan "sulit dihitung".

Fungsi Boolean yang mudah dihitung mirip dengan masalah komputasi di kelas P — yang dapat diselesaikan dengan algoritme yang berjalan dalam waktu polinomial. Tetapi ada juga fungsi yang analog dengan masalah NP yang sulit, di mana cara terbaik yang telah ditemukan peneliti untuk menghitung versi yang semakin besar membutuhkan jumlah gerbang yang meningkat secara eksponensial, namun jawabannya dapat dengan mudah diperiksa. Jika ahli teori kompleksitas dapat membuktikan bahwa memang tidak ada cara yang lebih baik untuk menghitung fungsi seperti itu, itu berarti P ≠ NP.

Ini adalah strategi yang dikejar sebagian besar teori kompleksitas pada 1980-an. Dan kemungkinan besar ada di pihak mereka. Shannon punya terbukti pada tahun 1949 bahwa hampir setiap tabel kebenaran Boolean (yang hanya merupakan daftar panjang dari semua input dan output yang mungkin dari fungsi Boolean dengan ukuran tetap) memiliki kompleksitas rangkaian yang hampir setinggi mungkin. Dia menggunakan argumen yang sangat sederhana: Ada jauh lebih sedikit cara untuk menggabungkan sejumlah kecil gerbang daripada cara untuk menggabungkan banyak gerbang.

“Tidak ada cukup sirkuit kecil untuk berputar,” kata Aaronson.

Jadi ahli teori kompleksitas menemukan diri mereka dalam situasi yang aneh. Jika hampir setiap tabel kebenaran memiliki kompleksitas rangkaian yang tinggi, maka hampir setiap fungsi Boolean pasti sulit dihitung. Peneliti hanya perlu mengidentifikasi satu fungsi yang juga diketahui berada di kelas NP. Akan seberapa sulit itu?

Kripto Bros

Pada awalnya, kemajuannya pesat. Pada tahun 1981, Sipser dan dua kolaborator terbukti bahwa fungsi Boolean tertentu pasti sulit dihitung jika mereka menggunakan sirkuit dengan batasan tertentu tentang bagaimana gerbang dapat diatur.

“Fantasinya adalah Anda akan dapat membuktikan hal-hal tentang model terbatas ini, dan kemudian mengembangkan apa yang telah Anda pelajari untuk bekerja dengan semakin sedikit batasan,” kata Sipser.

Pada tahun 1985, Razborov mengambil langkah besar berikutnya. Dia baru saja memulai sekolah pascasarjana di Moskow dan bergabung dalam upaya tersebut secara tidak sengaja saat menangani masalah di cabang matematika yang berbeda, di mana ternyata menyelesaikan masalah P versus NP adalah prasyarat.

“Saya beruntung tidak tahu betapa sulitnya masalah ini,” kata Razborov. "Kalau tidak, mungkin aku bahkan tidak akan memulai."

Razborov menganalisis sirkuit yang hanya berisi gerbang AND dan OR, dan terbukti bahwa fungsi tertentu sulit untuk dihitung menggunakan sirkuit seperti itu, tidak peduli bagaimana gerbang diatur - terlebih lagi, fungsi itu dikenal sebagai NP-complete. Yang harus dilakukan semua peneliti untuk menyelesaikan P versus NP adalah memperluas teknik Razborov ke sirkuit dengan gerbang NOT.

“Ada semacam perasaan universal bahwa satu langkah lagi, satu serangan lagi, dan kami akan mendapatkannya,” kata Razborov. Tapi bukan itu yang terjadi. Razborov sendiri membuktikan bahwa metodenya akan gagal jika gerbang NOT ditambahkan ke dalam campuran, dan tidak ada yang dapat menemukan jalan lain ke depan. Seiring berlalunya waktu, dia mulai bertanya-tanya mengapa jejak itu menghilang.

Di Amerika Serikat, Rudich memikirkan pertanyaan yang sama. Dia dan Impagliazzo adalah teman kuliah yang melanjutkan ke sekolah pascasarjana bersama. Persahabatan mereka dipicu oleh ketertarikan yang sama terhadap bukti referensi diri Gödel dan Turing serta implikasinya terhadap dasar matematika dan ilmu komputer.

“Lelucon kami adalah kami akan mendapatkan tombol yang bertuliskan 'referensi diri',” kata Impagliazzo.

Sebagai mahasiswa pascasarjana, baik Rudich dan Impagliazzo bekerja pada dasar teori kompleksitas kriptografi, sebuah subjek yang mungkin menawarkan motivasi praktis terbaik untuk mencoba membuktikan P ≠ NP. Kriptografer menyembunyikan pesan rahasia dengan menyelubunginya dalam "pseudorandomness" — pesan yang dienkripsi dengan cara ini akan terlihat seperti tumpukan angka acak bagi penyadap mana pun, tetapi masih dapat didekodekan oleh penerima yang dimaksud. Tapi bagaimana Anda bisa yakin bahwa calon penyadap akan merasa terlalu sulit untuk memecahkan kodenya?

Di situlah teori kompleksitas masuk. Metode enkripsi yang paling banyak digunakan saat ini semuanya didasarkan pada masalah NP yang tampaknya sulit — untuk mendekripsi pesan, penyerang memerlukan algoritme cepat yang belum ditemukan untuk memecahkan masalah. Untuk menetapkan bahwa metode ini benar-benar aman, satu hal yang perlu Anda lakukan adalah membuktikan bahwa P ≠ NP. Tanpa bukti, kata Sipser, yang dapat Anda lakukan hanyalah "berharap siapa pun yang Anda coba rahasiakan bukanlah ahli matematika yang lebih baik dari Anda."

Meskipun menarik dalam dirinya sendiri, kriptografi tampaknya jauh dari argumen referensi diri yang pertama kali menarik Rudich dan Impagliazzo ke lapangan. Tetapi ketika Rudich berjuang untuk memahami mengapa pendekatan kompleksitas sirkuit terhenti, dia mulai menyadari bahwa kedua subjek itu sebenarnya tidak terlalu jauh. Para peneliti strategi telah mengadopsi dalam upaya mereka untuk membuktikan P ≠ NP memiliki karakter mengalahkan diri sendiri mengingatkan proposisi terkenal Gödel "pernyataan ini tidak dapat dibuktikan" - dan kriptografi dapat membantu menjelaskan mengapa. Di Rusia, Razborov menemukan hubungan serupa pada waktu yang hampir bersamaan. Ini adalah benih dari penghalang bukti alami.

Ketegangan di jantung penghalang bukti alami adalah bahwa tugas membedakan fungsi dengan kompleksitas tinggi dari fungsi dengan kompleksitas rendah serupa dengan tugas membedakan keacakan yang sebenarnya dari keacakan semu yang digunakan untuk mengenkripsi pesan. Kami ingin menunjukkan bahwa fungsi dengan kompleksitas tinggi secara kategori berbeda dari fungsi dengan kompleksitas rendah, untuk membuktikan P ≠ NP. Namun kami juga ingin keacakan semu tidak dapat dibedakan dari keacakan, agar yakin dengan keamanan kriptografi. Mungkin kita tidak bisa mendapatkan keduanya.

Lelucon yang Kejam

Pada tahun 1994, Razborov dan Rudich menyadari bahwa mereka telah menemukan wawasan yang sama, dan mereka mulai bekerja sama untuk menggabungkan hasil mereka. Mereka pertama kali mengamati bahwa semua upaya sebelumnya untuk membuktikan P ≠ NP menggunakan kompleksitas sirkuit telah mengadopsi strategi umum yang sama: Identifikasi properti khusus dari fungsi Boolean lengkap-NP, kemudian buktikan bahwa tidak ada fungsi yang mudah dihitung yang mungkin dapat berbagi properti itu. Itu akan menunjukkan bahwa fungsi NP-complete yang dipilih benar-benar sulit untuk dihitung, membuktikan P ≠ NP.

Sipser, Razborov, dan lainnya telah berhasil menggunakan strategi yang sama ini untuk membuktikan hasil mereka yang lebih terbatas, dan dalam setiap kasus, properti khusus yang diidentifikasi oleh para peneliti dimiliki oleh sebagian besar fungsi Boolean. Razborov dan Rudich menciptakan istilah "bukti alami" untuk merujuk pada kasus di mana properti itu dibagikan secara luas, hanya karena tidak ada alternatif yang diketahui. Jika bukti "tidak wajar" dimungkinkan, bukti tersebut harus sangat berlawanan dengan intuisi dan pantas disebut.

Razborov dan Rudich kemudian membuktikan hasil utama mereka: Bukti alami dari P ≠ NP akan membutuhkan pemahaman yang sangat komprehensif tentang bagaimana perbedaan fungsi yang mudah dihitung dan yang sulit dihitung, dan pengetahuan itu juga dapat memicu algoritme cepat untuk menemukan mudah -untuk-menghitung fungsi meskipun rumit secara dangkal. Jika ahli teori kompleksitas telah berhasil membuktikan secara alami P ≠ NP, mereka akan menemukan cara yang hampir sempurna untuk melihat tabel kebenaran arbitrer dan menentukan apakah fungsi yang sesuai memiliki kompleksitas sirkuit tinggi atau rendah — hasil yang jauh lebih kuat dan lebih umum daripada mereka telah berangkat untuk membuktikan.

“Anda hampir tidak bisa tidak mendapatkan lebih dari yang Anda harapkan,” kata Carmosino.

Seolah-olah Anda mencoba untuk memeriksa fakta pernyataan tertentu, tetapi setiap upaya berubah menjadi cetak biru untuk tujuan umum pendeteksi kebohongan - tampaknya terlalu bagus untuk menjadi kenyataan. Bagi ahli teori kompleksitas, kekuatan bukti alami yang mengejutkan juga membuat kesuksesan tampak kecil kemungkinannya. Tetapi jika bukti seperti itu berhasil, konsekuensi yang tidak terduga akan menjadi berita buruk bagi kriptografi, karena hubungan antara kompleksitas sirkuit dan keacakan semu.

Untuk memahami hubungan ini, bayangkan melihat kolom keluaran di tabel kebenaran fungsi Boolean dengan banyak variabel masukan dan mengganti setiap "benar" dengan 1 dan setiap "salah" dengan 0:

Jika fungsi Boolean memiliki kompleksitas sirkuit yang tinggi, daftar keluaran yang panjang itu pada prinsipnya tidak dapat dibedakan dari string 0 dan 1 yang benar-benar acak — yang diperoleh dengan melempar koin berulang kali, katakanlah. Tetapi jika fungsi tersebut memiliki kompleksitas rangkaian yang rendah, string tersebut harus memiliki deskripsi yang sederhana dan ringkas meskipun terlihat rumit. Itu membuatnya sangat mirip dengan string pseudorandom yang digunakan dalam kriptografi, yang deskripsi ringkasnya adalah pesan rahasia yang terkubur dalam keacakan yang tampak itu.

Jadi hasil Razborov dan Rudich menunjukkan bahwa setiap bukti alami P ≠ NP juga akan menghasilkan algoritme cepat yang dapat membedakan string pseudorandom yang berisi pesan tersembunyi dari yang benar-benar acak. Kriptografi yang aman tidak mungkin dilakukan — persis kebalikan dari apa yang diharapkan para peneliti dengan membuktikan P ≠ NP.

Di sisi lain, jika kriptografi yang aman dimungkinkan, maka bukti alami bukanlah strategi yang layak untuk membuktikan P ≠ NP — prasyarat untuk kriptografi yang aman. Singkatnya, itulah penghalang bukti alami. Sepertinya ahli teori kompleksitas sedang menerima lelucon yang kejam.

“Jika Anda percaya pada kekerasan, maka Anda harus percaya bahwa membuktikan kekerasan itu sulit,” kata Kabanets.

Ke Metaverse

Hubungan antara implikasi dugaan P ≠ NP dan kesulitan pembuktiannya menarik, tetapi sulit untuk dijelaskan. Untuk satu hal, penghalang bukti alami hanya menghalangi satu pendekatan untuk membuktikan P ≠ NP. Di sisi lain, ini menghubungkan kesulitan untuk membuktikan P ≠ NP bukan dengan P ≠ NP itu sendiri, tetapi dengan keberadaan kriptografi yang aman — masalah yang terkait erat tetapi tidak cukup setara. Untuk benar-benar memahami hubungannya, peneliti harus terbiasa dengan kompleksitas meta.

“Ada intuisi bahwa 'oh, karena P ≠ NP, sulit untuk membuktikan bahwa P ≠ NP,'” kata Williams. “Tetapi untuk memahami intuisi ini, Anda harus mulai memikirkan tugas untuk membuktikan sesuatu seperti P ≠ NP sebagai masalah komputasi.”

Itulah yang dilakukan Kabanets sebagai mahasiswa pascasarjana. Dia dibesarkan di Ukraina, dan dia menyelesaikan studi sarjananya di bidang ilmu komputer dua tahun setelah jatuhnya Uni Soviet. Dalam kekacauan yang mengikutinya, dia memiliki sedikit kesempatan untuk mengejar topik teoretis yang paling menarik baginya.

“Saya ingin melakukan sesuatu yang lebih akademis,” kenang Kabanets. “Dan saya juga penasaran ingin melihat dunia.” Dia pindah ke Kanada untuk sekolah pascasarjana, dan di situlah dia belajar tentang penghalang pembuktian alami. Seperti Carmosino, Kabanets terpesona dengan hasilnya. “Tampaknya sangat mendalam bahwa Anda memiliki hubungan ini,” katanya.

Pada tahun 2000, menjelang akhir waktunya di sekolah pascasarjana, dia menemukan bahwa penghalang bukti alami terus muncul dalam percakapannya dengan Jin-Yi Cai, seorang ahli teori kompleksitas yang mengunjungi Toronto pada saat cuti panjang. Mereka mulai melihat penghalang bukan sebagai penghalang jalan tetapi sebagai undangan - kesempatan untuk menyelidiki dengan tepat betapa sulitnya membuktikan masalah itu sulit. Itu kertas di mana mereka meletakkan perspektif baru ini akan menjadi salah satu karya awal paling berpengaruh di bidang meta-kompleksitas yang baru lahir.

Makalah Kabanets dan Cai menyoroti masalah komputasi yang tersirat dalam formulasi Razborov dan Rudich tentang penghalang bukti alami: Diberikan tabel kebenaran dari fungsi Boolean, tentukan apakah ia memiliki kompleksitas sirkuit tinggi atau rendah. Mereka menjuluki ini masalah ukuran sirkuit minimum, atau MCSP.

MCSP adalah masalah meta-kompleksitas klasik: masalah komputasi yang subjeknya bukan teori grafik atau topik eksternal lainnya, tetapi teori kompleksitas itu sendiri. Memang, ini seperti versi kuantitatif dari pertanyaan yang mendorong ahli teori kompleksitas untuk mengatasi P versus NP menggunakan pendekatan kompleksitas sirkuit pada 1980-an: Fungsi Boolean mana yang sulit dihitung, dan mana yang mudah?

“Jika kami menemukan algoritme MCSP, itu akan seperti cara mengotomatiskan apa yang kami lakukan dalam teori kompleksitas,” kata Impagliazzo. “Setidaknya itu harus memberi kita wawasan yang luar biasa tentang bagaimana melakukan pekerjaan kita dengan lebih baik.”

Ahli teori kompleksitas tidak khawatir tentang algoritme ajaib ini yang membuat mereka kehilangan pekerjaan — mereka tidak berpikir itu ada sama sekali, karena Razborov dan Rudich menunjukkan bahwa algoritme semacam itu untuk membedakan tabel kebenaran dengan kompleksitas tinggi dari yang kompleksitas rendah akan membuat kriptografi mustahil. Itu berarti MCSP kemungkinan merupakan masalah komputasi yang sulit. Tapi seberapa sulitkah itu? Apakah NP-lengkap, seperti masalah jalur Hamiltonian dan hampir semua masalah lain yang dihadapi para peneliti di tahun 1960-an?

Untuk soal di NP, “seberapa sulit?” biasanya cukup mudah untuk dijawab, tetapi MCSP tampaknya merupakan outlier yang aneh. "Kami memiliki sangat sedikit masalah 'mengambang' yang belum terhubung ke pulau masalah NP-lengkap ini, meskipun tampaknya sulit," kata Kabanets.

Kabanets tahu bahwa dia dan Cai bukanlah orang pertama yang mempertimbangkan masalah yang mereka sebut MCSP. Matematikawan Soviet telah mempelajari masalah yang sangat mirip mulai tahun 1950-an, dalam upaya awal untuk memahami kesulitan intrinsik dari masalah komputasi yang berbeda. Leonid Levin telah bergumul dengannya saat mengembangkan apa yang akan menjadi teori kelengkapan NP pada akhir 1960-an, tetapi dia tidak dapat membuktikannya NP-lengkap, dan dia menerbitkan makalah mani tanpanya.

Setelah itu, masalah tersebut menarik sedikit perhatian selama 30 tahun, sampai Kabanets dan Cai mencatat hubungannya dengan penghalang bukti alami. Kabanets tidak berharap untuk menyelesaikan pertanyaannya sendiri - sebaliknya dia ingin mengeksplorasi mengapa begitu sulit untuk membuktikan bahwa masalah yang tampaknya sulit tentang kekerasan komputasi ini sebenarnya sulit.

“Ini, dalam arti tertentu, meta-meta-kompleksitas,” kata Rahul Santanam, seorang ahli teori kompleksitas di Universitas Oxford.

Tetapi apakah kekerasannya menurun drastis, atau setidaknya ada cara untuk memahami mengapa para peneliti tidak berhasil membuktikan bahwa MCSP adalah NP-complete? Kabanets menemukan bahwa, ya, ada alasannya: Kesulitan memahami kompleksitas sirkuit bertindak seperti penghalang bagi setiap strategi yang diketahui untuk membuktikan kelengkapan NP MCSP - masalah itu sendiri tentang kesulitan memahami kompleksitas sirkuit. Logika penghalang pembuktian alami yang memutarbalikkan diri tampaknya tak terhindarkan.

Mungkin juga MCSP bukan NP-complete, tetapi itu juga tampaknya tidak mungkin — varian masalah tertentu yang lebih sederhana sudah diketahui sebagai NP-complete.

“Kami hanya tidak memiliki tempat yang bagus untuk meletakkannya yang secara langsung menghubungkannya dengan semua masalah lain yang kami pelajari,” kata Impagliazzo.

Kabanets telah menyoroti perilaku aneh MCSP, tetapi dia tidak tahu bagaimana membuat kemajuan lebih lanjut. Penelitian meta-kompleksitas melambat menjadi sedikit. Itu akan berkembang lagi 16 tahun kemudian, ketika para peneliti menemukan hubungan yang mengejutkan dengan pertanyaan mendasar lainnya: Seberapa sulit menyelesaikan masalah jika Anda hanya peduli untuk mendapatkan jawaban yang benar di sebagian besar waktu?

War of the Worlds

Untuk masalah sehari-hari, jawaban yang paling sering berhasil biasanya sudah cukup baik. Kami merencanakan perjalanan kami untuk pola lalu lintas biasa, misalnya, bukan untuk skenario terburuk.

Sebagian besar ahli teori kompleksitas lebih sulit untuk dipuaskan: Mereka hanya puas menyatakan masalah dengan mudah jika mereka dapat menemukan algoritme cepat yang mendapatkan jawaban yang benar pada setiap input yang memungkinkan. Pendekatan standar itu mengklasifikasikan masalah menurut apa yang oleh para peneliti disebut sebagai kompleksitas "kasus terburuk". Namun ada juga teori kompleksitas "kasus rata-rata", di mana masalah dianggap mudah jika ada algoritme cepat yang mendapatkan jawaban benar pada sebagian besar input.

Perbedaan itu penting bagi para kriptografer. Bayangkan masalah komputasi yang mudah dipecahkan untuk hampir setiap masukan, kecuali untuk beberapa kasus keras kepala di mana algoritme terbaik gagal. Teori kompleksitas kasus terburuk menganggap itu masalah yang sulit, namun untuk kriptografi itu tidak berguna: Jika hanya beberapa pesan Anda yang sulit diuraikan, apa gunanya?

Sebenarnya Levin yang memprakarsai studi ketat tentang kompleksitas kasus rata-rata, satu dekade setelah karya rintisannya tentang kelengkapan NP. Pada tahun-tahun berikutnya, dia berselisih dengan otoritas Soviet — dia adalah pembuat onar yang tidak sopan yang kadang-kadang merusak kegiatan patriotik dalam kelompok pemuda Partai Komunisnya. Pada tahun 1972, gelar doktornya ditolak karena alasan politik yang eksplisit.

“Untuk menjadi peneliti muda yang sukses di Uni Soviet, Anda tidak bisa terlalu berpendirian, dan sulit membayangkan Leonid tidak berpendirian,” kata Impagliazzo.

Levin beremigrasi ke Amerika Serikat pada tahun 1978, dan pada pertengahan 1980-an dia mengalihkan perhatiannya ke kompleksitas kasus rata-rata. Dia mulai bekerja dengan orang lain untuk mengembangkan teori lebih lanjut, termasuk Impagliazzo, seorang mahasiswa pascasarjana pada saat itu. Tetapi bahkan saat mereka membuat kemajuan, Impagliazzo menemukan bahwa para peneliti sering berbicara melewati satu sama lain. Dia ingin setiap orang memahami hal yang sama, dan surat-surat Levin terkenal ringkas - yang memprakarsai lapangan kompleksitas kasus rata-rata kurang dari dua halaman.

“Saya akan menerjemahkan karya Leonid ke dalam istilah teknis yang lebih mudah diakses,” kata Impagliazzo. Dia memutuskan untuk memulai dengan ikhtisar singkat dan lucu dari gambaran besar sebelum terjun ke matematika. "Hal semacam itu mengambil alih kertas, dan itu satu-satunya bagian yang diingat orang."

Grafik kertas, diterbitkan pada tahun 1995, menjadi klasik instan. Impagliazzo menciptakan nama aneh untuk lima dunia dibedakan oleh berbagai tingkat kekerasan komputasi dan kemampuan kriptografi yang berbeda. Kita hidup di salah satu dunia ini, tetapi kita tidak tahu yang mana.

Sejak makalah Impagliazzo muncul, para peneliti telah bermimpi untuk menghilangkan bagian dari multiverse miniaturnya — mempersempit ruang kemungkinan dengan membuktikan bahwa beberapa dunia memang tidak mungkin. Dua dunia adalah target yang menggoda: dunia di mana kriptografi tidak mungkin meskipun P ≠ NP.

Di salah satu dunia ini, yang disebut Heuristica, semua masalah NP-complete mudah diselesaikan pada sebagian besar input, tetapi algoritme cepat terkadang membuat kesalahan, jadi masalah ini masih dianggap sulit menurut standar teori kompleksitas kasus terburuk. Ini adalah dunia di mana kriptografi tidak mungkin karena hampir setiap kode mudah dipecahkan. Di dunia lain, yang disebut Pessiland, kriptografi tidak mungkin karena alasan yang berbeda: Setiap masalah sulit dalam pengertian kasus rata-rata, tetapi mengenkripsi pesan membuatnya tidak terbaca bahkan untuk penerima yang dituju.

Kedua dunia ini ternyata terkait erat dengan masalah kompleksitas meta — khususnya, nasib Heuristica terkait dengan pertanyaan lama tentang apakah MCSP adalah NP-complete. Pertanyaan yang membuat Kabanets terpesona dan membuat Levin bingung sejak lama bukanlah sekadar rasa ingin tahu: Ada seluruh dunia yang dipertaruhkan.

Untuk mengesampingkan Heuristica, peneliti harus meruntuhkan perbedaan antara kompleksitas kasus terburuk dan kasus rata-rata — yaitu, mereka harus membuktikan bahwa algoritme hipotetis apa pun yang menyelesaikan masalah NP-complete dengan benar pada sebagian besar masukan dapat benar-benar menyelesaikannya. dalam semua kasus. Koneksi semacam ini, yang disebut pengurangan kasus terburuk hingga kasus rata-rata, diketahui ada untuk masalah tertentu, tetapi tidak satupun dari mereka yang NP-lengkap, sehingga hasil tersebut tidak menyiratkan sesuatu yang lebih umum. Menghilangkan Heuristica akan membuat para kriptografer setengah jalan untuk mewujudkan impian enkripsi yang aman berdasarkan asumsi tunggal bahwa P ≠ NP.

Tapi menghancurkan dunia bukanlah prestasi kecil. Pada tahun 2003, dua ahli teori kompleksitas menunjukkan bahwa pendekatan yang ada untuk membuktikan kasus terburuk hingga pengurangan kasus rata-rata untuk masalah NP-complete yang diketahui akan menyiratkan konsekuensi yang aneh, menunjukkan bahwa bukti seperti itu mungkin tidak mungkin dilakukan.

Peneliti harus menemukan pendekatan lain, dan mereka sekarang berpikir MCSP mungkin adalah masalah yang mereka butuhkan. Tapi itu tidak akan menjadi jelas selama lebih dari satu dekade. Sekilas pertama tentang hubungan itu muncul dari daya tarik Marco Carmosino yang terus-menerus dengan penghalang bukti alami.

Carmosino pertama kali menemukan penelitian meta-kompleksitas sebagai mahasiswa pascasarjana melalui a kertas 2013 oleh Kabanets dan empat peneliti lainnya, yang selanjutnya mengembangkan pendekatan terhadap penghalang pembuktian alami yang telah dirintis Kabanets lebih dari satu dekade sebelumnya. Itu hanya memperkuat keyakinannya bahwa masih banyak yang harus dipelajari dari makalah klasik Razborov dan Rudich.

“Saya terobsesi dengan kertas itu pada saat itu,” kata Carmosino. "Tidak ada yang berubah."

Obsesi tersebut akhirnya membuahkan hasil saat berkunjung ke lokakarya selama satu semester di University of California, Berkeley, di mana dia menghabiskan sebagian besar waktunya berbicara dengan Impagliazzo, Kabanets dan Antonina Kolokolova, ahli teori kompleksitas di Memorial University of Newfoundland yang berkolaborasi dengan Kabanets pada makalah tahun 2013. Carmosino pernah bekerja dengan mereka bertiga sebelumnya, dan kolaborasi yang sukses itu memberinya kepercayaan diri untuk menghujani mereka dengan pertanyaan tentang topik yang paling membuatnya tertarik.

“Dia mengganggu orang dengan cara yang baik,” kenang Kabanets.

Pada awalnya, Carmosino memiliki ide baru untuk membuktikan kelengkapan NP untuk versi MCSP yang telah muncul di makalah Razborov dan Rudich tentang penghalang pembuktian alami. Tapi ide-ide itu tidak berjalan dengan baik. Sebaliknya, pernyataan spontan oleh Impagliazzo membuat keempat peneliti menyadari bahwa penghalang bukti alami dapat menghasilkan algoritme yang lebih kuat daripada yang disadari siapa pun - ada peta rahasia yang terukir di penghalang jalan.

Di sebuah kertas 2016, keempat peneliti membuktikan bahwa jenis algoritme MCSP kasus rata-rata tertentu dapat digunakan untuk membuat algoritme kasus terburuk untuk mengidentifikasi pola yang tersembunyi dalam rangkaian angka yang tampak acak — tugas yang oleh ilmuwan komputer disebut sebagai "pembelajaran". Ini adalah hasil yang mencolok karena belajar secara intuitif tampaknya lebih sulit daripada tugas klasifikasi biner — kompleksitas tinggi atau kompleksitas rendah — yang dilakukan oleh algoritme MCSP. Dan, yang mengejutkan, ini menghubungkan kompleksitas kasus terburuk dari satu tugas dengan kompleksitas kasus rata-rata dari tugas lainnya.

“Tidak jelas bahwa hubungan seperti itu akan ada sama sekali,” kata Impagliazzo.

Algoritme cepat untuk MCSP adalah murni hipotetis untuk sirkuit Boolean umum: Algoritma ini tidak akan ada kecuali MCSP ternyata menjadi masalah komputasi yang mudah, terlepas dari semua bukti yang bertentangan, dan itu berarti algoritme pembelajaran yang tersirat oleh makalah empat peneliti adalah sama-sama hipotetis.

Tetapi untuk beberapa versi MCSP yang lebih sederhana - membedakan tabel kebenaran kompleksitas tinggi dari yang kompleksitas rendah ketika ada batasan khusus pada sirkuit - algoritma cepat telah dikenal selama bertahun-tahun. Makalah Carmosino, Impagliazzo, Kabanets, dan Kolokolova menunjukkan bahwa algoritme ini dapat diubah menjadi algoritme pembelajaran yang juga dibatasi tetapi masih lebih kuat daripada yang dipahami peneliti sebelumnya pada tingkat teoretis yang ketat.

“Entah bagaimana rasa referensi diri mereka memungkinkan Anda melakukan hal-hal yang tampaknya tidak dapat Anda lakukan dengan masalah yang lebih standar,” kata Ilango.

Hasilnya menarik perhatian ahli teori kompleksitas yang mengerjakan topik lain. Itu juga merupakan pratinjau dari hubungan lebih lanjut antara kompleksitas meta dan kompleksitas kasus rata-rata yang akan muncul di tahun-tahun mendatang.

Yang terpenting, ini adalah bukti seberapa jauh peneliti dapat melangkah dengan mengajukan pertanyaan sederhana tentang hambatan yang pada awalnya hanya menghambat kemajuan mereka.

“Dualitas semacam ini adalah tema selama setidaknya 30 atau 40 tahun terakhir dari kompleksitas,” kata Impagliazzo. “Hambatan seringkali merupakan peluang.”

Kredit sebagian

Kemajuan hanya dipercepat pada tahun-tahun sejak Carmosino dan rekan-rekannya menerbitkan makalah mereka.

“Hal-hal baru sedang terjadi,” kata Kolokolova. “Ada banyak peneliti junior yang sangat, sangat cerdas.”

Ilango adalah salah satu dari peneliti muda ini — dalam tiga tahun pertamanya di sekolah pascasarjana, dia menyerang masalah terbuka yang menakutkan untuk membuktikan MCSP NP-complete menggunakan strategi dua cabang: membuktikan kelengkapan NP untuk lebih sederhana Versi dari MCSP, seperti yang dilakukan peneliti kompleksitas sirkuit ketika menyerang P versus NP pada 1980-an, sementara juga membuktikan kelengkapan NP untuk versi yang lebih rumit, yang secara intuitif tampak lebih sulit dan karenanya mungkin lebih mudah untuk dibuktikan dengan keras.

Ilango memuji ketertarikannya pada meta-kompleksitas Eric Allender, seorang ahli teori kompleksitas di Rutgers University dan salah satu dari sedikit peneliti yang terus mengerjakan meta-kompleksitas di tahun 2000-an dan awal 2010-an. “Antusiasmenya menular,” kata Ilango.

Peneliti muda lain yang terinspirasi oleh Allender adalah Shuichi Hirahara, sekarang menjadi profesor di National Institute of Informatics di Tokyo. Saat masih menjadi mahasiswa pascasarjana pada tahun 2018, Hirahara mengungkapkan sejauh mana sebenarnya hubungan antara kompleksitas meta dan kompleksitas kasus rata-rata yang ditemukan oleh Carmosino dan rekan penulisnya. Keempat peneliti tersebut telah menemukan hubungan antara kompleksitas kasus rata-rata dari satu masalah - MCSP - dan kompleksitas kasus terburuk dari yang lain - pembelajaran Boolean. Hirahara mengembangkan teknik mereka lebih jauh ke memperoleh pengurangan kasus terburuk hingga kasus rata-rata untuk MCSP. Hasilnya menyiratkan bahwa algoritme MCSP kasus rata-rata hipotetis seperti yang dianggap oleh Carmosino dan rekan-rekannya akan cukup kuat untuk menyelesaikan versi MCSP yang sedikit berbeda tanpa membuat kesalahan.

Hasil Hirahara adalah menarik karena banyak peneliti menduga bahwa MCSP adalah NP-lengkap, tidak seperti semua masalah lain yang kasus terburuk untuk reduksi kasus rata-rata diketahui. Jika mereka dapat memperluas hasil Hirahara untuk mencakup semua algoritme kasus rata-rata dan kemudian membuktikan bahwa MCSP adalah NP-lengkap, itu akan membuktikan bahwa kita tidak tinggal di Heuristica.

“Itu benar-benar akan menjadi hasil yang menghancurkan dunia,” kata Santhanam.

Membuktikan bahwa MCSP adalah NP-complete mungkin tampak sulit — lagipula, pertanyaannya telah terbuka selama lebih dari 50 tahun. Tapi setelah a terobosan tahun lalu oleh Hirahara, para peneliti sekarang jauh lebih dekat daripada yang diharapkan siapa pun beberapa tahun yang lalu.

Hirahara membuktikan kelengkapan NP untuk varian masalah yang disebut MCSP parsial, di mana Anda mengabaikan entri tertentu di setiap tabel kebenaran. Buktinya dibangun di atas metode yang dikembangkan oleh Ilango untuk menunjukkan bahwa MCSP parsial setara dengan masalah yang tampaknya tidak terkait yang melibatkan teknik kriptografi yang disebut pembagian rahasia. Ini adalah cara untuk membagi pesan terenkripsi di antara banyak orang sehingga hanya dapat didekodekan jika sebagian kecil dari mereka bekerja sama.

Untuk aplikasi nyata apa pun dalam kriptografi, Anda ingin mengetahui fraksi itu terlebih dahulu, tetapi dengan bantuan trik kriptografi tambahan, Anda dapat membuat skenario yang membuat frustrasi di mana sulit untuk mengetahui berapa banyak orang yang perlu bekerja sama. Hirahara menemukan cara untuk membuktikan bahwa masalah kriptografi yang dibuat-buat ini adalah NP-complete dan kemudian menunjukkan bahwa bukti tersebut menyiratkan kelengkapan NP dari sebagian MCSP juga.

Hasil ini mendorong para peneliti dalam meta-kompleksitas bahkan lebih dari karya Hirahara sebelumnya, dan peneliti lain juga memperhatikan — ahli teori kompleksitas dan blogger Lance Fortnow menyebutnya sebagai hasil tahun ini. Itu karena menangani versi "fungsi parsial" dari masalah komputasi telah menjadi langkah perantara utama dalam bukti kelengkapan NP lainnya.

"Ini pekerjaan yang luar biasa," kata Williams. “Semua orang mengira bahwa masalah parsial ini kira-kira sama sulitnya dengan masalah keseluruhan.”

Hambatan tetap membuktikan kelengkapan NP untuk versi lengkap MCSP. Tapi tidak ada hambatan yang menunjukkan bahwa diperlukan perangkat yang sama sekali baru — mungkin hanya masalah menemukan cara yang tepat untuk menggabungkan teknik yang sudah dikenal. Sebuah bukti akhirnya akan menyelesaikan status salah satu dari sedikit masalah yang menolak klasifikasi selama teori kompleksitas telah ada. Melalui email, Levin menulis: "Ini akan membuat saya rendah hati menunjukkan bahwa saya bodoh karena tidak dapat melihatnya :-)."

Potongan-potongan yang Hilang

MCSP bahkan bukan satu-satunya masalah kompleksitas meta yang mendorong terobosan besar. Pada tahun 2020, kriptografer Cornell Tech Rafael Lulus dan mahasiswa pascasarjananya Yanyi Liu menemukan koneksi antara masalah kompleksitas-meta yang berbeda dan protokol kriptografi mendasar yang menentukan batas antara Heuristica dan Pessiland, yang terburuk dari dunia Impagliazzo (di mana masalah NP-complete sulit dalam pengertian kasus rata-rata tetapi kriptografi masih mustahil). Itu membuat masalah yang mereka pelajari menjadi kandidat utama untuk menyerang Pessiland, dan mereka karya yang lebih baru menunjukkan bahwa itu bisa bekerja melawan Heuristica juga.

“Potongan teka-teki yang berbeda hilang,” kata Pass. “Bagi saya sungguh ajaib bahwa bidang-bidang ini terhubung dengan sangat erat.”

Hirahara memperingatkan bahwa tantangan masih menunggu para peneliti yang berniat memusnahkan dunia Impagliazzo yang disulap 30 tahun lalu. "Saya ingin mengatakan bahwa pada titik tertentu Heuristica dan Pessiland akan dikesampingkan, tapi saya tidak yakin seberapa dekat kami," katanya.

Banyak peneliti berharap bahwa kesulitan terbesar adalah menjembatani kesenjangan yang tampaknya tidak berbahaya antara dua model kompleksitas kasus rata-rata yang berbeda. Kriptografer biasanya mempelajari algoritme kasus rata-rata yang membuat kesalahan di kedua arah, terkadang salah memberi label pada string acak sebagai pseudorandom dan sebaliknya. Pengurangan kasus terburuk hingga kasus rata-rata Hirahara, sementara itu, berfungsi untuk algoritme kasus rata-rata yang hanya membuat jenis kesalahan pertama. Perbedaan halus seperti ini dapat membuat perbedaan dunia dalam teori kompleksitas. Namun terlepas dari rintangan ini dan banyak lainnya, Allender tidak bisa tidak menyuarakan nada optimisme yang dijaga.

“Saya mencoba untuk tidak membiarkan diri saya menjadi terlalu percaya karena ada rekam jejak yang cukup mapan bahwa tidak ada yang berhasil,” katanya. “Tapi kami melihat banyak perkembangan yang sangat menarik — cara untuk mengatasi hal-hal yang tampak seperti hambatan.”

Jika ada satu pelajaran yang telah dipelajari para peneliti dari perjuangan mereka untuk menjawab pertanyaan P versus NP — atau bahkan sekadar memahaminya — teori kompleksitas itu sendiri kompleks. Tapi tantangan itulah yang membuat pencarian itu begitu bermanfaat.

“Ini sebenarnya bagus karena sangat sulit,” kata Carmosino. "Aku tidak akan pernah bosan."

Catatan editor: Scott Aaronson adalah anggota dari Majalah Quanta'S Dewan Penasehat.