Over kwantumversnellingen voor niet-convexe optimalisatie via kwantumtunnelwandelingen

Over kwantumversnellingen voor niet-convexe optimalisatie via kwantumtunnelwandelingen

Tijdstempel: 2 juni 2023 8:23 uur
Bronknooppunt: 2694596

Yizhou Liu1, Weijie J. Su2, en Tongyang Li3,4

1Afdeling Technische Mechanica, Tsinghua Universiteit, 100084 Beijing, China
2Afdeling Statistiek en Data Science, Universiteit van Pennsylvania
3Centrum voor grenzen van computerstudies, Universiteit van Peking, 100871 Beijing, China
4School voor Computerwetenschappen, Universiteit van Peking, 100871 Beijing, China

Vind je dit artikel interessant of wil je het bespreken? Scite of laat een reactie achter op SciRate.

Abstract

Klassieke algoritmen zijn vaak niet effectief voor het oplossen van niet-convexe optimalisatieproblemen waarbij lokale minima worden gescheiden door hoge barrières. In dit artikel onderzoeken we mogelijke kwantumversnellingen voor niet-convexe optimalisatie door gebruik te maken van het $globale effect van kwantumtunneling. Concreet introduceren we een kwantumalgoritme dat de kwantumtunnelingwandeling (QTW) wordt genoemd en passen dit toe op niet-convexe problemen waarbij lokale minima ongeveer globale minima zijn. We laten zien dat QTW een kwantumversnelling bereikt ten opzichte van klassieke stochastische gradiëntdalingen (SGD) wanneer de barrières tussen verschillende lokale minima hoog maar dun zijn en de minima vlak. Op basis van deze observatie construeren we een specifiek landschap met dubbele putten, waar klassieke algoritmen het ene doel niet efficiënt kunnen raken terwijl ze het andere goed kennen, maar QTW kan dat wel als de juiste initiële toestanden in de buurt van de bekende put worden gegeven. Ten slotte bevestigen we onze bevindingen met numerieke experimenten.

[Ingesloten inhoud]

Populaire samenvatting

Klassieke algoritmen zijn vaak niet effectief voor het oplossen van niet-convexe optimalisatieproblemen waarbij lokale minima worden gescheiden door hoge barrières. In dit artikel onderzoeken we mogelijke kwantumversnellingen voor niet-convexe optimalisatie door gebruik te maken van het globale effect van kwantumtunneling. Concreet introduceren we een kwantumalgoritme dat de kwantumtunnelingwandeling (QTW) wordt genoemd en passen dit toe op niet-convexe problemen waarbij lokale minima ongeveer globale minima zijn. We laten zien dat QTW een kwantumversnelling bereikt ten opzichte van klassieke stochastische gradiëntdalingen (SGD) wanneer de barrières tussen verschillende lokale minima hoog maar dun zijn en de minima vlak. Op basis van deze observatie construeren we een specifiek landschap met dubbele putten, waar klassieke algoritmen het ene doel niet efficiënt kunnen raken terwijl ze het andere goed kennen, maar QTW kan dat wel als de juiste initiële toestanden in de buurt van de bekende put worden gegeven. Ten slotte bevestigen we onze bevindingen met numerieke experimenten.

► BibTeX-gegevens

► Referenties

[1] Zeyuan Allen-Zhu en Yuanzhi Li. Neon2: Het vinden van lokale minima via orakels van de eerste orde. In Advances in Neural Information Processing Systems, pagina's 3716–3726, 2018. URL http://​/​papers.neurips.cc/​paper/​7629-neon2-finding-local-minima-via-first-order-oracles. pdf. arXiv:1711.06673.
arXiv: 1711.06673
http://​/​papers.neurips.cc/​paper/​7629-neon2-finding-local-minima-via-first-order-oracles.pdf

[2] Animashree Anandkumar, Rong Ge, Daniel Hsu, Sham M Kakade en Matus Telgarsky. Tensordecomposities voor het leren van latente variabelemodellen. Journal of machine learning research, 15: 2773–2832, 2014. URL https://​/​jmlr.org/​papers/​volume15/​anandkumar14b/​. arXiv:1210.7559v4.
arXiv: 1210.7559v4
https://​/​jmlr.org/​papers/​volume15/​anandkumar14b/​

[3] Ben Andrews en Julie Clutterbuck. Bewijs van het fundamentele vermoeden van een kloof. Journal of the American Mathematical Society, 24 (3): 899–916, 2011. ISSN 08940347, 10886834. URL http://​/​www.jstor.org/​stable/​23072145. arXiv:1006.1686.
arXiv: 1006.1686
http: / / www.jstor.org/ stable / 23072145

[4] Joran van Apeldoorn en András Gilyén. Verbeteringen in het oplossen van kwantum-SDP met toepassingen. In Proceedings of the 46th International Colloquium on Automata, Languages, and Programming, deel 132 van Leibniz International Proceedings in Informatics (LIPIcs), pagina's 99:1–99:15. Schloss Dagstuhl–Leibniz-Zentrum fuer Informatik, 2019. 10.4230/​LIPIcs.ICALP.2019.99. arXiv:1804.05058.
https: / / doi.org/ 10.4230 / LIPIcs.ICALP.2019.99
arXiv: 1804.05058

[5] Joran van Apeldoorn, András Gilyén, Sander Gribling en Ronald de Wolf. Quantum SDP-solvers: betere boven- en ondergrenzen. In Proceedings van het 58e jaarlijkse symposium over de grondslagen van de computerwetenschappen. IEEE, 2017. 10.1109/FOCS.2017.44. arXiv:1705.01843.
https: / / doi.org/ 10.1109 / FOCS.2017.44
arXiv: 1705.01843

[6] Joran van Apeldoorn, András Gilyén, Sander Gribling en Ronald de Wolf. Convexe optimalisatie met behulp van kwantumorakels. Quantum, 4: 220, 2020. 10.22331/​q-2020-01-13-220. arXiv:1809.00643.
https:/​/​doi.org/​10.22331/​q-2020-01-13-220
arXiv: 1809.00643

[7] Frank Arute, Kunal Arya, Ryan Babbush, Dave Bacon, Joseph C. Bardin, Rami Barends, Sergio Boixo, Michael Broughton, Bob B. Buckley, David A. Buell, Brian Burkett, Nicholas Bushnell, Yu Chen, Zijun Chen, Benjamin Chiaro , Roberto Collins, William Courtney, Sean Demura, Andrew Dunsworth, Edward Farhi, Austin Fowler, Brooks Foxen, Craig Gidney, Marissa Giustina, Rob Graff, Steve Habegger, Matthew P. Harrigan, Alan Ho, Sabrina Hong, Trent Huang, William J Huggins, Lev Ioffe, Sergei V. Isakov, Evan Jeffrey, Zhang Jiang, Cody Jones, Dvir Kafri, Kostyantyn Kechedzhi, Julian Kelly, Seon Kim, Paul V. Klimov, Alexander Korotkov, Fedor Kostritsa, David Landhuis, Pavel Laptev, Mike Lindmark, Erik Lucero, Orion Martin, John M. Martinis, Jarrod R. McClean, Matt McEwen, Anthony Megrant, Xiao Mi, Masoud Mohseni, Wojciech Mruczkiewicz, Josh Mutus, Ofer Naaman, Matthew Neeley, Charles Neill, Hartmut Neven, Murphy Yuezhen Niu, Thomas E. O'Brien, Eric Ostby, Andre Petukhov, Harald Putterman, Chris Quintana, Pedram Roushan, Nicholas C. Rubin, Daniel Sank, Kevin J. Satzinger, Vadim Smelyanskiy, Doug Strain, Kevin J. Sung, Marco Szalay , Tyler Y. Takeshita, Amit Vainsencher, Theodore White, Nathan Wiebe, Z. Jamie Yao, Ping Yeh en Adam Zalcman. Hartree-Fock op een supergeleidende qubit-kwantumcomputer. Wetenschap, 369 (6507): 1084–1089, 2020. 10.1126/​science.abb9811. URL https://​/​science.sciencemag.org/​content/​369/​6507/​1084.abstract. arXiv:2004.04174.
https: / / doi.org/ 10.1126 / science.abb9811
arXiv: 2004.04174
https://​/​science.sciencemag.org/​content/​369/​6507/​1084.abstract

[8] Yosi Atia en Shantanav Chakraborty. Verbeterde bovengrenzen voor de slagtijden van kwantumwandelingen. Fysieke beoordeling A, 104: 032215, september 2021. ISSN 2469-9934. 10.1103/​physreva.104.032215. URL http://​/​dx.doi.org/​10.1103/​PhysRevA.104.032215. arXiv:2005.04062v5.
https: / / doi.org/ 10.1103 / physreva.104.032215
arXiv: 2005.04062v5

[9] Carlo Baldassi en Riccardo Zecchina. Efficiëntie van kwantum vs. klassiek gloeien bij niet-convexe leerproblemen. Proceedings of the National Academy of Sciences, 115 (7): 1457–1462, januari 2018. ISSN 1091-6490. 10.1073/​pnas.1711456115. URL http://​/​dx.doi.org/​10.1073/​pnas.1711456115. arXiv:1706.08470.
https: / / doi.org/ 10.1073 / pnas.1711456115
arXiv: 1706.08470

[10] Charles H. Bennett, Ethan Bernstein, Gilles Brassard en Umesh Vazirani. Sterke en zwakke punten van kwantumcomputers. SIAM Journal on Computing, 26 (5): 1510–1523, 1997. 10.1137/​S0097539796300933. URL https://​/​doi.org/​10.1137/​S0097539796300933. arXiv:quant-ph/​9701001.
https: / / doi.org/ 10.1137 / S0097539796300933
arXiv: quant-ph / 9701001

[11] Michael Betancourt, Michael I. Jordan en Ashia C Wilson. Over symplectische optimalisatie, 2018. arXiv:1802.03653.
arXiv: 1802.03653

[12] Sergio Boixo en Rolando D.Somma. Noodzakelijke voorwaarde voor de kwantum-adiabatische benadering. Fysieke beoordeling A, 81 (3): 032308, 2010. 10.1103/​PhysRevA.81.032308. URL https://​/​journals.aps.org/​pra/​abstract/​10.1103/​PhysRevA.81.032308. arXiv:0911.1362.
https: / / doi.org/ 10.1103 / PhysRevA.81.032308
arXiv: 0911.1362

[13] Fernando GSL Brandão en Krysta Svore. Kwantumversnellingen voor semidefiniet programmeren. In Proceedings of the 58th Annual Symposium on Foundations of Computer Science, pagina's 415–426, 2017. 10.1109/​FOCS.2017.45. arXiv:1609.05537.
https: / / doi.org/ 10.1109 / FOCS.2017.45
arXiv: 1609.05537

[14] Fernando GSL Brandão, Amir Kalev, Tongyang Li, Cedric Yen-Yu Lin, Krysta M. Svore en Xiaodi Wu. Quantum SDP-oplossers: grote versnellingen, optimaliteit en toepassingen voor kwantumleren. In Proceedings of the 46th International Colloquium on Automata, Languages, and Programming, deel 132 van Leibniz International Proceedings in Informatics (LIPIcs), pagina's 27:1–27:14. Schloss Dagstuhl–Leibniz-Zentrum fuer Informatik, 2019. 10.4230/​LIPIcs.ICALP.2019.27. arXiv:1710.02581.
https: / / doi.org/ 10.4230 / LIPIcs.ICALP.2019.27
arXiv: 1710.02581

[15] Shouvanik Chakrabarti, Andrew M. Childs, Tongyang Li en Xiaodi Wu. Kwantumalgoritmen en ondergrenzen voor convexe optimalisatie. Quantum, 4: 221, 2020. 10.22331/​q-2020-01-13-221. arXiv:1809.01731.
https:/​/​doi.org/​10.22331/​q-2020-01-13-221
arXiv: 1809.01731

[16] Shantanav Chakraborty, Kyle Luh en Jérémie Roland. Hoe snel mengen kwantumwandelingen zich? Physical Review Letters, 124: 050501, februari 2020. 10.1103/​PhysRevLett.124.050501. URL https://​/​link.aps.org/​doi/​10.1103/​PhysRevLett.124.050501. arXiv:2001.06305v1.
https: / / doi.org/ 10.1103 / PhysRevLett.124.050501
arXiv: 2001.06305v1

[17] Pratik Chaudhari en Stefano Soatto. Stochastische gradiëntdaling voert variatie-inferentie uit en convergeert om cycli voor diepe netwerken te beperken. In de Information Theory and Applications Workshop (ITA) van 2018, pagina's 1–10, 2018. 10.1109/​ITA.2018.8503224. arXiv:1710.11029v2.
https://​/​doi.org/​10.1109/​ITA.2018.8503224
arXiv: 1710.11029v2

[18] Andrew M. Childs, Richard Cleve, Enrico Deotto, Edward Farhi, Sam Gutmann en Daniel A. Spielman. Exponentiële algoritmische versnelling door een kwantumwandeling. In Proceedings of the Thirty-Fifth Annual ACM Symposium on Theory of Computing, STOC '03, pagina 59–68, New York, NY, VS, 2003. Association for Computing Machinery. ISBN 1581136749. 10.1145/​780542.780552. URL https://​/​doi.org/​10.1145/​780542.780552. arXiv:quant-ph/​0209131v2.
https: / / doi.org/ 10.1145 / 780542.780552
arXiv: quant-ph / 0209131v2

[19] Andrew M. Childs, Jin-Peng Liu en Aaron Ostrander. Uiterst nauwkeurige kwantumalgoritmen voor partiële differentiaalvergelijkingen. Quantum, 5: 574, november 2021. ISSN 2521-327X. 10.22331/​q-2021-11-10-574. URL http://​/​dx.doi.org/​10.22331/​q-2021-11-10-574. arXiv:2002.07868.
https:/​/​doi.org/​10.22331/​q-2021-11-10-574
arXiv: 2002.07868

[20] Pierre Comon, Xavier Luciani en André LF De Almeida. Tensorontbindingen, afwisselend kleinste kwadraten en andere verhalen. Journal of Chemometrics, 23: 393–405, augustus 2009. 10.1002/​cem.1236. URL https://​/​hal.archives-ouvertes.fr/​hal-00410057.
https://​/​doi.org/​10.1002/​cem.1236
https: / / hal.archives-ouvertes.fr/ hal-00410057

[21] Pedro CS Costa, Stephen Jordan en Aaron Ostrander. Kwantumalgoritme voor het simuleren van de golfvergelijking. Fysieke beoordeling A, 99: 012323, januari 2019. 10.1103/​PhysRevA.99.012323. URL https://​/​link.aps.org/​doi/​10.1103/​PhysRevA.99.012323. arXiv:1711.05394.
https: / / doi.org/ 10.1103 / PhysRevA.99.012323
arXiv: 1711.05394

[22] Christopher Criscitiello en Nicolas Boumal. Negatieve kromming belemmert versnelling voor geodetisch convexe optimalisatie, zelfs met exacte orakels van de eerste orde, 2021. arXiv:2111.13263.
arXiv: 2111.13263

[23] Elizabeth Crosson en Aram W. Harrow. Gesimuleerde kwantum-gloeien kan exponentieel sneller zijn dan klassiek gesimuleerd gloeien. In 2016 IEEE 57e jaarlijkse symposium over de grondslagen van computerwetenschappen (FOCS), pagina's 714-723. IEEE, oktober 2016. 10.1109/​focs.2016.81. URL http://​/​dx.doi.org/​10.1109/​FOCS.2016.81. arXiv:1601.03030.
https: / / doi.org/ 10.1109 / focs.2016.81
arXiv: 1601.03030

[24] Mouez Dimassi en Johannes Sjöstrand. Spectrale asymptotiek in de semi-klassieke limiet. London Mathematical Society Lecture Note-serie. Cambridge University Press, 1999. 10.1017/​CBO9780511662195.
https: / / doi.org/ 10.1017 / CBO9780511662195

[25] Felix Draxler, Kambis Veschgini, Manfred Salmhofer en Fred Hamprecht. In wezen geen barrières in het energielandschap van neurale netwerken. In Internationale Conferentie over Machine Learning, pagina's 1309–1318. PMLR, 2018. URL http://​/​proceedings.mlr.press/​v80/​draxler18a.html. arXiv:1803.00885.
arXiv: 1803.00885
http://​/​proceedings.mlr.press/​v80/​draxler18a.html

[26] Runyao Duan. Kwantumadiabatische stelling herzien, 2020. arXiv:2003.03063v1.
arXiv: 2003.03063v1

[27] John Duchi, Elad Hazan en Yoram Singer. Adaptieve subgradiëntmethoden voor online leren en stochastische optimalisatie. Journal of Machine Learning Research, 12 (61): 2121–2159, 2011. URL https://​/​www.jmlr.org/​papers/​volume12/​duchi11a/​duchi11a.pdf.
https://​/​www.jmlr.org/​papers/​volume12/​duchi11a/​duchi11a.pdf

[28] Sepehr Ebadi, Tout T. Wang, Harry Levine, Alexander Keesling, Giulia Semeghini, Ahmed Omran, Dolev Bluvstein, Rijn Samajdar, Hannes Pichler, Wen Wei Ho, Soonwon Choi, Subir Sachdev, Markus Greiner, Vladan Vuletić en Mikhail D. Lukin . Kwantumfasen van materie op een programmeerbare kwantumsimulator met 256 atomen. Nature, 595 (7866): 227–232, 2021. 10.1038/​s41586-021-03582-4. URL https://​/​www.nature.com/​articles/​s41586-021-03582-4.
https:/​/​doi.org/​10.1038/​s41586-021-03582-4
https: / / www.nature.com/ artikelen / s41586-021-03582-4

[29] Cong Fang, Chris Junchi Li, Zhouchen Lin en Tong Zhang. Spider: Bijna optimale niet-convexe optimalisatie via stochastische pad-geïntegreerde differentiële schatter. In Advances in Neural Information Processing Systems, pagina's 689–699, 2018. URL https://​/​dl.acm.org/​doi/​abs/​10.5555/​3326943.3327007. arXiv:1807.01695.
arXiv: 1807.01695
https: / / dl.acm.org/ doi / abs / 10.5555 / 3326943.3327007

[30] Cong Fang, Zhouchen Lin en Tong Zhang. Scherpe analyse voor niet-convexe SGD die uit zadelpunten ontsnapt. In Conference on Learning Theory, pagina's 1192–1234, 2019. URL http://​/​proceedings.mlr.press/​v99/​fang19a.html. arXiv:1902.00247.
arXiv: 1902.00247
http://​/​proceedings.mlr.press/​v99/​fang19a.html

[31] Edward Farhi, Jeffrey Goldstone, Sam Gutmann, Joshua Lapan, Andrew Lundgren en Daniel Preda. Een kwantum-adiabatisch evolutie-algoritme toegepast op willekeurige gevallen van een NP-compleet probleem. Wetenschap, 292 (5516): 472-475, april 2001. ISSN 1095-9203. 10.1126/​wetenschap.1057726. URL http://​/​dx.doi.org/​10.1126/​science.1057726. arXiv:quant-ph/​0104129.
https: / / doi.org/ 10.1126 / science.1057726
arXiv: quant-ph / 0104129

[32] AB Finnila, MA Gomez, C. Sebenik, C. Stenson en JD Doll. Kwantumgloeien: een nieuwe methode voor het minimaliseren van multidimensionale functies. Chemical Physics Letters, 219 (5-6): 343-348, maart 1994. ISSN 0009-2614. 10.1016/​0009-2614(94)00117-0. URL http://​/​dx.doi.org/​10.1016/​0009-2614(94)00117-0. arXiv:chem-ph/​9404003.
https:/​/​doi.org/​10.1016/​0009-2614(94)00117-0
arXiv:chem-ph/9404003

[33] Mauger François. Symplectisch sprongkikkerschema, 2020. URL https://​/​www.mathworks.com/​matlabcentral/​fileexchange/​38652-symplectisch-leap-kikker-schema. https: /​/​www.mathworks.com /​matlabcentral /​fileexchange /​38652-symplectic-leap-frog-scheme.
https://​/​www.mathworks.com/​matlabcentral/​fileexchange/​38652-symplectic-leap-frog-scheme

[34] Alan Frieze, Mark Jerrum en Ravi Kannan. Lineaire transformaties leren. In Proceedings of 37th Conference on Foundations of Computer Science, pagina's 359–368, 1996. 10.1109/​SFCS.1996.548495.
https: / / doi.org/ 10.1109 / SFCS.1996.548495

[35] Timur Garipov, Pavel Izmailov, Dmitrii Podoprikhin, Dmitry Vetrov en Andrew Gordon Wilson. Verliesoppervlakken, modusconnectiviteit en snelle samenstelling van DNN's. In Advances in Neural Information Processing Systems, pagina's 8803–8812, 2018. URL https://​/​dl.acm.org/​doi/​abs/​10.5555/​3327546.3327556. arXiv:1802.10026.
arXiv: 1802.10026
https: / / dl.acm.org/ doi / abs / 10.5555 / 3327546.3327556

[36] Rong Ge en Tengyu Ma. Over het optimalisatielandschap van tensordecomposities. Wiskundig programmeren, pagina's 1–47, 2020. ISSN 1436-4646. 10.1007/​s10107-020-01579-x. URL https://​/​doi.org/​10.1007/​s10107-020-01579-x. arXiv:1706.05598v1.
https: / / doi.org/ 10.1007 / s10107-020-01579-x
arXiv: 1706.05598v1

[37] Rong Ge, Furong Huang, Chi Jin en Yang Yuan. Ontsnappen uit zadelpunten - online stochastische gradiënt voor tensorontbinding. In Proceedings of the 28th Conference on Learning Theory, deel 40 van Proceedings of Machine Learning Research, pagina's 797–842, 2015. URL http://​/​proceedings.mlr.press/​v40/​Ge15. arXiv:1503.02101.
arXiv: 1503.02101
http://​/​proceedings.mlr.press/​v40/​Ge15

[38] Rong Ge, Jason D. Lee en Tengyu Ma. Matrixvoltooiing heeft geen vals lokaal minimum. In Advances in Neural Information Processing Systems, pagina's 2981–2989, 2016. URL https://​/​dl.acm.org/​doi/​abs/​10.5555/​3157382.3157431. arXiv:1605.07272.
arXiv: 1605.07272
https: / / dl.acm.org/ doi / abs / 10.5555 / 3157382.3157431

[39] Ming Gong, Shiyu Wang, Chen Zha, Ming-Cheng Chen, He-Liang Huang, Yulin Wu, Qingling Zhu, Youwei Zhao, Shaowei Li, Shaojun Guo, Haoran Qian, Yangsen Ye, Fusheng Chen, Chong Ying, Jiale Yu, Daojin Fan, Dachao Wu, Hong Su, Hui Deng, Hao Rong, Kaili Zhang, Sirui Cao, Jin Lin, Yu Xu, Lihua Sun, Cheng Guo, Na Li, Futian Liang, VM Bastidas, Kae Nemoto, WJ Munro, Yong-Heng Huo, Chao-Yang Lu, Cheng-Zhi Peng, Xiaobo Zhu en Jian-Wei Pan. Quantum loopt op een programmeerbare tweedimensionale 62-qubit supergeleidende processor. Science, 372 (6545): 948–952, 2021. 10.1126/​science.abg7812. URL https://​/​science.sciencemag.org/​content/​372/​6545/​948.abstract. arXiv:2102.02573.
https:/​/​doi.org/10.1126/​science.abg7812
arXiv: 2102.02573
https://​/​science.sciencemag.org/​content/​372/​6545/​948.abstract

[40] Stephen K. Gray en David E. Manolopoulos. Symplectische integratoren afgestemd op de tijdsafhankelijke Schrödingervergelijking. The Journal of Chemical Physics, 104 (18): 7099–7112, 1996. 10.1063/​1.471428. URL https://​/​doi.org/​10.1063/​1.471428.
https: / / doi.org/ 10.1063 / 1.471428

[41] Bernard Helffer. Semi-klassieke analyse voor de Schrödinger-operator en toepassingen. Lezingsaantekeningen in de wiskunde. Springer, 1988. 10.1007/​BFb0078115.
https: / / doi.org/ 10.1007 / BFb0078115

[42] Bernard Helffer en Johannes Sjöstrand. Meerdere putten in de semi-klassieke limiet I. Communications in Partial Differential Equations, 9 (4): 337–408, 1984. 10.1080/​03605308408820335.
https: / / doi.org/ 10.1080 / 03605308408820335

[43] Bernard Helffer en Johannes Sjöstrand. Meerdere putten in de semi-klassieke limiet III – interactie via niet-resonante putten. Mathematische Nachrichten, 124 (1): 263–313, 1985. https://​/​doi.org/​10.1002/​mana.19851240117. URL https://​/​onlinelibrary.wiley.com/​doi/​abs/​10.1002/​mana.19851240117.
https://​/​doi.org/​10.1002/​mana.19851240117

[44] Sepp Hochreiter. Het verdwijnende gradiëntprobleem tijdens het leren van terugkerende neurale netten en probleemoplossingen. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 6 (02): 107–116, 1998. 10.1142/​S0218488598000094. URL https://​/​dl.acm.org/​doi/​abs/​10.1142/​S0218488598000094.
https: / / doi.org/ 10.1142 / S0218488598000094

[45] Aapo Hyvarinen. Snelle ICA voor luidruchtige gegevens met behulp van Gauss-momenten. In 1999 IEEE International Symposium on Circuits and Systems (ISCAS), deel 5, pagina's 57-61, 1999. 10.1109/​ISCAS.1999.777510.
https://​/​doi.org/​10.1109/​ISCAS.1999.777510

[46] Frédéric Hérau, Michael Hitrik en Johannes Sjöstrand. Tunneleffect en symmetrieën voor operators van het type Kramers-fokker-planck. Tijdschrift van het Instituut voor Wiskunde van Jussieu, 10 (3): 567–634, 2011. 10.1017/​S1474748011000028.
https: / / doi.org/ 10.1017 / S1474748011000028

[47] Chi Jin, Rong Ge, Praneeth Netrapalli, Sham M. Kakade en Michael I. Jordan. Hoe je efficiënt aan zadelpunten kunt ontsnappen. In Proceedings of the 34th International Conference on Machine Learning, deel 70, pagina's 1724–1732, 2017. URL http://​/​proceedings.mlr.press/​v70/​jin17a. arXiv:1703.00887.
arXiv: 1703.00887
http://​/​proceedings.mlr.press/​v70/​jin17a

[48] Chi Jin, Lydia T. Liu, Rong Ge en Michael I. Jordan. Over de lokale minima van het empirische risico. In Advances in Neural Information Processing Systems, deel 31, pagina 4901–4910. Curran Associates, Inc., 2018. URL https://​/​proceedings.neurips.cc/​paper/​2018/​file/​da4902cb0bc38210839714ebdcf0efc3-Paper.pdf. arXiv:1803.09357.
arXiv: 1803.09357
https:/​/​proceedings.neurips.cc/​paper/​2018/​file/​da4902cb0bc38210839714ebdcf0efc3-Paper.pdf

[49] Chi Jin, Praneeth Netrapalli, Rong Ge, Sham M Kakade en Michael I. Jordan. Over niet-convexe optimalisatie voor machinaal leren: verlopen, stochasticiteit en zadelpunten. Tijdschrift van de ACM (JACM), 68 (2): 1–29, 2021. 10.1145/​3418526. URL https://​/​dl.acm.org/​doi/​abs/​10.1145/​3418526. arXiv:1902.04811.
https: / / doi.org/ 10.1145 / 3418526
arXiv: 1902.04811

[50] Michael I. Jordanië. Dynamische, symplectische en stochastische perspectieven op gradiëntgebaseerde optimalisatie. In Proceedings of the International Congress of Mathematicians: Rio de Janeiro 2018, pagina's 523-549. World Scientific, 2018. URL https://​/​doi.org/​10.1142/​9789813272880_0022.
https: / / doi.org/ 10.1142 / 9789813272880_0022

[51] Kenji Kawaguchi, Jiaoyang Huang en Leslie Pack Kaelbling. Elke lokale minimumwaarde is de globale minimumwaarde van het geïnduceerde model bij niet-convexe machine learning. Neurale berekening, 31 (12): 2293–2323, 12 2019. ISSN 0899-7667. 10.1162/​neco_a_01234. URL https://​/​doi.org/​10.1162/​neco_a_01234. arXiv:1904.03673v3.
https://​/​doi.org/​10.1162/​neco_a_01234
arXiv: 1904.03673v3

[52] Diederik P. Kingma en Jimmy Ba. Adam: Een methode voor stochastische optimalisatie. In de 3e Internationale Conferentie voor Leerrepresentaties, 2015. URL https://​/​openreview.net/​forum?id=8gmWwjFyLj. arXiv:1412.6980.
arXiv: 1412.6980
https://​/​openreview.net/​forum?id=8gmWwjFyLj

[53] Alexei Kitaev en William A. Webb. Voorbereiding en herbemonstering van golffuncties met behulp van een kwantumcomputer, 2008. arXiv:0801.0342.
arXiv: 0801.0342

[54] Bobby Kleinberg, Yuanzhi Li en Yang Yuan. Een alternatieve kijk: wanneer ontsnapt SGD aan de lokale minima? In Internationale Conferentie over Machine Learning, pagina's 2698–2707. PMLR, 2018. URL http://​/​proceedings.mlr.press/​v80/​kleinberg18a.html. arXiv:1802.06175.
arXiv: 1802.06175
http://​/​proceedings.mlr.press/​v80/​kleinberg18a.html

[55] Guy Kornowski en Ohad Shamir. Oracle-complexiteit in niet-soepele, niet-convexe optimalisatie. In Advances in Neurale Informatieverwerkingssystemen, 2021. URL https://​/​openreview.net/​forum?id=aMZJBOiOOPg. arXiv:2104.06763v2.
arXiv: 2104.06763v2
https://​/​openreview.net/​forum?id=aMZJBOiOOPg

[56] Rohith Kuditipudi, Xiang Wang, Holden Lee, Yi Zhang, Zhiyuan Li, Wei Hu, Rong Ge en Sanjeev Arora. Uitleg van landschapsconnectiviteit van goedkope oplossingen voor meerlaagse netten. Advances in Neural Information Processing Systems, 32: 14601–14610, 2019. URL http://​/​papers.nips.cc/​paper/​9602-explaining-landscape-connectivity-of-low-cost-solutions-for- meerlaagse netten. arXiv:1906.06247.
arXiv: 1906.06247
http://​/​papers.nips.cc/​paper/​9602-explaining-landscape-connectivity-of-low-cost-solutions-for-multilayer-nets

[57] Harold J. Kushner en G. George Yin. Stochastische benadering en recursieve algoritmen en toepassingen, deel 35. Springer Science & Business Media, 2003. 10.1007/978-1-4471-4285-0_3.
https:/​/​doi.org/​10.1007/​978-1-4471-4285-0_3

[58] Keren Li, Shijie Wei, Pan Gao, Feihao Zhang, Zengrong Zhou, Tao Xin, Xiaoting Wang, Patrick Rebentrost en Guilu Long. Optimaliseren van een polynomiale functie op een kwantumprocessor. npj Quantuminformatie, 7 (1): 1–7, 2021a. 10.1038/​s41534-020-00351-5. arXiv:1804.05231.
https:/​/​doi.org/​10.1038/​s41534-020-00351-5
arXiv: 1804.05231

[59] Zhiyuan Li, Sadhika Malladi en Sanjeev Arora. Over de validiteit van het modelleren van SGD met stochastische differentiaalvergelijkingen (SDE's). In de vooruitgang in neurale informatieverwerkingssystemen, 2021b. URL https://​/​openreview.net/​forum?id=goEdyJ_nVQI. arXiv:2102.12470.
arXiv: 2102.12470
https://​/​openreview.net/​forum?id=goEdyJ_nVQI

[60] Guang Hao Low en Nathan Wiebe. Hamiltoniaanse simulatie in het interactiebeeld, 2019. URL https://​/​arxiv.org/​abs/​1805.00675v2. arXiv:1805.00675v2.
arXiv: 1805.00675v2

[61] Cong Ma, Kaizheng Wang, Yuejie Chi en Yuxin Chen. Impliciete regularisatie bij niet-convexe statistische schattingen: Gradiëntdaling convergeert lineair voor het ophalen van de fase en het voltooien van de matrix. In Internationale Conferentie over Machine Learning, pagina's 3345–3354. PMLR, 2018. URL http://​/​proceedings.mlr.press/​v80/​ma18c.html. arXiv:1711.10467.
arXiv: 1711.10467
http://​/​proceedings.mlr.press/​v80/​ma18c.html

[62] Tengyu Ma. Waarom lossen lokale methoden niet-convexe problemen op?, pagina 465–485. Cambridge University Press, 2021. 10.1017/​9781108637435.027. arXiv:2103.13462.
https: / / doi.org/ 10.1017 / 9781108637435.027
arXiv: 2103.13462

[63] Yi-An Ma, Yuansi Chen, Chi Jin, Nicolas Flammarion en Michael I. Jordan. Bemonstering kan sneller zijn dan optimalisatie. Proceedings of the National Academy of Sciences, 116 (42): 20881–20885, 2019. URL https://​/​www.pnas.org/​content/​116/​42/​20881.short. arXiv:.
https: / / doi.org/ 10.1073 / pnas.1820003116
https://​/​www.pnas.org/​content/​116/​42/​20881.short

[64] Peter A. Markowich en Cédric Villani. Over de trend naar evenwicht voor de Fokker-Planck-vergelijking: een wisselwerking tussen natuurkunde en functionele analyse. In Physics and Functional Analysis, Matematica Contemporanea (SBM) 19. Citeseer, 1999. URL http://​/​citeseerx.ist.psu.edu/​viewdoc/​summary?doi=10.1.1.35.2278.
http://​/​citeseerx.ist.psu.edu/​viewdoc/​summary?doi=10.1.1.35.2278

[65] Laurent Michel. Over kleine eigenwaarden van de Witten Laplace. Pure en toegepaste analyse, 1 (2): 149 – 206, 2019. 10.2140/​paa.2019.1.149. URL https://​/​doi.org/​10.2140/​paa.2019.1.149. arXiv:1702.01837.
https://​/​doi.org/​10.2140/​paa.2019.1.149
arXiv: 1702.01837

[66] Siddharth Muthukrishnan, Tameem Albash en Daniel A. Lidar. Tunneling en versnelling in kwantumoptimalisatie voor permutatie-symmetrische problemen. Fysieke beoordeling X, 6: 031010, juli 2016. ISSN 2160-3308. 10.1103/​physrevx.6.031010. URL http://​/​dx.doi.org/​10.1103/​PhysRevX.6.031010. arXiv:1511.03910.
https: / / doi.org/ 10.1103 / physrevx.6.031010
arXiv: 1511.03910

[67] Quynh Nguyen. Op verbonden subniveausets in deep learning. In Internationale Conferentie over Machine Learning, pagina's 4790–4799. PMLR, 2019. URL http://​/​proceedings.mlr.press/​v97/​nguyen19a.html. arXiv:1901.07417.
arXiv: 1901.07417
http://​/​proceedings.mlr.press/​v97/​nguyen19a.html

[68] Michael A. Nielsen en Isaac L. Chuang. Quantum Computation en Quantum Informatie: 10th Anniversary Edition. Cambridge University Press, 2010. 10.1017/​CBO9780511976667.
https: / / doi.org/ 10.1017 / CBO9780511976667

[69] Grigorios A. Pavliotis. Stochastische processen en toepassingen: diffusieprocessen, de Fokker-Planck- en Langevin-vergelijkingen, deel 60. Springer, 2014. 10.1007/​978-1-4939-1323-7.
https:/​/​doi.org/​10.1007/​978-1-4939-1323-7

[70] Qing Qu, Yuexiang Zhai, Xiao Li, Yuqian Zhang en Zhihui Zhu. Analyse van de optimalisatielandschappen voor overvolledig representatieleren, 2019. arXiv:1912.02427.
arXiv: 1912.02427

[71] Gianluca Rastelli. Semiklassieke formule voor kwantumtunneling in asymmetrische dubbelputpotentialen. Fysieke beoordeling A, 86: 012106, juli 2012. 10.1103/​PhysRevA.86.012106. URL https://​/​link.aps.org/​doi/​10.1103/​PhysRevA.86.012106. arXiv:1205.0366.
https: / / doi.org/ 10.1103 / PhysRevA.86.012106
arXiv: 1205.0366

[72] Arthur G. Rattew, Yue Sun, Pierre Minssen en Marco Pistoia. De efficiënte voorbereiding van normale verdelingen in kwantumregisters. Quantum, 5: 609, 2021. 10.22331/​q-2021-12-23-609. URL https://​/​quantum-journal.org/​papers/​q-2021-12-23-609/​. arXiv:2009.06601.
https:/​/​doi.org/​10.22331/​q-2021-12-23-609
arXiv: 2009.06601
https: / / quantum-journal.org/ papers / q-2021-12-23-609 /

[73] Patrick Rebentrost, Maria Schuld, Leonard Wossnig, Francesco Petruccione en Seth Lloyd. Kwantumgradiëntafdaling en Newton's methode voor beperkte polynomiale optimalisatie. New Journal of Physics, 21 (7): 073023, 2019. 10.1088/​1367-2630/​ab2a9e. arXiv:1612.01789.
https:/​/​doi.org/​10.1088/​1367-2630/​ab2a9e
arXiv: 1612.01789

[74] Burak Şahinoğlu en Rolando D. Somma. Hamiltoniaanse simulatie in de energiezuinige deelruimte. npj Quantum Information, 7 (1): 1–5, 2021. 10.1038/​s41534-021-00451-w. URL https://​/​www.nature.com/​articles/​s41534-021-00451-w. arXiv:2006.02660.
https: / / doi.org/ 10.1038 / s41534-021-00451-w
arXiv: 2006.02660
https://​/​www.nature.com/​articles/​s41534-021-00451-w

[75] JM Schmidt, AN Cleland en John Clarke. Resonante tunneling in kleine Josephson-kruispunten met stroomvoorspanning. Fysieke recensie B, 43: 229–238, januari 1991. 10.1103/​PhysRevB.43.229. URL https://​/​link.aps.org/​doi/​10.1103/​PhysRevB.43.229.
https: / / doi.org/ 10.1103 / PhysRevB.43.229

[76] Alexander Sjevtsjenko en Marco Mondelli. Landschapsconnectiviteit en uitvalstabiliteit van SGD-oplossingen voor overgeparametriseerde neurale netwerken. In Internationale Conferentie over Machine Learning, pagina's 8773–8784. PMLR, 2020. URL http://​/​proceedings.mlr.press/​v119/​shevchenko20a.html. arXiv:1912.10095.
arXiv: 1912.10095
http://​/​proceedings.mlr.press/​v119/​shevchenko20a.html

[77] Bin Shi, Weijie J. Su en Michael I. Jordan. Over leerpercentages en Schrödinger-operatoren, 2020. arXiv:2004.06977.
arXiv: 2004.06977

[78] Bin Shi, Simon S. Du, Michael I. Jordan en Weijie J. Su. Inzicht in het versnellingsfenomeen via differentiaalvergelijkingen met hoge resolutie. Wiskundig programmeren, pagina's 1–70, 2021. 10.1007/​s10107-021-01681-8. URL https://​/​doi.org/​10.1007/​s10107-021-01681-8. arXiv:1810.08907.
https:/​/​doi.org/​10.1007/​s10107-021-01681-8
arXiv: 1810.08907

[79] Weijie Su, Stephen Boyd en Emmanuel J. Candes. Een differentiaalvergelijking voor het modelleren van de versnelde gradiëntmethode van Nesterov: theorie en inzichten. The Journal of Machine Learning Research, 17 (1): 5312–5354, 2016. 10.5555/​2946645.3053435. URL https://​/​dl.acm.org/​doi/​abs/​10.5555/​2946645.3053435. arXiv:1503.01243.
https: / / doi.org/ 10.5555 / 2946645.3053435
arXiv: 1503.01243

[80] Ruoyu Zon. Optimalisatie voor deep learning: theorie en algoritmen, 2019. arXiv:1912.08957.
arXiv: 1912.08957

[81] Kunal Talwar. Computationele scheidingen tussen bemonstering en optimalisatie. Advances in Neural Information Processing Systems, 32: 15023–15033, 2019. URL http://​/​papers.nips.cc/​paper/​9639-computational-separations-between-sampling-and-optimization. arXiv:1911.02074.
arXiv: 1911.02074
http://​/​papers.nips.cc/​paper/​9639-computational-separations-between-sampling-and-optimization

[82] Hao Tang, Xiao-Feng Lin, Zhen Feng, Jing-Yuan Chen, Jun Gao, Ke Sun, Chao-Yue Wang, Peng-Cheng Lai, Xiao-Yun Xu, Yao Wang, Lu-Feng Qiao, Ai-Lin Yang, en Xian-Min Jin. Experimentele tweedimensionale kwantumwandeling op een fotonische chip. Science Advances, 4 (5): eaat3174, 2018. 10.1126/​sciadv.aat3174. URL https://​/​www.science.org/​doi/​10.1126/​sciadv.aat3174. arXiv:1704.08242.
https: / / doi.org/ 10.1126 / sciadv.aat3174
arXiv: 1704.08242

[83] Cedric Villani. Hypocoërciviteit, deel 202 van Memoirs of the American Mathematical Society. American Mathematical Society, 2009. 10.1090/​S0065-9266-09-00567-5. arXiv:wiskunde/​0609050.
https:/​/​doi.org/​10.1090/​S0065-9266-09-00567-5
arXiv: math / 0609050

[84] Andre Wibisono, Ashia C. Wilson en Michael I. Jordan. Een variatieperspectief op versnelde methoden voor optimalisatie. Proceedings of the National Academy of Sciences, 113 (47): E7351–E7358, 2016. 10.1073/​pnas.1614734113. URL https://​/​doi.org/​10.1073/​pnas.1614734113. arXiv:1603.04245.
https: / / doi.org/ 10.1073 / pnas.1614734113
arXiv: 1603.04245

[85] Chenyi Zhang en Tongyang Li. Ontsnap aan zadelpunten door een eenvoudig op gradiënt-afdaling gebaseerd algoritme. In Advances in Neural Information Processing Systems, deel 34, 2021. URL https://​/​openreview.net/​forum?id=lEf52hTHq0Q. arXiv:2111.14069.
arXiv: 2111.14069
https://​/​openreview.net/​forum?id=lEf52hTHq0Q

[86] Chenyi Zhang, Jiaqi Leng en Tongyang Li. Kwantumalgoritmen voor het ontsnappen uit zadelpunten. Kwantum, 5: 529, 2021a. 10.22331/​q-2021-08-20-529. arXiv:2007.10253.
https:/​/​doi.org/​10.22331/​q-2021-08-20-529
arXiv: 2007.10253

[87] Kaining Zhang, Min-Hsiu Hsieh, Liu Liu en Dacheng Tao. Kwantumalgoritme voor het vinden van de richting van de negatieve kromming bij niet-convexe optimalisatie, 2019. arXiv:1909.07622.
arXiv: 1909.07622

[88] Yuqian Zhang, Qing Qu en John Wright. Van symmetrie naar geometrie: behandelbare niet-convexe problemen, 2021b. arXiv:2007.06753.
arXiv: 2007.06753

Geciteerd door

[1] Weiyuan Gong, Chenyi Zhang en Tongyang Li, "Robuustheid van kwantumalgoritmen voor niet-convexe optimalisatie", arXiv: 2212.02548, (2022).

Bovenstaande citaten zijn afkomstig van SAO / NASA ADS (laatst bijgewerkt met succes 2023-06-02 12:31:17). De lijst is mogelijk onvolledig omdat niet alle uitgevers geschikte en volledige citatiegegevens verstrekken.

Kon niet ophalen Door Crossref geciteerde gegevens tijdens laatste poging 2023-06-02 12:31:15: kon niet geciteerde gegevens voor 10.22331 / q-2023-06-02-1030 niet ophalen van Crossref. Dit is normaal als de DOI recent is geregistreerd.

Dit artikel is gepubliceerd in Quantum onder de Creative Commons Naamsvermelding 4.0 Internationaal (CC BY 4.0) licentie. Het auteursrecht blijft berusten bij de oorspronkelijke houders van auteursrechten, zoals de auteurs of hun instellingen.

Tijdstempel:

Meer van Quantum Journaal