Hoe musicologen en wetenschappers AI gebruikten om Beethovens onvoltooide 10e symfonie te voltooien

Heruitgegeven door Plato

volgers: 0

Toen Ludwig van Beethoven in 1827 stierf, was hij drie jaar verwijderd van de voltooiing van zijn Negende symfonie, een werk dat door velen werd aangekondigd als zijn magnum opus. Hij was begonnen aan zijn 10e symfonie, maar als gevolg van een verslechterende gezondheid, kon niet veel vooruitgang boeken: hij liet alleen wat muzikale sketches achter.

Sindsdien hebben Beethoven-fans en musicologen zich afgevraagd en geklaagd over wat had kunnen zijn. Zijn aantekeningen plaagden voor een prachtige beloning, zij het een die voor altijd buiten bereik leek.

Nu, dankzij het werk van een team van muziekhistorici, musicologen, componisten en computerwetenschappers, komt Beethovens visie tot leven.

Ik was voorzitter van de kunstmatige intelligentie kant van het project, het leiden van een groep wetenschappers bij de creatieve AI-startup Speelvorm AI die een machine zowel Beethovens hele oeuvre als zijn creatieve proces leerde.

Een volledige opname van Beethovens 10e symfonie staat gepland voor release op 9 oktober 2021, dezelfde dag als de wereldpremière die gepland staat in Bonn, Duitsland - het hoogtepunt van een inspanning van meer dan twee jaar.

Pogingen uit het verleden stuitten op een muur

Rond 1817 gaf de Royal Philharmonic Society in Londen Beethoven de opdracht om zijn negende en tiende symfonie te schrijven. Geschreven voor een orkest, symfonieën bevatten vaak vier delen: de eerste wordt uitgevoerd in een snel tempo, de tweede in een langzamer tempo, de derde in een gemiddeld of snel tempo en de laatste in een snel tempo.

Beethoven voltooide zijn Negende symfonie in 1824, dat eindigt met het tijdloze “Ode aan de Vreugde. '

Maar wat de 10e symfonie betreft, liet Beethoven niet veel achter, behalve wat muzieknoten en een handvol ideeën die hij had opgeschreven.

Stukje papier met muzieknoten erop geschreven. — Een pagina met aantekeningen van Beethoven voor zijn geplande 10e symfonie. Afbeelding tegoed: Beethoven House Museum, CC BY-SA

Er zijn in het verleden enkele pogingen gedaan om delen van Beethovens 10e symfonie te reconstrueren. Het beroemdst was dat musicoloog Barry Cooper in 1988 het waagde om het eerste en tweede deel te voltooien. Hij weefde 250 maten muziek uit de sketches samen om te creëren wat volgens hem een productie van het eerste deel dat was trouw aan de visie van Beethoven.

Maar de schaarsheid van Beethovens schetsen maakte het voor symfonie-experts onmogelijk om verder te gaan dan dat eerste deel.

Het team samenstellen

Begin 2019 heeft Dr. Matthias Röder, de directeur van het Karajan Instituut, een organisatie in Salzburg, Oostenrijk, die muziektechnologie promoot, nam contact met me op. Hij legde uit dat hij een team aan het samenstellen was om de 10e symfonie van Beethoven te voltooien ter ere van de 250ste verjaardag van de componist. Bewust van mijn werk over door AI gegenereerde kunst, wilde hij weten of AI zou kunnen helpen om de lege plekken van Beethoven in te vullen.

De uitdaging leek ontmoedigend. Om het voor elkaar te krijgen, zou AI iets moeten doen dat het nog nooit eerder had gedaan. Maar ik zei dat ik het zou proberen.

Röder stelde vervolgens een team samen met onder meer de Oostenrijkse componist Walter Werzowa. Beroemd om schrijven Intel's kenmerkende bong-jingle, kreeg Werzowa de taak om een nieuw soort compositie samen te stellen die zou integreren wat Beethoven achterliet met wat de AI zou genereren. Mark Gotham, een computationele muziekexpert, leidde de inspanning om Beethovens schetsen te transcriberen en zijn hele oeuvre te verwerken, zodat de AI goed kon worden getraind.

Het team ook inbegrepen Robert Levin, een musicoloog aan de Harvard University die toevallig ook een ongelooflijke pianist is. Levin eerder was afgelopen een aantal onvolledige 18e-eeuwse werken van Mozart en Johann Sebastian Bach.

Het project krijgt vorm

In juni 2019 kwam de groep bijeen voor een tweedaagse workshop in de muziekbibliotheek van Harvard. In een grote ruimte met een piano, een schoolbord en een stapel schetsboeken van Beethoven die de meeste van zijn bekende werken bevatten, spraken we over hoe fragmenten konden worden omgezet in een compleet muziekstuk en hoe AI deze puzzel kon helpen oplossen, terwijl we toch trouw bleven. aan het proces en de visie van Beethoven.

De muziekexperts in de zaal wilden graag meer weten over het soort muziek dat AI in het verleden had gemaakt. Ik vertelde hen hoe AI met succes muziek had gegenereerd in de stijl van Bach. Dit was echter slechts een harmonisatie van een ingevoerde melodie die klonk als Bach. Het kwam niet in de buurt van wat we moesten doen: een hele symfonie construeren uit een handvol frasen.

Ondertussen wilden de wetenschappers in de kamer - waaronder ikzelf - weten wat voor soort materiaal er beschikbaar was en hoe de experts dachten dat ze die zouden gebruiken om de symfonie te voltooien.

De taak die voorhanden was, kristalliseerde zich uiteindelijk uit. We zouden aantekeningen en voltooide composities uit het hele oeuvre van Beethoven moeten gebruiken - samen met de beschikbare schetsen van de 10e symfonie - om iets te creëren dat Beethoven zelf zou kunnen hebben geschreven.

Dit was een geweldige uitdaging. We hadden geen machine waar we schetsen naartoe konden sturen, op een knop konden drukken en het een symfonie kon laten uitspugen. De meeste AI die op dat moment beschikbaar was, kon een onvoltooid stuk muziek niet langer dan een paar seconden voortzetten.

We zouden de grenzen moeten verleggen van wat creatieve AI zou kunnen doen door de machine het creatieve proces van Beethoven te leren - hoe hij een paar maten muziek zou nemen en ze nauwgezet zou ontwikkelen tot opzwepende symfonieën, kwartetten en sonates.

Het creatieve proces van Beethoven samenvoegen

Naarmate het project vorderde, evolueerden de menselijke kant en de machinekant van de samenwerking. Werzowa, Gotham, Levin en Röder ontcijferden en transcribeerden de schetsen van de 10e symfonie, in een poging de bedoelingen van Beethoven te begrijpen. Door zijn voltooide symfonieën als sjabloon te gebruiken, probeerden ze de puzzel op te lossen van waar de fragmenten van schetsen moesten komen - welke beweging, welk deel van de beweging.

Ze moesten beslissingen nemen, zoals bepalen of een schets het beginpunt van een schets aangaf een scherzo, wat een zeer levendig onderdeel is van de symfonie, typisch in het derde deel. Of ze zouden kunnen vaststellen dat een muziekregel waarschijnlijk de basis was van een fuga, wat een melodie is die wordt gecreëerd door delen met elkaar te verweven die allemaal een centraal thema weerspiegelen.

De AI-kant van het project - mijn kant - worstelde met een reeks uitdagende taken.

Eerst en vooral moesten we uitzoeken hoe we een korte frase, of zelfs maar een motief, konden gebruiken om een langere, meer gecompliceerde muzikale structuur te ontwikkelen, net zoals Beethoven zou hebben gedaan. Zo moest de machine leren hoe Beethoven de Vijfde symfonie construeerde uit een basismotief van vier noten.

Vervolgens, omdat de voortzetting van een frase ook een bepaalde muzikale vorm moet volgen, of het nu een scherzo, trio of fuga is, moest de AI het proces van Beethoven leren om deze vormen te ontwikkelen.

De takenlijst groeide: we moesten de AI leren hoe een melodische lijn te nemen en te harmoniseren. De AI moest leren hoe twee delen van muziek met elkaar te verbinden. En we realiseerden ons dat de AI moest kunnen componeren een code, wat een segment is dat een deel van een muziekstuk tot een einde brengt.

Eindelijk, toen we eenmaal een volledige compositie hadden, zou de AI moeten uitzoeken hoe deze te orkestreren, wat inhoudt dat verschillende instrumenten voor verschillende partijen moeten worden toegewezen.

En het moest deze taken uitvoeren op de manier waarop Beethoven dat zou kunnen doen.

De eerste grote test doorstaan

In november 2019 ontmoette het team elkaar weer persoonlijk - dit keer in Bonn, in het Beethoven House Museum, waar de componist is geboren en getogen.

Deze bijeenkomst was de lakmoesproef om te bepalen of AI dit project kon voltooien. We drukten partituren af die waren ontwikkeld door AI en bouwden voort op de schetsen van Beethovens 10e. Een pianist trad op in een kleine concertzaal in het museum voor een groep journalisten, muziekwetenschappers en Beethoven-experts.

Groep mensen staan rond een pianist. — Journalisten en muzikanten komen samen om een pianist delen van Beethovens 10e symfonie te horen spelen. Afbeelding tegoed: Ahmed Elgammal, CC BY-SA

We daagden het publiek uit om te bepalen waar Beethovens zinnen eindigden en waar de AI-extrapolatie begon. Dat konden ze niet.

Een paar dagen later werd een van deze door AI gegenereerde scores gespeeld een strijkkwartet in een persconferentie. Alleen degenen die de schetsen van Beethoven voor de 10e symfonie goed kenden, konden bepalen wanneer de door AI gegenereerde delen binnenkwamen.

Het succes van deze tests vertelde ons dat we op de goede weg waren. Maar dit waren maar een paar minuten muziek. Er was nog veel meer werk te doen.

Klaar voor de wereld

Op elk punt doemde het genie van Beethoven op en daagde ons uit om het beter te doen. Naarmate het project evolueerde, deed de AI dat ook. In de daaropvolgende 18 maanden hebben we twee volledige delen van elk meer dan 20 minuten geconstrueerd en georkestreerd.

We verwachten enige terugslag op dit werk - degenen die zullen zeggen dat kunst verboden terrein zou moeten zijn voor AI, en dat AI niets te zoeken heeft om het menselijke creatieve proces te repliceren. Maar als het om kunst gaat, zie ik AI niet als een vervanging, maar als een hulpmiddel - een hulpmiddel dat deuren opent voor kunstenaars om zich op nieuwe manieren uit te drukken.

Dit project zou niet mogelijk zijn geweest zonder de expertise van menselijke historici en muzikanten. Er was enorm veel werk - en ja, creatief denken - voor nodig om dit doel te bereiken.

Op een gegeven moment zei een van de muziekexperts van het team dat de AI hem deed denken aan een enthousiaste muziekstudent die elke dag oefent, leert en steeds beter wordt.

Nu is die student, die het stokje van Beethoven heeft overgenomen, klaar om de 10e symfonie aan de wereld te presenteren.