De ergste nachtmerrie van Elon Musk, Missy Cummings, kwelt nu ook Waymo en Cruise - Autoblog

Heruitgegeven door Plato

volgers: 0

Missy Cummings vloog straaljagers voor de marine. Nu richt ze zich als toonaangevend expert op het gebied van automatisering en AI op zelfrijdende auto's. Chelsea Jia Feng/Insider

In 2021 wekte een ingenieur genaamd Missy Cummings de woede van Elon Musk op het sociale netwerk dat toen Twitter heette. Cummings, hoogleraar aan de Duke University, had onderzoek gedaan naar de veiligheid van zelfrijdende auto’s, en de bevindingen brachten haar ertoe enkele scherpe waarschuwingen te geven over de veiligheid van zelfrijdende auto’s. Tesla's technologie voor rijhulp. De auto’s, zo schreef ze, vertoonden ‘variabel en vaak onveilig gedrag’ meer testen nodig “Voordat dergelijke technologie mag functioneren zonder dat mensen er directe controle over hebben.” Op basis van haar onderzoek werd Cummings benoemd tot lid van de National Highway Traffic Safety Administration - om te helpen bij de regulering van robot auto's.

Tesla fans reageerden met hun gebruikelijke gelijkmoedigheid en gevoel voor perspectief, waarmee ik bedoel dat ze het absoluut kwijt waren. Hun aandrang dat Cummings zou proberen hun zoontje Elon op oneerlijke wijze te reguleren, bracht Musk er al snel toe om zich bij de draad aan te sluiten. ‘Objectief’, zei hij tweeted, “Haar staat van dienst is extreem bevooroordeeld ten opzichte van Tesla.” Als reactie daarop ontketenden de stans van Musk hun volledige woede op Cummings – haar werk, haar uiterlijk, haar motieven. Ze beschuldigden haar van belangenverstrengeling, ondertekenden petities waarin ze haar verwijdering eisten en stuurden doodsbedreigingen per e-mail.

Maar het punt is dat Musk's oorlogsbroeders met de verkeerde ingenieur aan het knoeien waren. Als een van de eerste vrouwelijke gevechtspiloten van de marine vloog Cummings met F/A-18's. (Roepnaam: Shrew.) Ze liet zich niet intimideren door het kwispelende gedrag van een paar mensen op Twitter met anime-profielfoto's. Ze plaatste de ergste bedreigingen op LinkedIn, huurde persoonlijke beveiliging in en bleef vechten. “Ik denk: ga je dit echt doen?” zij herinnert zich denken. “Ik verdubbel. De gevechtspiloot in mij komt naar boven. Ik hou van een goed gevecht.”

Ze heeft die specifieke verloving niet bepaald gewonnen. Een hoop gezeur van Tesla dwong NHTSA om Cummings te dwingen zichzelf te herroepen van alles wat met het bedrijf te maken heeft. Maar je weet wat ze zeggen over elke landing waar je van weg kunt lopen. Cummings kreeg een nieuwe baan aan de George Mason University en breidde haar onderzoek uit van Tesla naar de wijdere wereld allen zelfrijdende voertuigen. Met bedrijven als Cruise en Waymo Door volledig gerobotiseerde taxi’s in de straten van San Francisco en andere steden los te laten, is de opkomst van de machines begonnen – en Cummings bevindt zich in de frontlinie van het verzet. In een controversieel nieuw artikel concludeert ze dat de nieuwe robottaxi's vier tot acht keer zoveel kans hebben om een ongeluk te krijgen als een door mensen bestuurde auto. En dan telt de manier waarop zelfrijdende voertuigen dit veroorzaken niet mee vreemde verkeersopstoppingen, het blokkeren van hulpvoertuigeninvestering veilig is en u uw kans vergroot op bovenop een persoon stoppen die al was aangereden door een door mensen aangedreven auto.

“In de krant die alle Tesla-trollen echt kwaad maakte, zeg ik eigenlijk dat dit niet alleen een Tesla-probleem is – dat Tesla de eerste is die deze problemen ondervindt”, vertelt Cummings. “Jarenlang heb ik mensen verteld dat dit ging gebeuren, dat deze problemen zich zouden voordoen bij zelfrijden. En dat zijn ze inderdaad. Als iemand in de zelfrijdende auto de gemeenschap is verrast, dat is aan hen.”

Het blijkt dat dienen bij de marine een zeer goede manier is om te trainen op de inkomende woede van Muskovieten. In haar memoires uit 1999: “Van de horzel Nest,” herinnert Cummings zich hoe ze van vliegende straaljagers hield, en zegt dat de opwinding om van een vliegdekschip te worden gekatapulteerd – of erop te landen – nooit oud is geworden. Maar de omgeving was verre van gastvrij. Seksuele intimidatie bij de marine was routine, en mannelijke collega's vertelden Cummings herhaaldelijk dat ze niet gekwalificeerd was om met gevechtsvliegtuigen te vliegen, simpelweg omdat ze een vrouw was. Toen zij en een andere vrouwelijke officier opdaagden bij een golftoernooi op de basis, kregen ze te horen dat ze Hooters-uniformen moesten aantrekken en de bierkarren moesten besturen. Cummings weigerde.

Vliegende tactische vernietigingsmotoren voorzagen Cummings ook van een les uit de eerste hand in de verborgen gevaren van machines, automatisering en gebruikersinterfaces. Op haar eerste trainingsdag kwamen twee piloten om het leven. Op haar laatste dag maakte de marine de ergste trainingsramp mee die ooit aan boord van een vliegdekschip had plaatsgevonden. In totaal stierven tijdens de drie jaar dat Cummings vloog 36 mensen bij ongelukken.

In 2011 kreeg Cummings een openbaring toen hij onderzoek deed naar robothelikopters voor de marine. Zelfs omringd door niets anders dan lucht waren die heli’s verre van perfect – en ze vertrouwden op dezelfde sensoren als zelfrijdende auto’s als ze vlak naast auto’s en mensen opereren. “Toen ik dieper inging op de mogelijkheden van die sensoren,” zegt Cummings, “werd ik wakker en zei: wauw, we hebben een serieus probleem met auto’s.”

Sommige gevaren zijn van technische aard. Mensen raken afgeleid, zelfrijdende systemen raken in de war in ingewikkelde omgevingen, enzovoort. Maar andere gevaren, zegt Cummings, zijn subtieler – ‘sociotechnisch’, zoals zij het noemt. Wat zij de ‘hypermasculine cultuur in Silicon Valley’ noemt, is verweven met de missie van Big Tech om ‘snel te handelen en dingen kapot te maken’. Zowel de bro-cultuur als een disruptieve mentaliteit stimuleren, zoals zij het ziet, bedrijven om veiligheidsrisico's te verdoezelen.

Dit alles maakt het nog moeilijker voor vrouwen als ze het soort kritiek uiten dat Cummings heeft. “Toen Elon Musk zijn handlangers op mij afstuurde, werd de vrouwenhaat over mij als vrouw, mijn naam – heel snel heel donker”, herinnert ze zich. "Ik denk de militair heeft veel vooruitgang geboekt, maar ik denk wel dat wat er gebeurt in deze bedrijven in Silicon Valley slechts een herinnering is dat we in onze samenleving nog niet zo ver zijn gekomen als ik dacht dat we zouden zijn.

Een voorbeeld: Vorige maand promootte het hoofd veiligheid bij Waymo een nieuw onderzoek van zijn bedrijf op LinkedIn. Het onderzoek was niet gepubliceerd en had geen peer review ondergaan. Maar Waymo maakte gebruik van het onderzoek betogen dat De robotauto's hadden feitelijk veel minder kans om te crashen dan auto's die werden bestuurd door biologische organismen zoals jij en ik.

Een zelfrijdende taxi van Waymo blokkeert het verkeer in San Francisco. “Ze werden zelfgenoegzaam”, zegt Cummings. “Ze verloren hun veiligheidscultuur.” Terry Chea/AP

Cummings had er geen zin in. Ze had haar nieuwe resultaten – ook nog in voordruk – waaruit bleek dat zelfrijdende taxi’s veel meer kans op ongelukken hebben. Dus ging ze ook op LinkedIn en zei dat.

Het antwoord was haar bekend uit haar dagen bij de marine. Kyle Vogt, de CEO van Cruise, gleed naar de reacties. 'Ik zou je graag helpen met deze analyse,' schreef hij aan Cummings, waarbij hij haar rekenwerk in twijfel trok. “Het zou geweldig zijn om dit verder te bespreken en te bespreken.”

Cummings reageerde in natura. "Ik help je graag met je begrip van basisstatistieken, het gebruik van computervisie en wat het betekent om een veilige en verantwoordelijke CEO van een bedrijf te zijn," zij schreef. “Bel altijd.”

Vrouwen, denkt ze, ving haar sfeer op. "Elke vrouw die dat las, zei: mmm-hmm, ga maar", zegt Cummings. Maar mannen – vrienden in Silicon Valley – deden dat niet. Ze vonden dat ze te gemeen tegen Vogt was geweest. ‘Hij probeerde je alleen maar te helpen,’ zeiden ze tegen haar.

"Alle jongens lezen het als: ze is zo'n feeks!" zegt Cummings. Maar als gevechtspiloot was ze onaangedaan. "Zo kwam ik aan mijn roepnaam", zegt ze. “Dus ik leef ermee.”

Dus wie heeft gelijk: Cummings, of de zelfgestuurde mannen van Waymo en Cruise en Tesla? Het is moeilijk te zeggen, om een simpele reden: de gegevens over de veiligheid van robotauto's zijn waardeloos.

Neem de aanpak van Cummings in haar nieuwe artikel. Eerst moest ze ermee worstelen NHTSA's landelijke gegevens over niet-fatale ongevallen door menselijke bestuurders, om cijfers te krijgen die ze kon vergelijken met Californië, de enige plek waar robotauto's vrij rondrijden. Vervolgens moest ze vergelijkbare niet-fatale crashcijfers en afgelegde kilometers voor Waymo en Cruise berekenen, bijgehouden door uiteenlopende bronnen. Haar conclusie: Cruise heeft acht niet-fatale ongelukken voor ieder mens, en Waymo heeft er vier – vergelijkbaar met de ongevalspercentages van vermoeide en overwerkte chauffeurs bij taxidiensten zoals Uber en Lyft.

De leveranciers van robottaxi's beweren dat Cummings om een aantal redenen ongelijk heeft. Ze zeggen vooral dat de aantallen menselijke ongevallen feitelijk onder de cijfers liggen. (Veel spatbordbuigers worden bijvoorbeeld niet gerapporteerd.) Bovendien kunnen de crashcijfers voor het hele land, of zelfs alleen voor Californië, niet worden vergeleken met die voor San Francisco, dat veel dichter en heuvelachtiger is dan de staat als geheel. . Op die manier bekeken, betoogde Cruise in een recente blogpost, zijn taxi's betrokken bij 54% minder ongevallen dan auto's die door mensen worden bestuurd. Het bedrijf beweert ook dat hagelchauffeurs één niet-dodelijke crash krijgen op elke 85,027 kilometer rijden – 74% meer botsingen dan de robots van Cruise.

Cummings gelooft het niet. Een blogpost is geen wetenschap; het is een persbericht. “Elk bedrijf heeft er fiscaal belang bij om een paper uit te brengen waardoor ze er goed uitzien, en in het geval van Cruise zorgt het ervoor dat chauffeurs van deelritten er slecht uitzien”, zegt ze. “Dus dat zijn ze aan het doen.” Dit is precies het soort sociotechnische cultuur dat Cummings bekritiseert – en dat zij bij uitstek geschikt is om kritiek te leveren.

Andere experts wijzen de beweringen van Cruise ook af, omdat ze afkomstig zijn van mensen die gestimuleerd worden om onze nieuwe robot-opperheren te verwelkomen. “Als we de cijfers zouden geloven die Cruise naar voren brengt over chauffeurs die een ritje maken, zouden deze chauffeurs gemiddeld twee ongelukken per jaar hebben”, zegt Steven Shladover, onderzoeksingenieur aan het Institute of Transportation Studies van UC Berkeley. “Hoeveel chauffeurs hebben elk jaar twee ongelukken? Dat is behoorlijk extreem.”

Maar Shladover is ook sceptisch over de cijfers van Cummings. "Missy gaat uit van een ongevalsrisico van menselijke bestuurders dat te laag is voor San Francisco, en Cruise laat een ongevalsrisico van menselijke bestuurders zien dat te hoog is", zegt hij. “De realiteit ligt waarschijnlijk ergens tussenin.”

Dus misschien heeft Cummings gelijk en zijn zelfrijdende auto's een bedreiging. Of misschien is het niet zo erg als haar nieuwe artikel suggereert. Totdat robotauto's honderden miljoenen kilometers hebben afgelegd, is er geen manier om tot een statistisch significante, ondubbelzinnige conclusie te komen. Maar het komt erop neer: het zou er niet toe moeten doen. Wanneer de gegevens over de veiligheid van een product of apparaat twijfelachtig zijn, worden regelgevende instanties geacht regels te maken en af te dwingen die consumenten beschermen, net zoals ze dat in andere sectoren doen. Als de gegevens over robotauto’s dubbelzinnig of onvolledig zijn, dan moeten die regels hen van de weg houden. De bewijslast ligt bij Waymo en Cruise en Tesla, niet bij Missy Cummings. En als die bedrijven robots van 2 ton op straat willen zetten, is bloggen over databenchmarks niet de manier om mensen te laten zien dat ze er klaar voor zijn.

“Een van de belangrijkste dingen waar ik het nu over heb, voortkomend uit mijn luchtvaartjaren, is dat al deze bedrijven een hoofd AI-piloot nodig hebben”, zegt Cummings. “Ze hebben iemand nodig, één persoon, die opstaat en zegt: 'Ik ben verantwoordelijk.' Dat doen we nu voor de luchtvaart. Daarom rolden er zoveel koppen over de problemen die zich voordeden met de Boeing 737 Max. Ze werden zelfgenoegzaam. Ze zijn hun veiligheidscultuur kwijtgeraakt.”

Cummings is een zorgvuldig onderzoeker. Ze is ook, zoals een transportveiligheidsonderzoeker het privé uitdrukte, ‘provocerend’. Ze is meer dan blij om bedrijven als Tesla, Waymo en Cruise te bestraffen, en om te betogen dat techbros binnen een strenger regelgevingskader moeten worden gebracht. In zekere zin is ze de ergste nachtmerrie van Elon Musk. Ze heeft herhaaldelijk en routinematig haar leven geriskeerd om de ongelooflijke mogelijkheden – en de dodelijke grenzen – van mens-machine-interfaces te testen. En ze deed het in een omgeving waar de inzet veel hoger is dan op de slagvelden van Twitter en LinkedIn. Voor haar is de veiligheid van zelfrijdende auto’s geen abstracte vraag. Het is een kwestie van leven en dood.

“Ik ben een vaste hoogleraar. Mijn werk spreekt voor zich. Ik probeer je leven te redden, toch?" zegt Cummings. 'En er is de kant van mij waar ik net Don Quixote ben op steroïden. Er is geen windmolen waar ik niet naar toe wil kantelen.”

Adam Rogers is senior correspondent bij Insider.

Lees het originele artikel op Business Insider