Elon Musks värsta mardröm, Missy Cummings, plågar nu Waymo och kryssar också - Autoblogg

Återutgiven av Platon

anhängare: 0

Missy Cummings flög stridsflygplan för marinen. Nu, som en ledande expert på automation och AI, tar hon sikte på självkörande bilar. Chelsea Jia Feng/Insider

2021 väckte en ingenjör vid namn Missy Cummings vrede Elon Musk på det sociala nätverk som då hette Twitter. En professor vid Duke University, Cummings hade forskat om säkerheten hos självkörande bilar, och resultaten fick henne att utfärda några skarpa varningar om Teslas förarassistansteknik. Bilarna, skrev hon, hade "varierande och ofta osäkra beteenden" det krävde fler tester "innan sådan teknik tillåts fungera utan att människor har direkt kontroll." På grund av sin forskning utsågs Cummings till National Highway Traffic Safety Administration — att hjälpa till med reglering av Roboten bilar.

Tesla fansen reagerade med sin vanliga jämnmodighet och känsla för perspektiv, vilket jag menar att de absolut tappade det. Deras insisterande på att Cummings skulle försöka orättvist reglera deras pojke Elon fick snart Musk själv att gå med i tråden. "objektivt", han Tweeted, "hennes meritlista är extremt partisk mot Tesla." Som svar släppte Musks stans sin fulla raseri på Cummings - hennes arbete, hennes utseende, hennes motiv. De anklagade henne för intressekonflikter, undertecknade framställningar som krävde att hon skulle avlägsnas och mailade dödshot.

Men grejen är att Musks krigsbröder bråkade med fel ingenjör. Som en av marinens första kvinnliga stridspiloter, brukade Cummings flyga F/A-18. (Anropssignal: Shrew.) Hon skrämdes inte av ett par personers kuk-viftande beteende på Twitter med anime-profilbilder. Hon publicerade de värsta hoten på LinkedIn, anställde lite personlig säkerhet och fortsatte att slåss. "Jag tänker, ska du verkligen göra det här?" hon erinrar tänkande. "Jag dubblar. Jaktpiloten i mig kommer ut. Jag älskar en bra kamp."

Hon vann inte precis det där engagemanget. Mycket gnäll från Tesla pressade NHTSA att tvinga Cummings att säga upp sig från allt som rör företaget. Men du vet vad de säger om alla landningar du kan gå ifrån. Cummings tog en ny spelning på George Mason University och breddade sin forskning från Tesla till den större världen av alla självkörande fordon. Med företag som Cruise och Waymo Genom att släppa lös helt robotiserade taxibilar på gatorna i San Francisco och andra städer har framväxten av maskinerna börjat – och Cummings är i frontlinjen av motståndet. I en kontroversiell ny tidning drar hon slutsatsen att de nya robottaxibilarna är fyra till åtta gånger så sannolikt som en människodriven bil att hamna i en krasch. Och det räknas inte hur självkörande fordon orsakar konstiga trafikstockningar, blockerar utryckningsfordon, Och även stannar ovanpå en person som redan hade blivit påkörd av en människodriven bil.

"I tidningen som verkligen gjorde alla Tesla-troll förbannade, säger jag faktiskt att detta inte bara är ett Tesla-problem - att Tesla är den första som upplever problemen", säger Cummings till mig. "I flera år har jag berättat för folk att det här skulle hända, att de här problemen skulle dyka upp vid självkörning. Och det är de verkligen. Om någon i självkörande bil samhället är förvånad, det är på dem.”

Det visar sig att tjänstgöring i marinen är ett mycket bra sätt att träna för inkommande ire från muskoviter. I hennes memoarer från 1999, "Hornets Nest”, minns Cummings hur hon älskade flygande jetplan och säger att spänningen att bli slungad av ett hangarfartyg – eller landa på ett – aldrig blev gammal. Men miljön var långt ifrån välkomnande. Sexuella trakasserier inom marinen var rutin, och manliga kollegor sa upprepade gånger till Cummings att hon inte var kvalificerad att flyga jaktplan bara för att hon var kvinna. När hon och en annan kvinnlig officer dök upp på en golfturnering på basen blev de tillsagda att ta på sig Hooters-uniformer och köra ölvagnarna. Cummings tackade nej.

Flygande taktiska förstörelsemotorer gav Cummings också en förstahandslektion i de dolda farorna med maskiner, automatisering och användargränssnitt. På hennes första träningsdag dödades två piloter. På hennes sista dag upplevde marinen den värsta träningskatastrofen som någonsin ägt rum ombord på en bärare. Sammanlagt, under de tre år som Cummings flög, dog 36 personer i olyckor.

Under 2011, när han utförde forskning om robothelikoptrar för marinen, fick Cummings en uppenbarelse. Även omgivna av inget annat än luft, var dessa helos långt ifrån perfekta - och de förlitade sig på samma sensorer som självkörande bilar gör när de körde bredvid bilar och människor. "När jag kom in på kapaciteten hos dessa sensorer," säger Cummings, "det var då jag vaknade och sa, hej, vi har ett allvarligt problem i bilar."

En del av farorna är tekniska. Människor blir distraherade, självkörande system blir förvirrade i komplicerade miljöer och så vidare. Men andra faror, säger Cummings, är mer subtila - "sociotekniska", som hon uttrycker det. Det hon kallar den "hypermaskulina kulturen i Silicon Valley" sammanflätas med Big Techs uppdrag att "gå snabbt och bryta saker." Både brokultur och ett disruptivt tänkesätt, som hon ser det, uppmuntrar företag att släcka säkerhetsrisker.

Allt detta gör det ännu tuffare för kvinnor när de ger den typ av kritik som Cummings har. "När Elon Musk slängde sina undersåtar på mig, kvinnohatet om mig som kvinna, mitt namn - blev det väldigt mörkt väldigt snabbt", minns hon. "Jag tror att militär har tagit många framsteg, men jag tror att det som händer i dessa Silicon Valley-företag bara är en påminnelse om att vi inte har kommit så långt i vårt samhälle som jag trodde att vi skulle ha gjort.”

Ett exempel: Förra månaden presenterade säkerhetschefen på Waymo en ny studie från sitt företag på LinkedIn. Forskningen var opublicerad och hade inte genomgått peer review. Men Waymo använde studien till argumentera att dess robotbilar var faktiskt mycket mindre benägna att råka ut för krockar än bilar som kördes av biologiska organismer som du och jag.

En självkörande taxi från Waymo blockerar trafiken i San Francisco. "De blev självbelåtna", säger Cummings. "De tappade sin säkerhetskultur." Terry Chea/AP

Cummings hade det inte. Hon hade sina nya resultat - också fortfarande i preprint - som visade att självkörande taxibilar var mycket mer krockbenägna. Så hon gick in på LinkedIn också och sa det.

Svaret var bekant för henne från hennes dagar i marinen. Kyle Vogt, VD för Cruise, gled in i kommentarerna. "Jag skulle älska att hjälpa dig med den här analysen," skrev han till Cummings och ifrågasatte hennes siffror. "Det skulle vara bra att få kontakt och diskutera detta vidare."

Cummings svarade in natura. "Jag skulle gärna hjälpa dig med din förståelse av grundläggande statistik, användning av datorseende och vad det innebär att vara en säker och ansvarsfull VD för ett företag," hon skrev. "Ring när som helst."

Kvinnor, tror hon, fångade hennes stämning. "Varje kvinna som läste det var som: Mmm-hmm, you go," säger Cummings. Men män – vänner i Silicon Valley – gjorde det inte. De tyckte att hon hade varit för elak mot Vogt. "Han försökte bara hjälpa dig," sa de till henne.

"Alla killar läser det som: Hon är en sån tönt!" säger Cummings. Men som stridspilot var hon oberörd. "Det var så jag fick min anropssignal", säger hon. "Så jag lever med det."

Så vem har rätt: Cummings, eller de självgående männen från Waymo och Cruise och Tesla? Det är svårt att säga, av en enkel anledning: Uppgifterna om säkerheten för robotbilar suger.

Ta Cummings tillvägagångssätt i hennes nya tidning. Först fick hon brottas med NHTSA:s rikstäckande data för icke-dödliga krascher av mänskliga förare, för att få siffror som hon kunde jämföra med Kalifornien, den enda plats där robotbilarna går fritt. Sedan var hon tvungen att ta reda på jämförbara olyckor utan dödlig utgång och tillryggalagda mil för Waymo och Cruise, spårade av olika källor. Hennes slutsats: Cruise har åtta icke-dödliga krascher för varje människa, och Waymo har fyra - jämförbara med kraschfrekvensen för de trötta och överarbetade förarna vid ridhageltjänster som Uber och Lyft.

Leverantörerna av robottaxi hävdar att Cummings har fel av en massa anledningar. Främst, säger de, är siffrorna för mänskliga krascher faktiskt underräknade. (Många stänkskärmar, till exempel, rapporteras inte.) Dessutom kan kraschsiffror för hela landet, eller ens bara Kalifornien, inte jämföras med de för San Francisco, som är mycket tätare och kuperadare än delstaten som helhet . Sett på det sättet, hävdade Cruise i ett nyligen blogginlägg, har dess taxibilar varit inblandade i 54 % färre krascher än bilar som körts av människor. Företaget hävdar också att förare råkar ut för en icke dödlig krasch för varje 85,027 74 mils körning - XNUMX % fler kollisioner än Cruises robotar.

Cummings köper det inte. Ett blogginlägg är inte vetenskap; det är ett pressmeddelande. "Varje företag har ett skattemässigt intresse av att få ut ett papper som får dem att se bra ut, och i fallet med Cruise får det samåkningsförare att se dåliga ut", säger hon. "Så det är vad de gör." Det här är precis den sortens sociotekniska kultur som Cummings kritiserar - som hon är unikt kvalificerad att kritisera.

Andra experter diskuterar också Cruises påståenden, som de kommer från folk som är motiverade att välkomna våra nya robotöverherrar. "Om vi skulle tro på siffrorna som Cruise lägger ut där för förare som bjuder på tur, skulle dessa förare ha i genomsnitt två krascher per år", säger Steven Shladover, forskningsingenjör vid UC Berkeleys Institute of Transportation Studies. ”Hur många förare har två krascher varje år? Det är ganska extremt."

Men Shladover är också skeptisk till de siffror som Cummings knäckte. "Missy antar en kraschfrekvens för mänskliga förare som är för låg för San Francisco, och Cruise visar en kraschfrekvens för människor som är för hög", säger han. "Verkligheten är förmodligen någonstans mittemellan."

Så kanske Cummings har rätt, och självkörande bilar är ett hot. Eller så är det kanske inte riktigt så illa som hennes nya tidning antyder. Tills robotbilar har färdats i hundratals miljoner mil, finns det inget sätt att få en statistiskt säkerställd, otvetydig slutsats. Men slutsatsen är: Det borde inte spela någon roll. När informationen om en produkts eller enhets säkerhet är tvetydig, ska tillsynsmyndigheter skapa och tillämpa regler som skyddar konsumenter, precis som de gör i andra branscher. Om uppgifterna om robotbilar är tvetydiga eller ofullständiga, bör dessa regler hålla dem borta från vägen. Bevisbördan ligger på Waymo och Cruise och Tesla, inte Missy Cummings. Och om dessa företag vill sätta 2-tons robotar på offentliga gator, är bloggning om datariktmärken inte sättet att visa folk att de är redo.

"En av de stora sakerna jag pratar om nu, efter mina flygår, är att alla dessa företag behöver en chef för AI-pilot", säger Cummings. "De måste ha någon, en person, som ställer sig upp och säger: "Jag är ansvarig." Det gör vi just nu för flyget. Det var därför så många huvuden rullade med problemen som hände med Boeing 737 Max. De blev självbelåtna. De tappade sin säkerhetskultur.”

Cummings är en noggrann forskare. Hon är också, som en transportsäkerhetsforskare uttryckte det privat, "provocerande". Hon är mer än glad att beskjuta företag som Tesla och Waymo och Cruise, och att argumentera för att tech bros måste föras in i ett striktare regelverk. På sätt och vis är hon Elon Musks värsta mardröm. Hon har upprepade gånger och rutinmässigt riskerat sitt liv för att testa de otroliga egenskaperna – och de dödliga gränserna – hos gränssnitt mellan människa och maskin. Och hon gjorde det i en miljö där insatserna är mycket högre än slagfälten på Twitter och LinkedIn. För henne är säkerheten för självkörande bilar ingen abstrakt fråga. Det är en fråga om liv och död.

"Jag är en fast professor. Mitt arbete talar för sig självt. Jag försöker rädda ditt liv, eller hur?" säger Cummings. "Och det finns den sidan av mig där jag är som Don Quijote på steroider. Det finns ingen väderkvarn jag inte vill luta mot.”

Adam Rogers är senior korrespondent på Insider.

Läs den ursprungliga artikeln på Business Insider