GitHub Copilot kan være perfekt til at snyde CompSci-programmeringsøvelser

Microsofts AI-kodeforslagsværktøj GitHub Copilot viser sig at være så dygtig, at undervisere måske skal genoverveje, hvordan de underviser i datalogi.

University of Massachusetts Amherst datalogi professor Emery Berger offentliggjorde tidligere på måneden en blogindlæg advarer undervisere om, at "elever bevæbnet med [Copilot] vil bringe Uzis til et knivslagsmål."

Det er hans bekymring CoPilot vil gøre traditionelle programmeringsøvelser – en del af datamatikeruddannelsen, men på ingen måde det hele – meningsløse, fordi Copilot kender alle svarene.

"Så vidt jeg kan se, blev Copilot specifikt trænet i alle introprogrammeringsopgaverne nogensinde," skrev Berger. "Copilot frickin' elsker introprogrammeringsopgaver."

Så vidt jeg kan se, var Copilot specifikt trænet i alle introprogrammeringsopgaver nogensinde

For studerende, der bruger Copilot, skrev han, kan undervisere lige så godt beskrive deres kursusmål som "at trykke på Tab-tasten", med henvisning til nøglekommandoen til at generere kode fra en beskrivelse af det ønskede output.

"Programmering spiller en rolle i mange datalogiske klasser, og især i introduktionstimer i datalogi," forklarede Berger i et telefoninterview med Registret. Dette involverer ofte øvelser til at sortere en liste med tal på en bestemt måde eller finde det n'te element i en Fibonacci-serie og så videre.

"Copilot vil bare gøre dem," sagde Berger. "Det er ikke kun, at det gør dem, og det gør dem godt. Det er også, at det gør dem ved at bruge de værktøjer, du gerne vil have og forventer, at dine elever rent faktisk bruger til at skrive deres kode. Hvis de begynder at skrive kode, og Copilot er installeret, det vil udfylde løsningen."

Berger sagde, at Copilot er anderledes end at søge efter svar på Stack Overflow og andre internetprogrammeringsressourcer.

"Du kan allerede finde eksempler på kode online," sagde han. "Men du ved, instruktøren kan også Google for dem og derefter sammenligne den kode med den kode, der er indsendt med en plagiatdetektor."

Copilot er anderledes, sagde han, "det genererer faktisk nye løsninger. Ikke som om de er superskøre, sofistikerede, geniale løsninger. Men det laver nye løsninger, der er overfladisk nok anderledes til, at de sandsynligt kunne være kommet fra en studerende."

Det genererer faktisk nye løsninger ... der er overfladisk nok anderledes til, at de sandsynligt kunne være kommet fra en studerende

Som et resultat, hævder Berger, skal pædagogik relateret til programmering tilpasse sig. En tilgang, som han latterliggør i sit indlæg, er "at tilstoppe vores ører med fingrene og en slags råbe, mens vi lader som om [Copilot] ikke eksisterer, hvilket er mere eller mindre det samme som at lade som om, at plagiat ikke eksisterer, og lader som om internettet ikke eksisterer."

"Men hvis du bekymrer dig om integriteten af ​​processen ... er dette bare en snydemaskine," sagde han. "Som nogen giver dig en spec for en opgave, skriver du bare denne tilbage i kommentarerne og trykker Tab, ikke?"

"Så jeg synes ikke, det er rimeligt eller ansvarligt at tro, at alle vil afholde sig fra at bruge denne fantastiske snydemaskine, der er installeret på deres bærbare computere... Jeg tror, ​​at fristelsen er for stor. Og helt ærligt, det er, hvad softwareudvikling sandsynligvis er. kommer til at se ud meget, meget snart."

Berger erkender, at Copilot er nyttig og siger, at det giver mening, at udviklere gerne vil bruge softwaren.

"Vi skal bare virkelig gentænke tingene helt," sagde Berger. "Selvfølgelig kan vi ud fra et evalueringssynspunkt bare kræve, at folk gør ting i miljøer, hvor de ikke kan bruge Copilot. Ligesom folkeskolebørn ikke kommer til at bruge lommeregnere, når de laver grundlæggende regnestykker. Så vi kan have papir og blyant. eksamener."

Han sagde, at han har en kollega i Illinois, som beskriver at bruge computere, der er blevet låst ned til programmeringstest, så eleverne tager deres eksamener i kontrollerede omgivelser. Denne slags foranstaltninger og ting som mundtlige eksamener, foreslog han, kunne hjælpe med at løse nogle af de negative aspekter ved tilgængeligheden af ​​Copilot.

Berger observerede også, at Copilot har positive aspekter, såsom evnen til at udfylde boilerplate og implementere API'er.

"Jeg tror ikke, at det at huske detaljerne i utallige API'er er virkelig interessant intellektuelt," sagde han. 'Det er ikke den slags ting, vi egentlig skal undervise eller fokusere på. Kender du den nøjagtige syntaks for at skabe en DataFrame med disse egenskaber? Jeg er ligeglad. Hvis du skal slå det op på Google eller på Stack Overflow, eller du bare trykker på Tab, og det gør det bare for dig, lyder det fint for mig."

Ikke desto mindre hævder han, at det er vigtigt for undervisere at sikre sig, at eleverne rent faktisk lærer materialet, hvilket kan betyde, at man genovervejer, hvor meget lektier, der kan løses med Copilot, skal tælle, når man beregner en samlet karakter.

Berger sagde, at det nok er for tidligt at sige, at Copilot har haft en effekt på studerende, fordi softwaren kun har været offentlig tilgængelig i et par måneder. Men han hævder, at det ikke vil vare længe, ​​før dets virkning begynder at vise sig.

"Jeg vil gerne være optimistisk omkring dette," sagde Berger. "Men jeg tror som minimum, at vi bare skal være betænksomme over det. Jeg tror bare ikke, at der er mange pædagoger derude, som er klar over, hvor stor en revolution det her er." ®