GitHub Copilot kan være perfekt for jukse CompSci-programmeringsøvelser

Microsofts AI-kodeforslagsverktøy GitHub Copilot viser seg å være så dyktig at lærere kanskje må tenke nytt om hvordan de underviser i informatikk.

University of Massachusetts Amherst informatikkprofessor Emery Berger publiserte tidligere denne måneden en blogginnlegg advarer lærere om at "studenter bevæpnet med [Copilot] vil bringe Uzis til en knivkamp."

Hans bekymring er det copilot vil gjøre tradisjonelle programmeringsøvelser – en del av opplæringen i informatikk, men på ingen måte alt – meningsløse fordi Copilot vet alle svarene.

"Så vidt jeg kan se, ble Copilot spesifikt trent på alle introprogrammeringsoppgavene noensinne," skrev Berger. "Copilot frickin' elsker introprogrammeringsoppgaver."

Så vidt jeg kan fortelle, ble Copilot spesifikt trent på alle introprogrammeringsoppgavene noensinne

For studenter som bruker Copilot, skrev han, kan lærere like godt beskrive kursmålene sine som "å trykke på Tab-tasten", med henvisning til nøkkelkommandoen for å generere kode fra en beskrivelse av ønsket utgang.

"Programmering spiller en rolle i mange informatikktimer, og spesielt i introduksjonstimer," forklarte Berger i et telefonintervju med Registeret. Dette innebærer ofte øvelser for å sortere en liste med tall på en bestemt måte eller finne det n-te elementet i en Fibonacci-serie, og så videre.

"Copilot vil bare gjøre dem," sa Berger. "Det er ikke bare at det gjør dem, og det gjør dem godt. Det er også at det gjør dem ved å bruke verktøyene du ønsker og forventer at elevene dine faktisk bruker til å skrive koden sin. Hvis de begynner å skrive kode og Copilot er installert, vil den fylle ut løsningen.»

Berger sa at Copilot er forskjellig fra å søke etter svar på Stack Overflow og andre internettprogrammeringsressurser.

"Du kan allerede finne eksempler på kode på nettet," sa han. "Men du vet, instruktøren kan også Google for dem og deretter sammenligne den koden med koden som sendes inn med en plagiatdetektor."

Copilot er annerledes, sa han, "Det genererer faktisk nye løsninger. Ikke som om de er supergale, sofistikerte, geniale løsninger. Men det lager nye løsninger som er overfladisk annerledes nok til at de sannsynligvis kunne ha kommet fra en student.»

Det genererer faktisk nye løsninger … som er overfladisk forskjellige nok til at de sannsynligvis kunne ha kommet fra en student

Som et resultat, hevder Berger, må pedagogikk knyttet til programmering tilpasses. En tilnærming, som han latterliggjør i innlegget sitt, er «å tette ørene med fingrene og på en måte rope mens vi late som om [Copilot] ikke eksisterer, noe som er mer eller mindre det samme som å late som om plagiat ikke eksisterer, og late som om internett ikke eksisterer."

"Men hvis du bryr deg om integriteten til prosessen ... er dette bare en juksemaskin," sa han. "Som noen gir deg en spesifikasjon for en oppgave, skriver du bare inn denne tilbake i kommentarer og trykker på Tab, ikke sant?"

"Så jeg tror ikke det er rimelig eller ansvarlig å tro at alle kommer til å avstå fra å bruke denne fantastiske juksemaskinen som er installert på deres bærbare datamaskiner ... jeg tror at fristelsen er for stor. Og ærlig talt, det er slik programvareutvikling sannsynligvis kommer til å se ut, veldig, veldig snart.»

Berger erkjenner at Copilot er nyttig og sier at det er fornuftig at utviklere ønsker å bruke programvaren.

"Vi trenger bare å virkelig tenke over ting helt," sa Berger. "Sikkert fra et evalueringssynspunkt kan vi åpenbart bare kreve at folk gjør ting i miljøer der de ikke kan bruke Copilot. Akkurat som barneskolebarn ikke får bruke kalkulatorer når de gjør grunnleggende aritmetikk. Så vi kan ha papir- og blyanteksamener.»

Han sa at han har en kollega i Illinois som beskriver bruk av datamaskiner som har blitt låst ned for programmeringstester, slik at studentene tar eksamen i kontrollerte omgivelser. Denne typen tiltak, og ting som muntlige eksamener, foreslo han, kunne bidra til å løse noen av de negative aspektene ved tilgjengeligheten av Copilot.

Berger observerte også at Copilot har positive aspekter, for eksempel evnen til å fylle ut boilerplate og implementere APIer.

"Jeg tror ikke at det å memorere detaljene til utallige API-er er virkelig interessant intellektuelt," sa han. «Det er ikke den typen ting vi egentlig burde undervise eller fokusere på. Vet du den eksakte syntaksen for å lage en DataFrame med disse egenskapene? Jeg bryr meg ikke. Hvis du må slå det opp på Google eller på Stack Overflow, eller du bare trykker på Tab og det bare gjør det for deg, høres det greit ut for meg.»

Ikke desto mindre argumenterer han for at det er viktig for lærere å sørge for at elevene faktisk lærer materialet, noe som kan bety å tenke nytt om hvor mye lekser som kan løses med Copilot bør telle når de beregner en samlet karakter.

Berger sa at det sannsynligvis er for tidlig å si at Copilot har hatt en effekt på studenter, fordi programvaren bare har vært offentlig tilgjengelig i noen måneder. Men han hevder at det ikke vil ta lang tid før virkningen begynner å vise seg.

"Jeg vil gjerne være optimistisk om dette," sa Berger. "Men jeg tror i det minste at vi bare må tenke på det. Jeg tror bare ikke at det er mange lærere der ute som er klar over hvor mye av en revolusjon dette er.» ®