Trekk Generativ AI utgjør interessante utfordringer for akademiske utgivere som takler svindel i vitenskapelige artikler, ettersom teknologien viser potensialet til å lure menneskelig fagfellevurdering.
Beskriv et bilde for DALL-E, Stable Diffusion og Midjourney, og de vil generere ett i løpet av sekunder. Disse tekst-til-bilde-systemene har raskt forbedret seg i løpet av de siste årene, og det som opprinnelig begynte som en forskningsprototype, og produserte godartet og fantastisk bisarre illustrasjoner av baby-daikon-reddiker som går med hunder i 2021, har siden forvandlet seg til kommersiell programvare, bygget av milliardbedrifter, i stand til å generere stadig mer realistiske bilder.
Disse AI-modellene kan produsere naturtro bilder av menneskelige ansikter, objekter og scener, og det ser ut som et tidsspørsmål før de blir gode til å lage overbevisende vitenskapelige bilder og data også. Tekst-til-bilde-modeller er nå allment tilgjengelige, ganske billige å bruke, og de kan hjelpe tvilsomme forskere til å skape resultater og publisere falsk forskning lettere.
Bildemanipulasjon er allerede en stor bekymring for akademiske utgivere som det er mest vanlig form av vitenskapelig uredelighet i det siste. Forfattere kan bruke alle slags triks, for eksempel å snu, rotere eller beskjære deler av det samme bildet for å forfalske data. Redaktører blir lurt til å tro at alle resultatene som presenteres er ekte og vil publisere arbeidet sitt.
Mange utgivere henvender seg nå til AI-programvare i et forsøk på å oppdage tegn på bildeduplisering under gjennomgangsprosessen. I de fleste tilfeller er bilder feilaktig duplisert av forskere som har rotet sammen dataene sine, men noen ganger brukes de til åpenbar svindel.
Men akkurat som utgivere begynner å få grep om bildeduplisering, dukker det opp en annen trussel. Noen forskere kan bli fristet til å bruke generative AI-modeller for å lage falske data. Faktisk er det bevis som tyder på at falske forskere gjør dette allerede.
AI-lagde bilder oppdaget i papirer?
I 2019 lanserte DARPA sin Semantic Forensics (SemaFor)-programmet, finansierer forskere som utvikler rettsmedisinske verktøy som er i stand til å oppdage AI-lagde medier, for å bekjempe desinformasjon.
En talsperson for Uncle Sams forsvarsforskningsbyrå bekreftet at de har sett falske medisinske bilder publisert i ekte vitenskapelige artikler som ser ut til å være generert ved hjelp av AI. Før tekst-til-bilde-modeller var generative motstridende nettverk populære. DARPA innså at disse modellene, best kjent for deres evne til å lage dype forfalskninger, også kunne forfalske bilder av medisinske skanninger, celler eller andre typer bilder som ofte finnes i biomedisinske studier.
"Trussellandskapet beveger seg ganske raskt," fortalte William Corvey, SemaFors programleder Registeret. "Teknologien blir allestedsnærværende for godartede formål." Corvey sa at byrået har hatt en viss suksess med å utvikle programvare som er i stand til å oppdage GAN-lagde bilder, og verktøyene er fortsatt under utvikling.
Trussellandskapet beveger seg ganske raskt
"Vi har resultater som tyder på at du kan oppdage "søsken eller fjerne søskenbarn" av den generative mekanismen du har lært å oppdage tidligere, uavhengig av innholdet i de genererte bildene. SemaFor-analyse ser på en rekke attribusjoner og detaljer knyttet til manipulerte medier , alt fra metadata, statistiske anomalier, til mer visuelle representasjoner," sa han.
Noen bildeanalytikere som gransker data i vitenskapelige artikler, har også kommet over noe som ser ut som GAN-genererte bilder. En GAN er et generativt motstandernettverk, en type maskinlæringssystem som kan generere skrift, musikk, bilder og mer.
For eksempel kom Jennifer Byrne, en professor i molekylær onkologi ved University of Sydney, og Jana Christopher, en bildeintegritetsanalytiker for tidsskriftutgiveren EMBO Press, over et merkelig sett med bilder som dukket opp i 17 biokjemi-relaterte studier.
Bildene avbildet en serie band ofte kjent som vestlige blotter, som indikerer tilstedeværelsen av spesifikke proteiner i en prøve, som alle merkelig nok så ut til å ha samme bakgrunn. Det skal ikke skje.
Eksempler på gjentatte bakgrunner i western blot-bilder, fremhevet av de røde og grønne omrissene ... Kilde: Byrne, Christopher 2020
I 2020 kom Byrne og Christopher til den konklusjonen at de mistenkelige bildene sannsynligvis ble produsert som en del av en papirfabrikkoperasjon: et forsøk på å masseprodusere artikler om biokjemiske studier ved å bruke falske data, og få dem fagfellevurdert og publisert. En slik kaper kan for eksempel trekkes ut til fordel for akademikere som blir kompensert basert på deres aksepterte papirproduksjon, eller for å hjelpe et institutt med å oppnå en kvote av publiserte rapporter.
"Klettene i eksemplet vist i vårt papir er mest sannsynlig datagenerert," fortalte Christopher Registeret.
Jeg kommer ofte over falske bilder, hovedsakelig western blots, men i økende grad også mikroskopibilder
"I screeningpapirer både før og etter publisering kommer jeg ofte over bilder som ser falske ut, hovedsakelig western blots, men i økende grad også mikroskopibilder. Jeg er veldig klar over at mange av disse mest sannsynlig er generert ved hjelp av GAN-er."
Elisabeth Bik, en frilansbildeekspert, kan ofte se når bilder har blitt manipulert også. Hun ser på vitenskapelige papirmanuskripter, jakter på dupliserte bilder, og flagger disse problemene for tidsskriftsredaktører å undersøke videre. Men det er vanskeligere å bekjempe falske bilder når de har blitt generert av en algoritme.
Hun påpekte at selv om den gjentatte bakgrunnen i bilder fremhevet i Byrne og Christophers studie er et avslørende tegn på forfalskning, er de faktiske western blottene i seg selv unike. Datasynsprogramvaren Bik bruker for å skanne papirer og oppdage bildesvindel ville finne det vanskelig å flagge disse båndene fordi det ikke er noen dupliseringer av de faktiske blottene.
"Vi vil aldri finne en overlapping. De er alle, tror jeg, kunstig laget. Hvordan nøyaktig, jeg er ikke sikker," sa hun Registeret.
Det er lettere å generere falske bilder med de nyeste generative AI-modellene
GAN-er har i stor grad blitt fortrengt av diffusjonsmodeller. Disse systemene genererer unike bilder og driver dagens tekst-til-bilde-programvare inkludert DALL-E, Stable Diffusion og Midjourney. De lærer å kartlegge den visuelle representasjonen av objekter og konsepter til naturlig språk, og kan redusere barrieren for akademisk juks betydelig.
Forskere kan bare beskrive hvilken type falsk data de vil ha generert, og disse verktøyene vil gjøre det for dem. For øyeblikket kan de imidlertid ikke helt lage realistisk utseende vitenskapelige bilder ennå. Noen ganger produserer verktøyene klynger av celler som ser overbevisende ut ved første øyekast, men som mislykkes når det kommer til western blots.
Dette er den typen ting disse AI-programmene kan generere:
Her er hva @OpenAI's DALL-E gjør med biologiske cellemeldinger
Nærmere bestemt: "celler under et mikroskop" og "T-celler under et skanningselektronmikroskop" pic.twitter.com/BgcZr3k5Q5
— Tara Basu Trivedi (@tbt94) August 23, 2022
William Gibson – en lege-vitenskapsmann og medisinsk onkologistipendiat, ikke den berømte forfatteren – har flere eksempler her., inkludert hvordan dagens modeller sliter med konseptet om en western blot.
Teknologien blir imidlertid bare bedre, ettersom utviklere trener større modeller på mer data.
David Bimler, en annen ekspert på å gjenkjenne bildemanipulasjon i vitenskapelige artikler, bedre kjent som Smut Clyde, fortalte oss: "Papermillers vil illustrere produktene sine ved å bruke den metoden som er billigst og raskest, og stole på svakheter i fagfellevurderingsprosessen."
"De kunne ganske enkelt kopiere [western blots] fra eldre papirer, men til og med det innebærer arbeid med å søke gjennom gamle papirer. For øyeblikket mistenker jeg at det fortsatt er en viss innsats å bruke en GAN. Selv om det vil endre seg," la han til.
DARPA ønsker nå å utvide SemaFor-programmet for å studere tekst-til-bilde-systemer. "Denne typen modeller er ganske nye, og selv om de er i omfang, er de ikke en del av vårt nåværende arbeid med SemaFor," sa Corvey.
"Men, SemaFor-evaluatorer vil sannsynligvis se på disse modellene i løpet av neste evalueringsfase av programmet fra høsten 2023."
I mellomtiden vil kvaliteten på vitenskapelig forskning forringes hvis akademiske utgivere ikke kan finne måter å oppdage falske AI-genererte bilder i aviser. I beste fall vil denne formen for akademisk svindel være begrenset til bare papirfabrikkordninger som uansett ikke får mye oppmerksomhet. I verste fall vil det påvirke selv de mest anerkjente tidsskriftene, og forskere med gode intensjoner vil kaste bort tid og penger på å jakte på falske ideer de mener er sanne. ®
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
- kilde: https://go.theregister.com/feed/www.theregister.com/2023/03/11/ai_scientfic_fraud/
- :er
- $OPP
- 2019
- 2020
- 2021
- 2023
- a
- evne
- akademisk
- tilgjengelig
- tvers
- la til
- motstandere
- byrå
- AI
- algoritme
- Alle
- allerede
- Selv
- analytiker
- analytikere
- analytics
- og
- En annen
- vises
- dukket opp
- ER
- AS
- assosiert
- At
- oppmerksomhet
- forfatter
- forfattere
- Baby
- bakgrunn
- bakgrunner
- barriere
- basert
- BE
- fordi
- bli
- før du
- begynte
- begynne
- Begynnelsen
- være
- tro
- tro
- nytte
- BEST
- Bedre
- biomedisinsk
- bygget
- by
- CAN
- stand
- saker
- Celler
- utfordringer
- endring
- billig
- billigste
- juks
- Christopher
- CO
- bekjempe
- Kom
- kommersiell
- vanligvis
- Selskaper
- kompensert
- datamaskin
- Datamaskin syn
- datagenerert
- konsept
- konsepter
- Bekymring
- konklusjon
- BEKREFTET
- innhold
- kunne
- skape
- Opprette
- Gjeldende
- dall sin
- darpa
- dato
- deepfakes
- Forsvar
- Avdeling
- beskrive
- detaljer
- utviklere
- utvikle
- Utvikling
- kringkasting
- desinformasjon
- fortrenges
- Fjern
- hunder
- gjør
- under
- enklere
- lett
- innsats
- Emery
- Eter (ETH)
- evaluering
- Selv
- alt
- bevis
- nøyaktig
- eksempel
- eksempler
- Expand
- Expert
- ansikter
- FAIL
- ganske
- forfalskning
- Fall
- berømt
- raskeste
- kar
- Noen få
- Figur
- Finn
- Først
- flagg
- Til
- Rettsmedisinsk
- etterforskning
- smi
- skjema
- funnet
- svindel
- freelance
- fra
- finansiering
- videre
- Gans
- generere
- generert
- genererer
- generative
- generative adversarielle nettverk
- Generativ AI
- genom
- få
- få
- blikk
- skal
- god
- Grønn
- skje
- Hard
- Ha
- hjelpe
- Fremhevet
- hit
- Hvordan
- Men
- HTTPS
- menneskelig
- Jakt
- i
- Ideer
- bilde
- bilder
- Påvirkning
- forbedret
- in
- Inkludert
- stadig
- indikerer
- i utgangspunktet
- f.eks
- integritet
- intensjoner
- interessant
- uansett
- saker
- IT
- DET ER
- Jennifer
- journal
- jpg
- kjent
- Etiketten
- landskap
- Språk
- i stor grad
- større
- Late
- siste
- lansert
- LÆRE
- lært
- i likhet med
- Sannsynlig
- Begrenset
- Se
- ser ut som
- ser
- laget
- leder
- manipulert
- Manipulasjon
- mange
- kart
- Mass
- Saken
- mekanisme
- Media
- medisinsk
- metadata
- metode
- mikros~~POS=TRUNC
- MidJourney
- kunne
- modeller
- molekyl~~POS=TRUNC
- øyeblikk
- penger
- mer
- mest
- flytting
- musikk
- Naturlig
- Naturlig språk
- nettverk
- nettverk
- Ny
- neste
- NIH
- gjenstander
- of
- Gammel
- on
- onkologi
- ONE
- drift
- Annen
- skisserer
- produksjon
- Papir
- papirer
- del
- deler
- Past
- likemann
- fase
- Bilder
- plato
- Platon Data Intelligence
- PlatonData
- Populær
- positurer
- potensiell
- makt
- hovedsakelig
- tilstedeværelse
- presentert
- trykk
- pen
- tidligere
- sannsynligvis
- prosess
- produsere
- produsert
- Produkter
- Professor
- program
- programmer
- Proteiner
- prototype
- publisere
- publisert
- utgiver
- utgivere
- formål
- kvalitet
- raskt
- RE
- ekte
- realistisk
- realisert
- motta
- Rød
- registrere
- gjentatt
- Rapporter
- representasjon
- hederlig
- forskning
- forskere
- Resultater
- anmeldelse
- anmeldt
- s
- Sa
- Sam
- samme
- skanne
- skanning
- scenario
- Scener
- ordninger
- Vitenskap
- Vitenskapelig forskning
- forskere
- omfang
- screening
- Søk
- sekunder
- syntes
- semafor
- Serien
- sett
- vist
- Viser
- undertegne
- betydelig
- Skilt
- ganske enkelt
- siden
- Sleuth
- Software
- noen
- kilde
- spesifikk
- talsperson
- Spot
- stabil
- statistisk
- Still
- Struggle
- studier
- Studer
- suksess
- slik
- ment
- mistenkelig
- sydney
- system
- Systemer
- Teknologi
- Det
- De
- deres
- Dem
- seg
- Disse
- ting
- trussel
- Gjennom
- tid
- til
- i dag
- også
- verktøy
- topp
- Tog
- sant
- Turning
- typer
- allestedsnærværende
- etter
- unik
- universitet
- University of Sydney
- us
- bruke
- variasjon
- Ve
- syn
- walking
- Avfall
- måter
- Western
- Hva
- hvilken
- mens
- HVEM
- allment
- vil
- med
- Arbeid
- ville
- skriving
- år
- zephyrnet