Fonctionnalité L'IA générative pose des défis intéressants aux éditeurs universitaires qui luttent contre la fraude dans les articles scientifiques, car la technologie montre le potentiel de tromper l'examen par les pairs humains.
Describe an image for DALL-E, Stable Diffusion, and Midjourney, and they'll generate one in seconds. These text-to-image systems have rapidly improved over the past few years and what initially began as a research prototype, producing benign and wonderfully bizarre illustrations de baby daikon radis walking dogs en 2021, s'est depuis transformé en logiciel commercial, construit par des entreprises d'un milliard de dollars, capable de générer des images de plus en plus réalistes.
These AI models can produce lifelike pictures of human faces, objects, and scenes, and it's looking like a matter of time before they get good at creating convincing scientific images and data too. Text-to-image models are now widely accessible, pretty cheap to use, and they could help dodgy scientists forge results and publish sham research more easily.
Image manipulation is already a top concern for academic publishers as it's the most Forme commune d'inconduite scientifique ces derniers temps. Les auteurs peuvent utiliser toutes sortes d'astuces, telles que retourner, faire pivoter ou recadrer des parties de la même image pour falsifier les données. Les éditeurs sont dupés en leur faisant croire que tous les résultats présentés sont réels et publieront leur travail.
De nombreux éditeurs se tournent désormais vers les logiciels d'IA pour tenter de détecter signs of image duplication during the review process. In most cases, images have been mistakenly duplicated by scientists who have muddled up their data, but sometimes it's used for blatant fraud.
Mais juste au moment où les éditeurs commencent à maîtriser la duplication d'images, une autre menace émerge. Certains chercheurs pourraient être tentés d'utiliser des modèles d'IA générative pour créer de fausses données. En fait, il existe des preuves suggérant que de faux scientifiques le font déjà.
Des images créées par l'IA repérées dans les journaux ?
En 2019, la DARPA a lancé son Semantic Forensics (SemaPour), finançant des chercheurs développant des outils médico-légaux capables de détecter les médias créés par l'IA, pour lutter contre la désinformation.
A spokesperson for Uncle Sam's defense research agency confirmed it has spotted fake medical images published in real science papers that appear to be generated using AI. Before text-to-image models, generative adversarial networks were popular. DARPA realized these models, best known for their ability to create deepfakes, could also forge images of medical scans, cells, or other types of imagery often found in biomedical studies.
"The threat landscape is moving quite rapidly," William Corvey, SemaFor's program manager, told Le registre. "The technology is becoming ubiquitous for benign purposes." Corvey said the agency has had some success developing software capable of detecting GAN-made images, and the tools are still under development.
Le paysage des menaces évolue assez rapidement
"We have results that suggest you can detect 'siblings or distant cousins' of the generative mechanism you've learned to detect previously, irrespective of the content of the generated images. SemaFor analytics look at a variety of attributions and details associated with manipulated media, everything from metadata, statistical anomalies, to more visual representations," he said.
Certains analystes d'images examinant des données dans des articles scientifiques ont également découvert ce qui ressemble à des images générées par le GAN. Un GAN étant un réseau contradictoire génératif, un type de système d'apprentissage automatique qui peut générer de l'écriture, de la musique, des images, etc.
Par exemple, Jennifer Byrne, professeure d'oncologie moléculaire à l'Université de Sydney, et Jana Christopher, analyste de l'intégrité des images pour l'éditeur de la revue EMBO Press, sont tombées sur un étrange ensemble d'images apparues dans 17 études liées à la biochimie.
Les images représentaient une série de bandes communément appelées taches occidentales, which indicate the presence of specific proteins in a sample, that all curiously seemed to have the same background. That's not supposed to happen.
Examples of repeating backgrounds in western blot images, highlighted by the red and green outlines ... Source: Byrne, Christophe 2020
En 2020, Byrne et Christopher sont arrivés à la conclusion que les images suspectes avaient probablement été produites dans le cadre d'une opération de papeterie : un effort pour produire en masse des articles sur des études biochimiques utilisant des données falsifiées, et les faire examiner et publier par des pairs. Une telle câpre pourrait être réalisée, par exemple, au profit des universitaires qui sont rémunérés en fonction de leur production papier acceptée, ou pour aider un département à atteindre un quota de rapports publiés.
"The blots in the example shown in notre papier are most likely computer-generated," Christopher told Le registre.
Je tombe souvent sur des images fausses, principalement des western blots, mais de plus en plus aussi des images de microscopie
"Screening papers both pre- and post-publication, I often come across fake-looking images, predominantly western blots, but increasingly also microscopy images. I am very aware that many of these are most likely generated using GANs."
Elisabeth Bik, a freelance image sleuth, can often tell when images have been manipulated, too. She pores over scientific paper manuscripts, hunting for duplicated images, and flags these issues for journal editors to examine further. But it's harder to combat fake images when they have been comprehensively generated by an algorithm.
She pointed out that although the repeated background in images highlighted in the Byrne and Christopher's study is a telltale sign of forgery, the actual western blots themselves are unique. The computer vision software Bik uses to scan papers and spot image fraud would find it hard to flag these bands because there are no duplications of the actual blots.
"We'll never find an overlap. They're all, I believe, artificially made. How exactly, I'm not sure," she told Le registre.
It's easier to generate fake images with the latest generative AI models
GANs have largely been displaced by diffusion models. These systems generate unique pictures and power today's text-to-image software including DALL-E, Stable Diffusion, and Midjourney. They learn to map the visual representation of objects and concepts to natural language, and could significantly lower the barrier for academic cheating.
Scientists can just describe what type of false data they want generated, and these tools will do it for them. At the moment, however, they can't quite create realistic-looking scientific images yet. Sometimes the tools produce clusters of cells that look convincing at first glance, but fail miserably when it comes to western blots.
C'est le genre de choses que ces programmes d'IA peuvent générer :
Voici ce que @OpenAI's DALL-E fait avec des invites de cellules biologiques
Plus précisément : "cellules sous un microscope" et "cellules T sous un microscope électronique à balayage" pic.twitter.com/BgcZr3k5Q5
—Tara Basu Trivedi (@tbt94) 23 août 2022
William Gibson - un médecin-chercheur et boursier en oncologie médicale, pas le célèbre auteur - a d'autres exemples ici, including how today's models struggle with the concept of a western blot.
Cependant, la technologie ne fait que s'améliorer, car les développeurs forment des modèles plus grands sur plus de données.
David Bimler, another expert at recognizing image manipulation in science papers, better known as Smut Clyde, told us: "Papermillers will illustrate their products using whatever method is cheapest and fastest, relying on weaknesses in the peer-review process."
"They could simply copy [western blots] from older papers but even that involves work to search through old papers. At the moment, I suspect, using a GAN is still some effort. Though that will change," he added.
DARPA is now looking to expand its SemaFor program to study text-to-image systems. "These kinds of models are fairly new and while in scope, are not part of our current work on SemaFor," Corvey said.
"However, SemaFor evaluators are likely to look at these models during the next evaluation phase of the program beginning Fall 2023."
Meanwhile, the quality of scientific research will erode if academic publishers can't find ways to detect fake AI-generated images in papers. In the best-case scenario, this form of academic fraud will be limited to just paper mill schemes that don't receive much attention anyway. In the worst-case scenario, it will impact even the most reputable journals and scientists with good intentions will waste time and money chasing false ideas they believe to be true. ®
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- Platoblockchain. Intelligence métaverse Web3. Connaissance Amplifiée. Accéder ici.
- La source: https://go.theregister.com/feed/www.theregister.com/2023/03/11/ai_scientfic_fraud/
- :est
- $UP
- 2019
- 2020
- 2021
- 2023
- a
- capacité
- académique
- accessible
- à travers
- ajoutée
- contradictoire
- agence
- AI
- algorithme
- Tous
- déjà
- Bien que
- analyste
- Analystes
- analytique
- ainsi que
- Une autre
- apparaître
- paru
- SONT
- AS
- associé
- At
- précaution
- auteur
- auteurs
- Laines pour bébés
- fond
- milieux
- une barrière
- basé
- BE
- car
- devenir
- before
- a commencé
- commencer
- Début
- va
- CROYONS
- croire
- profiter
- LES MEILLEURS
- Améliorée
- biomédical
- construit
- by
- CAN
- capable
- cas
- Cellules
- globaux
- Change
- pas cher
- moins cher
- tricherie
- Christopher
- CO
- lutter contre la
- comment
- commercial
- communément
- Sociétés
- compensé
- ordinateur
- Vision par ordinateur
- généré par ordinateur
- concept
- concepts
- PROBLÈMES DE PEAU
- conclusion
- CONFIRMÉ
- contenu
- pourriez
- engendrent
- La création
- Courant
- de dall
- darpa
- données
- deepfakes
- Défense
- Département
- décrire
- détails
- mobiles
- développement
- Développement
- La diffusion
- désinformation
- déplacé
- Loin
- Chiens
- faire
- pendant
- plus facilement
- même
- effort
- économies émergentes.
- Ether (ETH)
- évaluation
- Pourtant, la
- peut
- preuve
- exactement
- exemple
- exemples
- Développer vous
- expert
- visages
- FAIL
- équitablement
- faux
- Automne
- célèbre
- le plus rapide
- compagnon
- few
- Figure
- Trouvez
- Prénom
- drapeaux
- Pour
- Légal
- forensics
- forger
- formulaire
- trouvé
- fraude
- freelance
- de
- financement
- plus
- GAN
- générer
- généré
- générateur
- génératif
- réseaux accusatoires génératifs
- IA générative
- génome
- obtenez
- obtention
- Résumé
- aller
- Bien
- Vert
- arriver
- Dur
- Vous avez
- aider
- Surbrillance
- Frappé
- Comment
- Cependant
- HTTPS
- humain
- Chasse
- i
- et idées cadeaux
- image
- satellite
- Impact
- amélioré
- in
- Y compris
- de plus en plus
- indiquer
- possible
- instance
- intégrité
- intentions
- intéressant
- indépendamment
- vous aider à faire face aux problèmes qui vous perturbent
- IT
- SES
- Jennifer
- Journal
- jpg
- connu
- Libellé
- paysage d'été
- langue
- principalement
- plus importantes
- En retard
- Nouveautés
- lancé
- APPRENTISSAGE
- savant
- comme
- Probable
- limité
- Style
- ressembler
- recherchez-
- LES PLANTES
- manager
- manipulé
- Manipulation
- de nombreuses
- Localisation
- Masse
- Matière
- mécanisme
- Médias
- médical
- Métadonnées
- méthode
- Microscopie
- À mi-parcours
- pourrait
- numériques jumeaux (digital twin models)
- moléculaire
- moment
- de l'argent
- PLUS
- (en fait, presque toutes)
- en mouvement
- Musique
- Nature
- Langage naturel
- réseau et
- réseaux
- Nouveauté
- next
- NIH
- objets
- of
- Vieux
- on
- oncologie
- ONE
- opération
- Autre
- grandes lignes
- sortie
- Papier
- papiers
- partie
- les pièces
- passé
- par les pairs
- phase
- PHOTOS
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Populaire
- pose
- défaillances
- power
- principalement
- présence
- présenté
- Press
- assez
- précédemment
- Probablement
- processus
- produire
- Produit
- Produits
- Professeur
- Programme
- Programmes
- Protéines
- prototype
- publier
- publié
- éditeur
- éditeurs
- des fins
- qualité
- rapidement
- RE
- réal
- réaliste
- réalisé
- recevoir
- Rouge
- vous inscrire
- répété
- Rapports
- représentation
- honorable
- un article
- chercheurs
- Résultats
- Avis
- examiné
- s
- Saïd
- Sam
- même
- balayage
- balayage
- scénario
- Scènes
- Schémas
- Sciences
- Recherche scientifique
- scientifiques
- portée
- dépistage
- Rechercher
- secondes
- semblait
- sémaphore
- Série
- set
- montré
- Spectacles
- signer
- de façon significative
- Signes
- simplement
- depuis
- Sleuth
- Logiciels
- quelques
- Identifier
- groupe de neurones
- porte-parole
- Spot
- stable
- statistique
- Encore
- Lutter
- études
- Étude
- succès
- tel
- supposé
- soupçonneux
- sydney
- combustion propre
- Système
- Technologie
- qui
- La
- leur
- Les
- se
- Ces
- chose
- menace
- Avec
- fiable
- à
- aujourd'hui
- trop
- les outils
- top
- Train
- oui
- Tournant
- types
- omniprésent
- sous
- unique
- université
- Université de Sydney
- us
- utilisé
- variété
- Ve
- vision
- marche
- Déchets
- façons
- Occidental
- Quoi
- qui
- tout en
- WHO
- largement
- sera
- comprenant
- Activités principales
- pourra
- écriture
- années
- zéphyrnet