Feature La IA generativa plantea desafíos interesantes para las editoriales académicas que abordan el fraude en los artículos científicos, ya que la tecnología muestra el potencial para engañar a la revisión por pares humanos.
Describa una imagen para DALL-E, Stable Diffusion y Midjourney, y generarán una en segundos. Estos sistemas de texto a imagen han mejorado rápidamente en los últimos años y lo que inicialmente comenzó como un prototipo de investigación, produciendo benigno y maravillosamente extraño ilustraciones de rábanos daikon bebés paseando perros en 2021, se transformó desde entonces en un software comercial, creado por empresas multimillonarias, capaz de generar imágenes cada vez más realistas.
Estos modelos de IA pueden producir imágenes realistas de rostros humanos, objetos y escenas, y parece cuestión de tiempo antes de que también sean buenos para crear imágenes y datos científicos convincentes. Los modelos de texto a imagen ahora son ampliamente accesibles, bastante baratos de usar y podrían ayudar a los científicos dudosos a forjar resultados y publicar investigaciones falsas más fácilmente.
La manipulación de imágenes ya es una de las principales preocupaciones de los editores académicos, ya que es la más forma común de la mala conducta científica de los últimos tiempos. Los autores pueden usar todo tipo de trucos, como voltear, rotar o recortar partes de la misma imagen para falsificar datos. Se engaña a los editores haciéndoles creer que todos los resultados presentados son reales y que publicarán su trabajo.
Muchos editores ahora están recurriendo al software de IA en un intento de detectar signos de duplicación de imágenes durante el proceso de revisión. En la mayoría de los casos, las imágenes han sido duplicadas por error por científicos que han confundido sus datos, pero a veces se utilizan para fraudes flagrantes.
Pero justo cuando los editores comienzan a controlar la duplicación de imágenes, surge otra amenaza. Algunos investigadores pueden verse tentados a utilizar modelos generativos de IA para crear datos falsos. De hecho, hay evidencia que sugiere que los falsos científicos ya están haciendo esto.
¿Imágenes creadas por IA vistas en los periódicos?
En 2019, DARPA lanzó su análisis forense semántico (SemaPara), que financia a investigadores que desarrollan herramientas forenses capaces de detectar medios creados por IA para combatir la desinformación.
Un portavoz de la agencia de investigación de defensa del Tío Sam confirmó que detectó imágenes médicas falsas publicadas en artículos científicos reales que parecen generarse con IA. Antes de los modelos de texto a imagen, las redes antagónicas generativas eran populares. DARPA se dio cuenta de que estos modelos, mejor conocidos por su capacidad para crear falsificaciones profundas, también podrían falsificar imágenes de escaneos médicos, células u otros tipos de imágenes que se encuentran a menudo en estudios biomédicos.
“El panorama de amenazas se está moviendo bastante rápido”, dijo William Corvey, gerente de programas de SemaFor. El registro. “La tecnología se está volviendo omnipresente con fines benignos”. Corvey dijo que la agencia ha tenido cierto éxito en el desarrollo de software capaz de detectar imágenes creadas por GAN y que las herramientas aún están en desarrollo.
El panorama de amenazas se está moviendo bastante rápido
“Tenemos resultados que sugieren que puedes detectar 'hermanos o primos lejanos' del mecanismo generativo que has aprendido a detectar previamente, independientemente del contenido de las imágenes generadas. Los análisis de SemaFor analizan una variedad de atribuciones y detalles asociados con los medios manipulados, desde metadatos, anomalías estadísticas hasta representaciones más visuales”, dijo.
Algunos analistas de imágenes que examinan datos en artículos científicos también se han encontrado con lo que parecen imágenes generadas por GAN. Una GAN es una red antagónica generativa, un tipo de sistema de aprendizaje automático que puede generar escritura, música, imágenes y más.
Por ejemplo, Jennifer Byrne, profesora de oncología molecular en la Universidad de Sydney, y Jana Christopher, analista de integridad de imágenes para la revista EMBO Press, se encontraron con un extraño conjunto de imágenes que aparecían en 17 estudios relacionados con la bioquímica.
Las imágenes mostraban una serie de bandas comúnmente conocidas como manchas occidentales, que indican la presencia de proteínas específicas en una muestra, que curiosamente todas parecían tener el mismo fondo. Eso no se supone que suceda.
Ejemplos de fondos repetidos en imágenes de western blot, resaltados por los contornos rojo y verde... Fuente: Byrne, Cristóbal 2020
En 2020, Byrne y Christopher llegaron a la conclusión de que las imágenes de aspecto sospechoso probablemente se produjeron como parte de una operación de una fábrica de papel: un esfuerzo por producir artículos en masa sobre estudios bioquímicos utilizando datos falsos, y hacer que los revisen y publiquen. Tal travesura podría llevarse a cabo, por ejemplo, para beneficiar a los académicos que reciben una compensación en función de su producción en papel aceptada, o para ayudar a un departamento a alcanzar una cuota de informes publicados.
“Las manchas en el ejemplo que se muestra en nuestro documento lo más probable es que sean generados por computadora”, dijo Christopher. El registro.
A menudo me encuentro con imágenes de aspecto falso, predominantemente manchas occidentales, pero cada vez más también con imágenes de microscopía.
“Al revisar los documentos antes y después de la publicación, a menudo me encuentro con imágenes de aspecto falso, predominantemente manchas occidentales, pero cada vez más también con imágenes de microscopía. Soy muy consciente de que muchos de estos probablemente se generan utilizando GAN".
Elisabeth Bik, una detective de imágenes independiente, a menudo también puede saber cuándo se han manipulado las imágenes. Estudia detenidamente los manuscritos de artículos científicos, busca imágenes duplicadas y señala estos problemas para que los editores de revistas los examinen más a fondo. Pero es más difícil combatir las imágenes falsas cuando han sido generadas de manera integral por un algoritmo.
Ella señaló que aunque el fondo repetido en las imágenes destacadas en el estudio de Byrne y Christopher es un signo revelador de falsificación, las manchas occidentales reales en sí mismas son únicas. El software de visión por computadora que Bik usa para escanear documentos y detectar fraudes de imágenes tendría dificultades para marcar estas bandas porque no hay duplicaciones de las manchas reales.
“Nunca encontraremos una superposición. Todos son, creo, hechos artificialmente. Cómo exactamente, no estoy segura”, dijo. El registro.
Es más fácil generar imágenes falsas con los últimos modelos generativos de IA
Las GAN han sido desplazadas en gran medida por los modelos de difusión. Estos sistemas generan imágenes únicas y potencian el software actual de texto a imagen, incluidos DALL-E, Stable Diffusion y Midjourney. Aprenden a mapear la representación visual de objetos y conceptos en lenguaje natural, y podrían reducir significativamente la barrera para las trampas académicas.
Los científicos pueden simplemente describir qué tipo de datos falsos quieren generar, y estas herramientas lo harán por ellos. Por el momento, sin embargo, todavía no pueden crear imágenes científicas que parezcan realistas. A veces, las herramientas producen grupos de celdas que parecen convincentes a primera vista, pero fallan estrepitosamente cuando se trata de transferencias occidentales.
Este es el tipo de cosas que estos programas de IA pueden generar:
Esto es lo que @OpenAI's DALL-E funciona con indicaciones de células biológicas
Específicamente: "células bajo un microscopio" y "células T bajo un microscopio electrónico de barrido" pic.twitter.com/BgcZr3k5Q5
—Tara Basu Trivedi (@tbt94) 23 de agosto de 2022
William Gibson, un médico científico y miembro de oncología médica, no el famoso autor, tiene más ejemplos. esta página, incluyendo cómo los modelos de hoy luchan con el concepto de un western blot.
Sin embargo, la tecnología solo está mejorando, ya que los desarrolladores entrenan modelos más grandes con más datos.
David Bimler, otro experto en reconocer la manipulación de imágenes en artículos científicos, más conocido como Smut Clyde, nos dijo: “Los fabricantes de papel ilustrarán sus productos usando cualquier método que sea más barato y rápido, confiando en las debilidades del proceso de revisión por pares”.
“Podrían simplemente copiar [transferencias occidentales] de documentos más antiguos, pero incluso eso implica trabajo para buscar en documentos antiguos. Por el momento, sospecho que usar una GAN sigue siendo un esfuerzo. Aunque eso cambiará”, agregó.
DARPA ahora está buscando expandir su programa SemaFor para estudiar sistemas de texto a imagen. “Este tipo de modelos son bastante nuevos y, si bien están dentro del alcance, no forman parte de nuestro trabajo actual en SemaFor”, dijo Corvey.
“Sin embargo, es probable que los evaluadores de SemaFor analicen estos modelos durante la próxima fase de evaluación del programa a partir del otoño de 2023”.
Mientras tanto, la calidad de la investigación científica se erosionará si las editoriales académicas no pueden encontrar formas de detectar imágenes falsas generadas por IA en los artículos. En el mejor de los casos, esta forma de fraude académico se limitará a esquemas de fábricas de papel que de todos modos no reciben mucha atención. En el peor de los casos, afectará incluso a las revistas más reputadas y los científicos con buenas intenciones perderán tiempo y dinero persiguiendo ideas falsas que creen que son ciertas. ®
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2023/03/11/ai_scientfic_fraud/
- :es
- $ UP
- 2019
- 2020
- 2021
- 2023
- a
- capacidad
- académico
- accesible
- a través de
- adicional
- adversario
- AI
- algoritmo
- Todos
- ya haya utilizado
- Aunque
- analista
- Analistas
- Analytics
- y
- Otra
- Aparecer
- Aparecido
- somos
- AS
- asociado
- At
- autor
- Autorzy
- Bebé
- fondo
- antecedentes
- barrera
- basado
- BE
- porque
- cada vez
- antes
- comenzó
- comenzar
- Comienzo
- "Ser"
- CREEMOS
- creer
- es el beneficio
- MEJOR
- mejores
- biomédica
- construido
- by
- PUEDEN
- capaz
- cases
- Células
- retos
- el cambio
- barato
- más barata
- trampa
- Christopher
- CO
- luchar contra la
- cómo
- completo
- comúnmente
- Empresas
- compensado
- computadora
- Visión por computador
- generado por computadora
- concepto
- conceptos
- Protocolo de Tratamiento
- conclusión
- Confirmado
- contenido
- podría
- Para crear
- Creamos
- Current
- de dall
- Darpa
- datos
- deepfakes
- Defensa
- Departamento
- describir
- detalles
- desarrolladores
- el desarrollo
- Desarrollo
- Difusión
- desinformación
- desplazado
- Distante
- Perros
- "Hacer"
- durante
- más fácil
- pasan fácilmente
- esfuerzo
- emergentes
- Éter (ETH)
- evaluación
- Incluso
- todo
- evidencia sólida
- exactamente
- ejemplo
- ejemplos
- Expandir
- experto
- caras
- FALLO
- bastante
- falso
- Otoño
- famoso
- más rápido
- Compañero
- pocos
- Figura
- Encuentre
- Nombre
- banderas
- Entrevistas
- forense
- forjar
- formulario
- encontrado
- fraude
- freelance
- en
- universidad
- promover
- GAN
- generar
- generado
- la generación de
- generativo
- redes adversas generativas
- IA generativa
- genoma,
- obtener
- conseguir
- Mirada
- va
- candidato
- Verde
- suceder
- Difícil
- Tienen
- ayuda
- Destacado
- Golpear
- Cómo
- Sin embargo
- HTTPS
- humana
- Caza
- i
- ideas
- imagen
- imágenes
- Impacto
- mejorado
- in
- Incluye
- cada vez más
- indicar
- posiblemente
- ejemplo
- integridad
- intenciones
- interesante
- desconsiderado
- cuestiones
- IT
- SUS
- Jennifer
- revista
- jpg
- conocido
- Label
- paisaje
- idioma
- principalmente
- mayores
- Tarde
- más reciente
- lanzado
- APRENDE:
- aprendido
- como
- que otros
- Limitada
- Mira
- parece
- mirando
- hecho
- gerente
- manipulado
- Manipulación
- muchos
- mapa
- Misa
- Materia
- mecanismo
- Medios
- servicios
- metadatos
- Método
- Microscopía
- Medio viaje
- podría
- modelos
- molecular
- momento
- dinero
- más,
- MEJOR DE TU
- emocionante
- Música
- Natural
- Lenguaje natural
- del sistema,
- telecomunicaciones
- Nuevo
- Next
- NIH
- objetos
- of
- Viejo
- on
- oncología
- ONE
- Inteligente
- Otro
- contornos
- salida
- Papel
- papeles
- parte
- partes
- pasado
- pares
- fase
- Fotos
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- Popular
- plantea
- posible
- industria
- predominantemente
- presencia
- presentó
- prensa
- bastante
- previamente
- probablemente
- producir
- producido
- Productos
- Profesor
- Programa
- Programas
- Proteínas
- prototipo
- publicar
- publicado
- editor
- editores
- fines
- calidad
- rápidamente
- RE
- real
- realista
- realizado
- recepción
- Rojo
- registrarte
- repetido
- Informes
- representación
- acreditado
- la investigación
- investigadores
- Resultados
- una estrategia SEO para aparecer en las búsquedas de Google.
- revisado
- s
- Said
- Diana
- mismo
- escanear
- exploración
- guión
- Escenas
- esquemas
- Ciencia:
- Investigación científica
- los científicos
- alcance
- proyección
- Buscar
- segundos
- parecía
- semáforo
- Serie
- set
- mostrado
- Shows
- firmar
- significativamente
- Letreros y Pancartas
- simplemente
- desde
- Detective
- Software
- algo
- Fuente
- soluciones y
- portavoz
- Spot
- estable
- estadístico
- Sin embargo
- Luchar
- estudios
- ESTUDIO
- comercial
- tal
- Supuesto
- suspicaz
- Sydney
- te
- Todas las funciones a su disposición
- Tecnología
- esa
- El
- su
- Les
- sí mismos
- Estas
- cosa
- amenaza
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- a
- hoy
- demasiado
- parte superior
- Entrenar
- verdadero
- Turning
- tipos
- ubicuo
- bajo
- único
- universidad
- Universidad de Sydney
- us
- utilizan el
- variedad
- Ve
- visión
- a pie
- Residuos
- formas
- occidental
- ¿
- que
- mientras
- QUIENES
- extensamente
- seguirá
- Actividades:
- se
- la escritura
- años
- zephyrnet