Característica A IA generativa apresenta desafios interessantes para editores acadêmicos que lidam com fraudes em artigos científicos, pois a tecnologia mostra o potencial de enganar a revisão por pares humanos.
Descreva uma imagem para DALL-E, Stable Diffusion e Midjourney, e eles gerarão uma em segundos. Esses sistemas de conversão de texto em imagem melhoraram rapidamente nos últimos anos e o que inicialmente começou como um protótipo de pesquisa, produzindo imagens benignas e maravilhosamente bizarras Ilustrações de rabanetes baby daikon passeando com cachorros em 2021, desde então se transformou em software comercial, construído por empresas de bilhões de dólares, capaz de gerar imagens cada vez mais realistas.
Esses modelos de IA podem produzir imagens realistas de rostos humanos, objetos e cenas, e parece uma questão de tempo até que eles também criem imagens e dados científicos convincentes. Os modelos de texto para imagem agora são amplamente acessíveis, muito baratos de usar e podem ajudar cientistas duvidosos a forjar resultados e publicar pesquisas falsas com mais facilidade.
A manipulação de imagens já é uma das principais preocupações dos editores acadêmicos, pois é o forma comum de má conduta científica ultimamente. Os autores podem usar todos os tipos de truques, como inverter, girar ou recortar partes da mesma imagem para dados falsos. Os editores são levados a acreditar que todos os resultados apresentados são reais e publicarão seu trabalho.
Muitos editores agora estão recorrendo ao software de IA na tentativa de descobrir sinais de duplicação de imagem durante o processo de revisão. Na maioria dos casos, as imagens foram duplicadas por engano por cientistas que confundiram seus dados, mas às vezes são usadas para fraudes flagrantes.
Mas assim que os editores começam a controlar a duplicação de imagens, outra ameaça está surgindo. Alguns pesquisadores podem ficar tentados a usar modelos generativos de IA para criar dados falsos. Na verdade, há evidências que sugerem que falsos cientistas já estão fazendo isso.
Imagens feitas por IA vistas em jornais?
Em 2019, a DARPA lançou seu Semantic Forensics (SemaFor), financiando pesquisadores que desenvolvem ferramentas forenses capazes de detectar mídia feita por IA, para combater a desinformação.
Um porta-voz da agência de pesquisa de defesa do Tio Sam confirmou que detectou imagens médicas falsas publicadas em artigos científicos reais que parecem ser gerados usando IA. Antes dos modelos de texto para imagem, as redes adversárias generativas eram populares. A DARPA percebeu que esses modelos, mais conhecidos por sua capacidade de criar deepfakes, também poderiam forjar imagens de exames médicos, células ou outros tipos de imagens frequentemente encontrados em estudos biomédicos.
“O cenário de ameaças está se movendo muito rapidamente”, disse William Corvey, gerente de programa da SemaFor. O registro. “A tecnologia está se tornando onipresente para propósitos benignos.” Corvey disse que a agência teve algum sucesso desenvolvendo software capaz de detectar imagens feitas por GAN, e as ferramentas ainda estão em desenvolvimento.
O cenário de ameaças está se movendo rapidamente
“Temos resultados que sugerem que você pode detectar 'irmãos ou primos distantes' do mecanismo gerador que você aprendeu a detectar anteriormente, independentemente do conteúdo das imagens geradas. A análise do SemaFor analisa uma variedade de atribuições e detalhes associados à mídia manipulada, desde metadados, anomalias estatísticas até representações mais visuais”, disse ele.
Alguns analistas de imagem examinando dados em artigos científicos também encontraram o que parecem ser imagens geradas por GAN. Uma GAN sendo uma rede adversária generativa, um tipo de sistema de aprendizado de máquina que pode gerar escrita, música, imagens e muito mais.
Por exemplo, Jennifer Byrne, professora de oncologia molecular na Universidade de Sydney, e Jana Christopher, analista de integridade de imagem da editora de jornais EMBO Press, encontraram um estranho conjunto de imagens que apareceram em 17 estudos relacionados à bioquímica.
As fotos mostravam uma série de bandas comumente conhecidas como manchas ocidentais, que indicam a presença de proteínas específicas em uma amostra, que curiosamente parecem ter o mesmo fundo. Isso não deveria acontecer.
Exemplos de fundos repetidos em imagens de western blot, destacados pelos contornos vermelhos e verdes … Fonte: Byrne, Christopher 2020
Em 2020, Byrne e Christopher chegaram à conclusão de que as imagens de aparência suspeita provavelmente foram produzidas como parte de uma operação de fábrica de papel: um esforço para produzir em massa artigos sobre estudos bioquímicos usando dados falsificados e fazer com que fossem revisados e publicados por pares. Tal manobra pode ser feita para, por exemplo, beneficiar acadêmicos que são compensados com base na produção de artigos aceitos ou para ajudar um departamento a atingir uma cota de relatórios publicados.
“As manchas no exemplo mostrado na o nosso papel provavelmente são gerados por computador”, disse Christopher O registro.
Costumo encontrar imagens de aparência falsa, predominantemente western blots, mas cada vez mais também imagens de microscopia
“Na triagem de papéis pré e pós-publicação, muitas vezes me deparo com imagens de aparência falsa, predominantemente western blots, mas cada vez mais também imagens de microscopia. Estou muito ciente de que muitos deles provavelmente são gerados usando GANs.”
Elisabeth Bik, uma detetive freelancer de imagens, também costuma dizer quando as imagens foram manipuladas. Ela se debruça sobre manuscritos de artigos científicos, procurando imagens duplicadas e sinaliza essas questões para os editores de periódicos examinarem mais a fundo. Mas é mais difícil combater imagens falsas quando elas foram geradas de forma abrangente por um algoritmo.
Ela apontou que, embora o fundo repetido nas imagens destacadas no estudo de Byrne e Christopher seja um sinal revelador de falsificação, os próprios western blots são únicos. O software de visão computacional que Bik usa para escanear papéis e identificar fraudes de imagem acharia difícil sinalizar essas bandas porque não há duplicações dos borrões reais.
“Nunca encontraremos uma sobreposição. Eles são todos, creio eu, feitos artificialmente. Como exatamente, não tenho certeza ”, disse ela O registro.
É mais fácil gerar imagens falsas com os mais recentes modelos generativos de IA
As GANs foram amplamente substituídas por modelos de difusão. Esses sistemas geram imagens exclusivas e alimentam os softwares de texto para imagem atuais, incluindo DALL-E, Stable Diffusion e Midjourney. Eles aprendem a mapear a representação visual de objetos e conceitos para a linguagem natural e podem reduzir significativamente a barreira para a cola acadêmica.
Os cientistas podem apenas descrever que tipo de dados falsos desejam gerar, e essas ferramentas farão isso por eles. No momento, no entanto, eles ainda não conseguem criar imagens científicas de aparência realista. Às vezes, as ferramentas produzem aglomerados de células que parecem convincentes à primeira vista, mas falham miseravelmente quando se trata de western blots.
Este é o tipo de coisa que esses programas de IA podem gerar:
Aqui está o que @OpenAI's DALL-E faz com prompts de células biológicas
Especificamente: “células sob um microscópio” e “células T sob um microscópio eletrônico de varredura” pic.twitter.com/BgcZr3k5Q5
-Tara Basu Trivedi (@tbt94) 23 de agosto de 2022
William Gibson – um médico-cientista e companheiro de oncologia médica, não o autor famoso – tem outros exemplos SUA PARTICIPAÇÃO FAZ A DIFERENÇA, incluindo como os modelos de hoje lutam com o conceito de western blot.
A tecnologia só está melhorando, no entanto, à medida que os desenvolvedores treinam modelos maiores com mais dados.
David Bimler, outro especialista em reconhecer a manipulação de imagens em artigos científicos, mais conhecido como Smut Clyde, nos disse: “Os fabricantes de papel irão ilustrar seus produtos usando qualquer método que seja mais barato e rápido, contando com pontos fracos no processo de revisão por pares.”
“Eles poderiam simplesmente copiar [western blots] de papéis mais antigos, mas mesmo isso envolve trabalho para pesquisar em papéis antigos. No momento, suspeito, usar uma GAN ainda exige algum esforço. Embora isso vá mudar”, acrescentou.
A DARPA está agora procurando expandir seu programa SemaFor para estudar sistemas de conversão de texto em imagem. “Esses tipos de modelos são bastante novos e, embora estejam no escopo, não fazem parte de nosso trabalho atual no SemaFor”, disse Corvey.
“No entanto, os avaliadores da SemaFor provavelmente examinarão esses modelos durante a próxima fase de avaliação do programa, a partir do outono de 2023.”
Enquanto isso, a qualidade da pesquisa científica diminuirá se os editores acadêmicos não conseguirem encontrar maneiras de detectar imagens falsas geradas por IA em artigos. Na melhor das hipóteses, essa forma de fraude acadêmica será limitada apenas a esquemas de fábricas de papel que, de qualquer forma, não recebem muita atenção. Na pior das hipóteses, isso afetará até mesmo os periódicos mais conceituados e os cientistas com boas intenções desperdiçarão tempo e dinheiro perseguindo falsas ideias que acreditam ser verdadeiras. ®
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2023/03/11/ai_scientfic_fraud/
- :é
- $UP
- 2019
- 2020
- 2021
- 2023
- a
- habilidade
- acadêmico
- acessível
- em
- adicionado
- adversarial
- agência
- AI
- algoritmo
- Todos os Produtos
- já
- Apesar
- analista
- Analistas
- analítica
- e
- Outro
- aparecer
- apareceu
- SOMOS
- AS
- associado
- At
- por WhatsApp.
- autor
- autores
- Bebê
- fundo
- fundos
- barreira
- baseado
- BE
- Porque
- tornando-se
- antes
- começou
- começar
- Começo
- ser
- Acreditar
- crente
- beneficiar
- MELHOR
- Melhor
- biomédica
- construído
- by
- CAN
- capaz
- casos
- Células
- desafios
- alterar
- barato
- mais barato
- batota
- Christopher
- CO
- combater
- como
- comercial
- geralmente
- Empresas
- compensado
- computador
- Visão de Computador
- gerado por computador
- conceito
- conceitos
- Interesse
- conclusão
- CONFIRMADO
- conteúdo
- poderia
- crio
- Criar
- Atual
- dall's
- darpa
- dados,
- deepfakes
- Defesa
- Departamento
- descreve
- detalhes
- desenvolvedores
- em desenvolvimento
- Desenvolvimento
- Distribuição
- desinformação
- deslocado
- Distante
- cães
- fazer
- durante
- mais fácil
- facilmente
- esforço
- emergente
- Éter (ETH)
- avaliação
- Mesmo
- tudo
- evidência
- exatamente
- exemplo
- exemplos
- Expandir
- especialista
- rostos
- FALHA
- bastante
- falsificação
- Cair
- famoso
- mais rápido
- companheiro
- poucos
- Figura
- Encontre
- Primeiro nome
- bandeiras
- Escolha
- Forense
- forense
- forjar
- formulário
- encontrado
- fraude
- freelance
- da
- financiamento
- mais distante
- GANs
- gerar
- gerado
- gerando
- generativo
- redes adversárias geradoras
- IA generativa
- genoma
- ter
- obtendo
- Relance
- vai
- Bom estado, com sinais de uso
- Verde
- acontecer
- Queijos duros
- Ter
- ajudar
- Destaque
- Acertar
- Como funciona o dobrador de carta de canal
- Contudo
- HTTPS
- humano
- Caça
- i
- idéias
- imagem
- imagens
- Impacto
- melhorado
- in
- Incluindo
- cada vez mais
- indicam
- inicialmente
- instância
- integridade
- intenções
- interessante
- independentemente
- questões
- IT
- ESTÁ
- Jennifer
- revista
- jpg
- conhecido
- O rótulo
- paisagem
- língua
- largamente
- Maior
- Atrasado
- mais recente
- lançado
- APRENDER
- aprendido
- como
- Provável
- Limitado
- olhar
- parece
- procurando
- moldadas
- Gerente
- manipulado
- Manipulação
- muitos
- mapa,
- Massa
- Importância
- mecanismo
- Mídia
- médico
- metadados
- método
- Microscopia
- Meio da Jornada
- poder
- modelos
- molecular
- momento
- dinheiro
- mais
- a maioria
- em movimento
- Música
- natural
- Linguagem Natural
- rede
- redes
- Novo
- Próximo
- NIH
- objetos
- of
- Velho
- on
- oncologia
- ONE
- operação
- Outros
- contornos
- saída
- Papel
- papéis
- parte
- peças
- passado
- perscrutar
- fase
- FOTOS
- platão
- Inteligência de Dados Platão
- PlatãoData
- Popular
- coloca
- potencial
- poder
- predominantemente
- presença
- apresentado
- imprensa
- bastante
- anteriormente
- provavelmente
- processo
- produzir
- Produzido
- Produtos
- Professor
- Agenda
- Programas
- Proteínas
- protótipo
- publicar
- publicado
- editor
- editores
- fins
- qualidade
- rapidamente
- RE
- reais
- realista
- realizado
- receber
- Vermelho
- cadastre-se
- repetido
- Relatórios
- representação
- respeitável
- pesquisa
- pesquisadores
- Resultados
- rever
- Comentários
- s
- Dito
- Sam
- mesmo
- digitalização
- exploração
- cenário
- Cenas
- esquemas
- Ciência
- Pesquisa científica
- cientistas
- escopo
- peneiramento
- Pesquisar
- segundo
- parecia
- semáforo
- Série
- conjunto
- mostrando
- Shows
- assinar
- de forma considerável
- Sinais
- simplesmente
- desde
- Sabujo
- Software
- alguns
- fonte
- específico
- porta-voz
- Spot
- estável
- estatístico
- Ainda
- Lutar
- caso
- Estudo
- sucesso
- tal
- suposto
- suspeito
- sydney
- .
- sistemas
- Equipar
- que
- A
- deles
- Eles
- si mesmos
- Este
- coisa
- ameaça
- Através da
- tempo
- para
- hoje
- também
- ferramentas
- topo
- Trem
- verdadeiro
- Passando
- tipos
- onipresente
- para
- único
- universidade
- Universidade de Sydney
- us
- usar
- variedade
- Ve
- visão
- caminhada
- Desperdício
- maneiras
- Ocidental
- O Quê
- qual
- enquanto
- QUEM
- largamente
- precisarão
- de
- Atividades:
- seria
- escrita
- anos
- zefirnet