Os pesquisadores do MIT conseguiram confundir a inteligência artificial para classificar um réptil como uma arma de fogo, colocando perguntas sobre o futuro da segurança da AI
Se é a forma de uma tartaruga, do tamanho de uma tartaruga, e tem o padrão de uma tartaruga, provavelmente é uma tartaruga. Então, quando a inteligência artificial declara com confiança que é uma arma em vez disso, algo deu errado.
Mas isso é o que os pesquisadores do Labsix do MIT conseguiram enganar o reconhecimento de objetos do Google no pensamento, eles revelaram em um artigo publicado nesta semana.
A equipe construiu sobre um conceito conhecido como “imagem adversária”. Essa é uma imagem criada desde o início para enganar um AI para classificá-lo como algo completamente diferente do que mostra: por exemplo, uma imagem de um gato malhado reconhecido com 99% de certeza como uma tigela de guacamole.
Esses truques funcionam adicionando cuidadosamente o ruído visual à imagem, de modo que o conjunto de significantes que um AI usa para reconhecer seu conteúdo se confunda, enquanto um humano não percebe nenhuma diferença.
Mas, embora haja um grande trabalho teórico que demonstre que os ataques são possíveis, demonstrações físicas da mesma técnica são finas no chão. Muitas vezes, simplesmente girando a imagem, mexendo com o equilíbrio de cores, ou cortando ligeiramente, pode ser suficiente para arruinar o truque.
Os pesquisadores do MIT empurraram a idéia mais longe do que nunca, manipulando não uma imagem 2D simples, mas a textura superficial de uma tartaruga impressa em 3D. O padrão de shell resultante parece trippy, mas ainda completamente reconhecível como uma tartaruga – a menos que você seja o detetive de objetos públicos do Google, caso em que você tem 90% de certeza é um rifle.
Os pesquisadores também 3D imprimiram uma bola de beisebol com patrulhas para que pareça com a AI como um café expresso, com pouco menos sucesso – a AI pôde dizer que era um baseball de vez em quando, embora ainda sugerisse o café expresso na maior parte do tempo.
“Nosso trabalho demonstra que os exemplos contraditórios são um problema significativamente maior em sistemas do mundo real do que se pensava anteriormente”, escreveram os pesquisadores . À medida que a visão de máquina é expandida mais amplamente, tais ataques podem ser perigosos.
Já os pesquisadores estão examinando a possibilidade de detectar automaticamente armas a partir de imagens de CCTV . Uma tartaruga que parece um rifle a um tal sistema pode simplesmente causar um alarme falso; Um rifle que parece uma tartaruga, no entanto, seria significativamente mais perigoso.
Ainda há questões para os pesquisadores resolverem. Mais importante ainda, a abordagem atual da visão de enganar a máquina só funciona em um sistema por vez e requer acesso ao sistema para desenvolver os padrões de truque. A tartaruga que engana o AI do Google não pode travar o mesmo ataque contra o Facebook ou Amazon, por exemplo. Mas alguns pesquisadores já conseguiram desenvolver ataques mais simples que funcionam contra IAs desconhecidos, usando técnicas que possuem aplicações gerais.
As empresas de AI estão lutando de volta. Tanto o Facebook quanto o Google publicaram pesquisas que sugerem que estão investigando as próprias técnicas, para encontrar maneiras de proteger seus próprios sistemas.
