Independentemente das medidas de segurança implementadas em assistentes de AI e chatbots, hackers habilidosos conseguirão contorná-las. Recentemente, indivíduos mal-intencionados conseguiram enganar o suporte de IA da Meta e obter acesso a algumas das principais contas do Instagram.
Neste caso, especialistas em segurança cibernética da Varonis Threat Labs encontraram uma nova sequência de falhas de segurança em três etapas que transforma o Microsoft 365 Copilot Enterprise Search em uma ferramenta discreta para a transferência não autorizada de dados.
Em essência, ao executar esse conjunto de ataques denominado SearchLeak, a Microsoft Copilot poderia ser explorada para encaminhar informações sensíveis, como e-mails, códigos de autenticação de dois fatores e outros dados confidenciais armazenados em seu computador, a um invasor.
Segundo Varonis, a vulnerabilidade inclui a exploração de três ataques distintos: uma nova vulnerabilidade de inteligência artificial chamada Injeção de Parâmetro-Prompt (P2P), juntamente com dois bugs antigos comuns na web — uma corrida de condição de injeção HTML e um contorno da Política de Segurança de Conteúdo (CSP) por meio da solicitação de servidor do Bing (SSRF).
O SearchLeak tem como alvo o nível Enterprise da Microsoft e é capaz de expor uma ampla gama de informações dentro de uma organização, incluindo e-mails, documentos do SharePoint, arquivos do OneDrive e outros conteúdos de negócios indexados. De acordo com o relatório da Varonis, dependendo da conexão do M365 com o ambiente, a exposição pode se estender ainda mais.
A Microsoft implementou medidas de proteção no Copilot para evitar que o assistente de IA envie dados para indivíduos mal-intencionados. Se qualquer uma dessas etapas fosse realizada isoladamente, o ataque não seria bem-sucedido. Contudo, por meio de uma combinação de três vulnerabilidades em sequência, o SearchLeak é capaz de fornecer informações a um invasor.
Isso pode parecer complicado, mas o ataque é na verdade bastante simples assim que você o entende. Aqui está o procedimento que um hacker seguiria para obter seus dados através do SearchLeak.
Primeiramente, temos a Injeção de Parâmetro por Prompt. De acordo com o relatório da Varonis, um invasor poderia simplesmente enviar ao seu alvo uma URL contendo um prompt como parte do parâmetro de consulta. O que seria o parâmetro de consulta de URL, também chamado de parâmetro q? Um exemplo típico de um parâmetro de consulta de URL é a inclusão de detalhes de rastreamento de afiliados no final de um link. Geralmente, o parâmetro q é utilizado para adicionar informações de classificação, rastreamento ou filtragem a um link.
Por exemplo, um indivíduo mal-intencionado poderia enviar um link personalizado, como:
Puedes encontrar el enlace al texto en el siguiente sitio web de Microsoft 365.
Neste caso, trata-se de instruções direcionadas por invasores presentes no parâmetro q do endereço URL. Ao clicar no link, o Copilot acessa o URL e entende o comando embutido como orientações para serem executadas.
Na apresentação do SearchLeak da Varonis, os pesquisadores mostraram como instruíram o Copilot a buscar e-mails do usuário, extrair o título e incorporá-lo em uma URL de imagem. Ao clicar no link, o Copilot executou essas instruções conforme programado.
Aqui é onde as proteções de inteligência artificial da Microsoft devem entrar em ação. No entanto, de acordo com Varonis, há uma deficiência na forma como o Copilot gera suas respostas.
- Alerta de propagação: Links de phishing estão sendo enviados por meio de um email autêntico da Microsoft.
- Jovens estão utilizando um programa malicioso chamado WeedHack no Minecraft por $5 para praticar cyberbullying contra suas vítimas.
- Amazon está lidando com um processo coletivo relacionado ao recurso de reconhecimento facial da empresa Ring.
- Hackers afirmam que a inteligência artificial da Meta os auxiliou a invadir contas de grande porte no Instagram.
- Google corrige mais de 100 falhas de segurança no Android.
De acordo com um relatório da Varonis, a Microsoft está ciente de que as respostas geradas por IA podem incluir HTML prejudicial. Para lidar com isso, é recomendado envolver a saída em blocos de código para que o navegador a trate como texto, evitando assim a interpretação de marcação. No entanto, vale ressaltar que esse processo de encapsulamento ocorre após a conclusão da fase de “pensamento” do Copilot. Durante a fase de streaming, quando o Copilot ainda está elaborando sua resposta, o HTML bruto é temporariamente exibido no DOM.
Em outras palavras, as informações podem ser reveladas antes que a proteção de formatação da Microsoft seja ativada.
O próximo obstáculo para o atacante é retomar a informação revelada. Para isso, o prompt malicioso guia o Copilot a utilizar um domínio controlado pelo atacante como destino de URL da imagem. O ataque também se aproveita do recurso de Pesquisa por Imagem do Bing como um intermediário. Essa abordagem é essencial devido às restrições impostas pela Microsoft sobre quais domínios externos de imagem o Copilot pode acessar. Uma vez que o Bing é um serviço de propriedade da Microsoft, tais restrições não se aplicam da mesma maneira.
Por fim, o Bing realiza a requisição, permitindo que os dados retirados sejam enviados para o servidor do invasor. Uma vez que as informações furtadas foram inseridas diretamente na URL da imagem, ela é exibida nos registros do servidor do invasor, podendo ser visualizada e capturada.
Varonis menciona que a Microsoft resolveu o problema de segurança SearchLeak em Copilot. No entanto, esse episódio demonstra um desafio maior para a segurança da inteligência artificial: os invasores podem muitas vezes unir várias vulnerabilidades aparentemente inofensivas em uma sequência de ataque única que consegue contornar as proteções individuais.
Tópicos abordados incluem Inteligência Artificial, segurança cibernética e a empresa Microsoft.
chsyys/Flickr
