[Segurança] ChatGPT, IA e Segurança (com memes)

A Inteligência Artificial (IA) não deveria ser novidade para ninguém. Desde os trabalhos pioneiros de Alan Turing na primeira metade do século passado, cientistas da computação tem se dedicado a esse assunto por décadas. Eu mesmo tive uma disciplina de IA na minha graduação em Ciências da Computação, lá no meados da década de 90.

Mas o surgimento do ChatGPT no final de 2022 trouxe um novo holofote para esse assunto e, assim como diversas ferramentas e apps que surgiram recentemente, tornou a IA acessível para a população em geral. E, vamos ser sinceros: o fenômeno foi tão marcante que o ChatGPT praticamente virou um sinônimo para IA.

A rápida popularização de algumas ferramentas de IA (do ChatGPT a ferramentas para criar imagens, como o Lensa e a Midjourney, além de muitos outros aplicativos) tem chamado muita atenção de todos e trouxe a Inteligência Artificial para o dia--a-dia das pessoas. E para o centro dos debates.

Existem milhares de ferramentas de IA, e as mais faladas atualmente são o ChatGPT (da OpenAI), Bing AI (Microsoft) e o Gemini Bard (Google). Mas tem ferramentas para todo tipo de uso, mais de 70 mil empresas no mercado de IA, e a cada dia surgem novas aplicações. As possibilidades tecnológicas e de uso da IA, em especial essas apresentadas pelo ChatGPT, ainda são embrionárias e muito ainda está por acontecer. Ainda vamos ver muita discussão sobre a tecnologia e sobre os aspectos éticos de seu uso.

De qualquer forma, decidi criar esse post para registrar artigos e fatos que acho interessantes no uso e debate relacionado aos aspectos de segurança (riscos, uso malicioso, incidentes, etc).

Vale a pena destacar que já tivemos alguns incidentes de segurança relacionados ao uso do ChatGPT. Já tivemos o vazamento de dados cadastrais de usuários da ferramenta, além de um incidente icônico em Março de 2023, quando foi noticiado que funcionários da Samsung compartilhavam informações confidenciais ao usar o ChatGPT.

Segue, abaixo, uma coletânea de artigos, relatórios, reportagens, links e memes sobre o assunto.

Aspectos gerais de segurança na IA

O desenvolvimento e o uso de ferramentas de inteligência artificial envolve diversos cuidados de segurança, e algumas iniciativas já estão discutindo isso.

Para começar a estudar esse assunto, vale a pena ver esse documento da CISA com a NCSC: Guidelines for Secure AI System Development (Diretrizes para o Desenvolvimento Seguro de Sistemas de IA), em inglês, lançado em 26/11/2023.

Veja mais leituras obrigatórias sobre o assunto:

• Uma ótima visão geral e objetiva sobre o assunto: Como o ChatGPT vai mudar a cibersegurança (Kaspersky, 08/02/2023)
• AI Risk Management Framework (NIST) (26/01/2023)
• AI and cybersecurity: How to navigate the risks and opportunities (Fórum Econômico Mundial, 29/02/2024)
• Material da Cloud Security Alliance:
• Security Implications of ChatGPT (02/08/2023)
• The State of AI and Security Survey Report (02/04/2024)
• Material da OWASP:
• OWASP AI Security and Privacy Guide (em inglês) (OWASP)
• OWASP Top 10 for Large Language Model Applications (em inglês) (OWASP) (anúncio)
• LLM AI Cybersecurity & Governance Checklist (pdf) (em inglês)

Notícias, também temos várias:

• Gabriela Salles: Inteligência Artificial: Risco ou oportunidade? (Tecsec Podcast EP #444, 18/05/2023)

• Hackers acham difícil que a IA substitua a ‘criatividade’ humana (CISO Advisor, 16/07/2023)
• Pesquisadores encontram formas de burlar segurança do ChatGPT e outras IAs (TecMundo, 28/07/2023)
• Descoberta de falhas no ChatGPT revelam vulnerabilidades no campo da IA (Olhar Digital, 03/08/2023)
• IA dominou os debates nos maiores eventos de cibersegurança do mundo (Inovativos, 31/08/2023)
• ChatGPT at work: how chatbots help employees, but threaten business (em inglês) (Securelist, 13/10/2023)
• CISA and UK NCSC Unveil Joint Guidelines for Secure AI System Development (em inglês) (CISA, 26/11/2023)
• Guidelines for secure AI system development
• Story of the year: the impact of AI on cybersecurity (em inglês) (Kaspersky, 11/12/2023)
• Relatório do Fórum Econômico Mundial 2024:
• Infográfico interativo bem legal: Artificial Intelligence (em inglês)
• AI - artificial intelligence - at Davos 2024: What to know (em inglês) (14/01/2024)

• Cybersecurity is on the frontline of our AI future. Here's why (em inglês) (15/01/2024)
• From Sam Altman to António Guterres: Here's what 10 leaders said about AI at Davos 2024 (em inglês) (23/01/2024)
• Davos 2024: Here's the impact on-ground across AI, climate, growth and global security (em inglês) (25/01/2024)
• AI and emerging technology at Davos 2024: 5 surprising things to know (em inglês) (26/01/2024)
• AI and cybersecurity: How to navigate the risks and opportunities (em inglês) (29/02/2024)
• Fórum Econômico Mundial: Cibercrime e IA estão entre os riscos globais dos próximos anos (Security Report, 10/01/2024)
• Inteligência Artificial é o maior perigo do mundo nos próximos dois anos (Convergência Digital, 15/01/2024)

• CISA Joins ACSC-led Guidance on How to Use AI Systems Securely (em inglês) (CISA, 23/01/2024)
• Engaging with Artificial Intelligence
• NIST Risk Management Framework Aims to Improve Trustworthiness of Artificial Intelligence (em inglês) (NIST, 26/01/2024)
• AI Models in Cybersecurity: From Misuse to Abuse (em inglês) (Security Week, 16/10/2024)

O bom uso da IA para aprimorar a postura e as ferramentas de segurança

Há muito já se fala utilizar a IA em cibersegurança, principalmente em ferramentas para melhorar sua performance, como nos casos de ferramentas de detecção de ataque, antivírus e ferramentas para detecção de fraudes. Com o novo boom da IA, sua adoção tende a aumentar significativamente (fique atento, pois dependendo da empresa isso pode ser verdade ou apenas um discurso marketeiro).

Já há especulações e iniciativas para usar as tecnologias de IA de forma a facilitar ou agilizar o trabalho dos times de segurança. Há grande expectativa de que essa tecnologia ajude a automatizar ainda mais processos repetitivos e atividades que possam ser automatizadas. Há também quem acredite que a IA pode melhorar a produção de análises e relatórios.

Vejamos alguns casos e notícias sobre isso...

• Cybersecurity takes a leap forward with AI tools and techniques (em inglês) (Help Net Security, 20/02/2023)
• Most security pros turn to unauthorized AI tools at work (em inglês) (Help Net Security, 17/03/2023)
• How ChatGPT is changing the cybersecurity game (em inglês) (Help Net Security, 28/03/2023)
• Inteligência Artificial ganha protagonismo na RSA Conference (Security Report, 26/04/2023)
• What does ChatGPT know about phishing? (em inglês) (Securelist, 01/05/2023)
• O ChatGPT pode detectar golpes online? Nós testamos! (Kaspersky, 19/05/2023)
• Prevenção de ameaças orientada por IA é uma tendência que evoluiu rapidamente em 2023, diz CISO da Check Point (TI Inside, 16/06/2023)
• How AI-Augmented Threat Intelligence Solves Security Shortfalls (em inglês) (Dark Reading, 17/07/2023)
• Especialista do IEEE explica por que IA será fundamental à cibersegurança (TI Inside, 01/08/2023)
• As principais aplicações de IA no combate às fraudes financeiras (TI Inside, 01/08/2023)
• Palestra na Black Hat 2023: What Does an LLM-Powered Threat Intelligence Program Look Like? (em inglês) (Black Hat USA, 10/08/2023)
• GPT VS Malware Analysis: Challenges and mitigations (em inglês) (Checkpoint Research, 15/11/2023)
• Why I Chose Google Bard to Help Write Security Policies (em inglês) (Dark Reading, 19/12/2023)
• PornHub usa chatbot para intervir em mais de 4 milhões de buscas por abuso sexual infantil (Tecmundo, 29/02/2024)
• ChatGPT vs. Gemini: Which Is Better for 10 Common Infosec Tasks? (em inglês) (Dark Reading, 15/03/2024)
• GreyNoise Intelligence Discovers Zero-Day Vulnerabilities in Live Streaming Cameras with the Help of AI (em inglês) (GreyNoise, 31/10/2024)
• Google uses large language model to discover real-world vulnerability (em inglês) (Bleeping Computer, 03/11/2024)
• Using LLMs to Analyze Windows Binaries (em inglês) (Google, 04/10/2024)
• Novas ferramentas e projetos de segurança com IA:
• CensysGPT

Ameaças, riscos de segurança e uso malicioso

A tecnologia também pode ser usada para o mal, com más intenções. Dentre as principais ameaças existentes até o momento, está a exploração do interesse pelo assunto para distribuir malware, como nos casos de malwares e extensões de navegador maliciosas se passando pelo ChatGPT ou ferramentas semelhantes. Também se fala no uso da IA para aprimorar o código fonte de vírus e malwares, e para aperfeiçoar as tecnologias de deepfake, facilitando a criação de fake news e o roubo de identidade.

Uma boa referência inicial são esses materiais da Recorded Future, da Europol, Checkpoint e CISA:

• OPWNAI: AI that can save the day or hack it anyway (em inglês) (Checkpoint Research, 19/12/2022)
• I, Chatbot (em inglês) (Recorded Future, 26/01/2023)
• Europol details ChatGPT’s potential for criminal abuse (em inglês) (Help Net Security, 28/03/2023) (documento original)
• Contextualizing Deepfake Threats to Organizations (em inglês) (CISA, 12/09/2023)

Um ponto que merece destaque, sobre o uso malicioso das tecnologias de IA, é o surgimento, e venda de acesso, para IAs Generativas especializadas na criação e disparo de golpes cibernéticos. Três exemplos recentes são as ferramentas conhecidas como "WormGPT", "FraudGPT" e "WolfGPT".

Veja alguns casos e notícias: 

• Stack Overflow bans ChatGPT as 'substantially harmful' for coding issues (em inglês) (The Register, 21/12/2022)
• Study finds AI assistants help developers produce code that's more likely to be buggy (em inglês) (The Register, 21/12/2022)
• OPWNAI: Cybercriminals starting to use ChatGPT (em inglês) (Checkpoint Research, 06/01/2023)
• ChatGPT: 6 formas em que a ferramenta pode ser utilizada por cibercriminosos (CryptoID, 10/02/2023)
• ChatGPT é usado para criar ameaças cada vez mais convincentes (Canaltech, 02/03/2025)
• Workers are secretly using ChatGPT, AI and it will pose big risks for tech leaders (em inglês) (CNBC, 30/04/2023)
• Inteligência artificial consegue descobrir senhas em menos de 1 minuto; saiba se proteger (Olhar Digital, 07/04/2023)
• Meta adverte sobre ameaça de malware em IA generativa (TI Inside, 04/05/2023)
• Os 4 usos “favoritos” da Inteligência Artificial pelos cibercriminosos (Security Report, 21/07/2023)
• Uso da inteligência artificial por pedófilos aumenta a pornografia infantil na internet (TI Inside, 23/06/2023)
• Líderes de segurança dizem que IA tem sido usada em ataques (CISO Advisor, 21/08/2023)
• Inteligência Artificial tem sido uma das ferramentas mais visadas por cibercriminosos (Security Report, 27/09/2023)
• ChatGPT Cybercrime Discussions Spike to Nearly 3K Posts on Dark Web (em inglês) (Dark Reading, 24/01/2024)
• AI-Powered Attacks Flood Retail Websites (em inglês) (Infosecurity Magazine, 22/10/2024)
• Ferramentas maliciosas de IA:
• WormGPT – The Generative AI Tool Cybercriminals Are Using to Launch Business Email Compromise Attacks (em inglês) (Slashnext, 13/07/2023)
• WormGPT: New AI Tool Allows Cybercriminals to Launch Sophisticated Cyber Attacks (em inglês) (The Hacker News, 15/07/2023)

• WormGPT pode comprometer e-mails comerciais e fazer jailbreaks (CISO Advisor, 18/07/2023)
• Fóruns da dark web oferecem nova ferramenta de IA FraudGPT (CISO Advisor, 28/07/2023)
• Empresa alerta para aumento das vendas de IAs especializadas em crimes cibernéticos (TI Inside, 01/08/2023)

• Desinformação (fake news, deepfake, fake nudes, etc)
• ChatGPT pode ser superespalhador de desinformação; entenda os riscos (IG, 15/02/2023)
• From Disinformation to Deep Fakes: How Threat Actors Manipulate Reality (em inglês) (The Hacker News, 06/03/2023)
• People are trying to claim real videos are deepfakes. The courts are not amused (em inglês) (NPR, 08/05/2023)
• A ameaça deepfake é real? (Kaspersky, 15/05/2023)
• FBI warns of adversaries using AI in influence campaigns, cyberattacks (em inglês) ( The Record, 28/07/2023)
• Com IA, imagens de abuso infantil disparam na internet (Olhar Digital, 26/10/2023)
• ‘Fake nudes’: número de casos quase quadruplica e preocupa especialistas (Olhar Digital, 06/11/2023)
• Russia-Linked CopyCop Uses LLMs to Weaponize Influence Content at Scale (em inglês) ( The Record, 09/05/2024)
• Deep Fake e Roubo de identidade:
• Golpes usam IA para simular vozes de entes queridos e roubar dinheiro (Canaltech, 08/03/2023)
• I Cloned Myself With AI. She Fooled My Bank and My Family (em inglês) (The Wall Street Journal, 28/04/2023) (Revista Oeste)
• Golpes de clonagem de voz já atingiram uma em cada quatro pessoas no mundo (Canaltech, 03/05/2023)
• Excelente relatório: I Have No Mouth, and I Must Do Crime (em inglês) (Recorded Future, 18/05/2023)

• IA pode quebrar 99% dos sistemas de autenticação por voz (CanalTech, 10/07/2023)
• Deepfake face swap attacks on ID verification systems up 704% in 2023 (em inglês) (SC Magazine, 08/02/2024)
• Threat Intelligence Report titled “The Impact of Generative AI on Remote identity Verification” (em inglês) (iProov)
• Uso de inteligência artificial em imagens corrói confiança em biometria facial (Convergência Digital, 05/02/2024)
• Com avanço da IA, bancos trocam biometria por análise comportamental no combate a fraudes (Folha de São Paulo, 21/04/2024)
• IA clona voz e imagem de clientes em novos golpes financeiros mais difíceis de evitar (Folha de São Paulo, 21/06/2024)
• Cresce o alerta para as “deepfakes” em extorsões e crimes on-line (STG News, 15/08/2024)
• Austrália: Meta removeu mais de 9 mil deepfakes no Facebook (Olhar Digital, 02/10/2024)
• Uso em golpes, campanhas de Phishing e BEC:
• Golpistas usam ChatGPT para melhorar textos de mensagens diretas (CanalTech, 09/03/2023)
• AI tools like ChatGPT expected to fuel BEC attacks (em inglês) (Help Net Security, 17/04/2023)
• AI tools help attackers develop sophisticated phishing campaigns (em inglês) (Help Net Security, 25/04/2023)
• Ciberataques com ChatGPT disparam 910% (Convergência Digital, 05/05/2023)
• Hackers treinam chatbots de IA para ataques de phishing (CISO Advisor, 01/08/2023)
• Cybercriminals Implemented Artificial Intelligence (AI) For Invoice Fraud (Resecurity, 02/01/2024)
• AI-Powered Invoice Fraud: How This Latest Scam Hijacks Your Business Transactions (em inglês) (Knowbe4, 04/01/2024)
• ChatGPT-4o can be used for autonomous voice-based scams (em inglês) (Bleeping Computer, 03/11/2024)
• Uso do tema, interesse ou aplicativos falsos para distribuir malware:
• ChatGPT falso é isca de malware para Windows e Android (Tecnoblog, 23/02/2023)
• Warning: AI-generated YouTube Video Tutorials Spreading Infostealer Malware (em inglês) (The Hacker News, 13/03/2023)
• Fake ChatGPT Chrome Extension Hijacking Facebook Accounts for Malicious Advertising (em inglês) (The Hacker News, 13/03/2023)
• Fake ChatGPT Chrome Browser Extension Caught Hijacking Facebook Accounts (em inglês) (The Hacker News, 23/03/2023)
• Malware RedLine é descoberto em uma nova campanha aproveitando o ChatGPT (BoletimSec, 13/04/2023)
• Domínios maliciosos relacionados ao ChatGPT aumentam 910%, de acordo com estudo (TI Inside, 04/05/2023)
• Sites falsos que se passam pelo ChatGPT representam alto risco, avisa Check Point (TI Inside, 05/05/2023)
• Investigação ESET: falsos aplicativos do ChatGPT contêm trojans bancários (in_cyber, 25/07/2023)
• Apps falsos do ChatGPT infectam dispositivos Android com trojan (CISO Advisor, 26/07/2023)
• IA generativa facilita quebra de segurança em dispositivos móveis (TI Inside, 02/08/2023)
• Google processa criminosos que aplicam golpes com Bard ‘fake’ (Olhar Digital, 13/11/2023)
• FIN7 Gang Hides Malware in AI “Deepnude” Sites (em inglês) (Infosecurity Magazine, 03/10/2024)
• Fake AI video generators infect Windows, macOS with infostealers (em inglês) (Bleeping Computer, 16/11/2024)
• Uso da IA para escrever códigos maliciosos:
• Hackers utilizam IA do ChatGPT para criar malwares (CISO Advisor, 09/01/2023)
• Hackers violam segurança para forçar ChatGPT a escrever malware (Tecnoblog, 09/02/2023)
• Forcepoint alerta para capacidade do ChatGPT de produzir malwares indetectáveis (TI Inside, 17/04/2023)

• 'Enganei o ChatGPT para ele criar "fábrica de vírus" em menos de 8 horas' (UOL, 30/05/2023)
• ChatGPT pode ser enganado para criar códigos maliciosos, diz estudo (Olhar Digital, 26/10/2023)
• ChatGPT wrote code that can make databases leak sensitive information (em inglês) (New Scientist, 25/10/2023)
• HP Wolf Security encontra evidências de uso de IA por hackers para gerar malware (DCiber, 02/10/2024)
• Vazamento de dados através do uso das ferramentas de IA:
• Apple proíbe funcionários de usarem ChatGPT (Canaltech, 19/05/2023)
• Código-fonte é responsável pela maior parte dos dados confidenciais compartilhados com o ChatGPT, alerta pesquisa (TI Inside, 25/07/2023)
• ChatGPT vazou números de telefone e endereços de e-mail (Olhar Digital, 30/11/2023)

• ChatGPT can leak training data, violate privacy, says Google's DeepMind (em inglês) (ZDNet, 04/12/2023)

• Email used to log in for ChatGPT at potential risk, research team unveils OpenAI's GPT-3.5 Turbo threat (em inglês) (Business Today, 26/12/2023)
• Microsoft Patches Critical Copilot Studio Vulnerability Exposing Sensitive Data (em inglês) (The Hacker News, 21/08/2024)

Incidentes reais de segurança e fraudes

Sim, já estão ocorrendo alguns incidentes reais devido ao uso incorreto ou mal intencionado do ChatGPT das ferramentas ou da tecnologia de IA.

• Jornal irlandês pede desculpas após publicar artigo de opinião gerado por inteligência artificial (O Globo, 16/05/2023)
• Japan Man Arrested for Creating Virus Using Generative AI Systems; ‘I Thought I Could Do Anything if I Asked AI’ (em inglês) (Japan News, 28/05/2024)
• Delírios da IA (alucinações):
• CNJ vai investigar sentença de juiz feita com ChatGPT, que inventou jurisprudência (Tudo Celular, 13/11/2023)
• Comer pedras, cola na pizza: IA do Google dá respostas absurdas em buscador (UOL, 28/05/2024)
• AI hallucinations can pose a risk to your cybersecurity (em inglês) (The Hacker News, 23/10/2024)
• Incidentes relacionadas a deep fakes e imagens manipuladas para exposição e porn:
• Jovens criam imagens de mulher com IA e lucram R$ 500 com fotos sensuais (UOL, 13/04/2023)
• Como pedófilos estão vendendo imagens de abuso infantil feitas com inteligência artificial (G1, 01/07/2023)
• Criminoso invade perfil de mulher e posta deepfake para golpe (Olhar Digital, 20/07/2023)
• As imagens falsas de crianças nuas geradas por inteligência artificial que chocaram cidade da Espanha (BBC, 24/09/2023)
• Com ajuda de IA, alunos criam ‘nudes’ de meninas nos EUA; Brasil tem casos  (Olhar Digital, 02/11/2023)
• Alunas de colégio em Recife são vítimas de falsos nudes feitos com IA (Olhar Digital, 07/11/2023)
• Attempted Audio Deepfake Call Targets LastPass Employee (em inglês) (LastPass, 10/04/2024)
• Incidentes de clonagem, deep fake, personificação e roubo de identidade:
• Golpe usa voz gerada por inteligência artificial para se passar por entes queridos (Tecnoblog, 07/03/2023)
• Golpistas usam IA para clonar voz de adolescente em 'golpe do sequestro' (UOL, 13/04/2023)
• Família estuda ação legal por entrevista falsa com Schumacher (Globo Esporte, 20/04/2023)
• Influencer diz que teve voz clonada por IA e que ela foi usada contra o pai (UOL, 12/05/2023): O influenciador Dario Centurione, do Almanaque SOS, contou em suas redes sociais que golpistas clonaram sua voz usando inteligência artificial (IA). Acreditando que o filho tinha enviado uma mensagem pedindo dinheiro emprestado, o pai do criador de conteúdo perdeu R$ 600 depois de fazer uma transferência via Pix;
• Bandidos clonam voz de influenciador para aplicar golpe (SBT News, 15/05/2023)
• 'Assustador': golpista invade Instagram de mulher e posta deepfake dela (UOL Tilt, 20/07/2023)
• Jovem simula traição e mostra lado sombrio da IA: clonar vozes custa US$ 4 (UOL Tilt, 09/08/2023)
• UK opposition leader targeted by AI-generated fake audio smear (em inglês) (The Record, 09/10/2023)
• IA cria vídeo a partir de foto de empresária brasileira para golpes do Pix (Olhar Digital, 25/10/2023)
• Scarlett Johansson hits AI app with legal action for cloning her voice in an ad (em inglês) (The Verge, 01/11/2023)
• Deepfakes crescem 830% em um ano no Brasil, aponta relatório (Security Leaders, 29/11/2023)
• Drauzio Varella vendendo colágeno? Como deep fakes estão sendo usados para golpes (G1, 01/12/2023)
• Criminosos usam inteligência artificial para manipular a imagem de pessoas conhecidas e lucrar com a venda de produtos falsos (Fantástico, 17/12/2023)
• Brasil já tem registros de deep fake eleitoral antes do início das eleições; entenda (TecMundo, 15/01/2024)
• Finance worker pays out $25 million after video call with deepfake ‘chief financial officer’ (em inglês) (CNN, 04/02/2024)
• Vítima de deepfake, Luiza Trajano diz que IA é boa e perigosa (Folha de São Paulo, 17/04/2024)
• Fraudador imita voz de CEO da Ferrari com deep fake (CISO Advisor, 30/07/2024)
• Incidentes de vazamento de dados e credenciais:
• Samsung workers made a major error by using ChatGPT (Techradar, 04/04/2023): Os funcionários da Samsung vazaram involuntariamente dados ultrassecretos enquanto usavam o ChatGPT para ajudá-los nas tarefas. Os engenheiros do time de semicondutores usaram a ferramenta para ajudar a corrigir problemas com seu código-fonte e, durante seu uso, inseriram dados confidenciais como o próprio código-fonte de um novo programa e notas de reuniões internas. Em pouco menos de um mês, a empresa registrou três incidentes de funcionários vazando informações confidenciais via ChatGPT. Assim, esses segredos comerciais da Samsung agora estão nas mãos da OpenAI, a empresa por trás do ChatGPT;
• Falha no ChatGPT expõe informações pessoais de usuários, aponta ESET (TI Inside, 06/04/2023): Uma falha de segurança no ChatGPT permitiu aos usuários ver perguntas do histórico de pesquisa de outras pessoas e expôs informações pessoais de assinantes do plano pago do serviço, que inclui nome completo, endereço de e-mail associado ao pagamento, os últimos quatro dígitos e a data de validade do cartão de crédito cadastrado. Após ser confirmado pela OpenAI, o serviço ChatGPT foi suspenso por um tempo até que o bug fosse corrigido. Além do bug na biblioteca de código aberto Redis, foi relatada uma vulnerabilidade que permitia ataques de Web Cache Deception;
• Group-IB Discovers 100K+ Compromised ChatGPT Accounts on Dark Web Marketplaces; Asia-Pacific region tops the list (em inglês) (Group-IB, 20/06/2023)
• Mais de 100.000 credenciais de contas do ChatGPT Roubadas são vendidas na Deep Web (BoletimSec, 20/06/2023)

• Credenciais roubadas da OpenAI estão à venda na dark web (CISO Advisor, 20/07/2023): Pesquisadores identificaram mais de 200 mil credenciais de usuários do ChatGPT à venda na dark web;
• Critical ChatGPT Plug-in Vulnerabilities Expose Sensitive Data (em inglês) (Dark Reading, 13/03/2024)
• Hundreds of LLM Servers Expose Corporate, Health & Other Online Data (em inglês) (Dark Reading, 28/08/2024)

Vulnerabilidades e Ataques à IA

Assim como qualquer ferramenta tecnológica, as ferramentas de IA podem ser alvos de ataques - desde os ciberataques genéricos como DDos, até ataques específicos - como o chamado "prompt injection", por exemplo. 

Referências obrigatórias sobre o assunto:

• MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems)
• Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations (NIST.AI.100-2) (em inglês)
• Microsoft Vulnerability Severity Classification for AI Systems (em inglês)

Veja notícias sobre ataques realizados contra a IA: 

• ChatGPT jailbreaks (em inglês) (kaspersky, 17/05/2023)
• Meet Nightshade, the new tool allowing artists to ‘poison’ AI models with corrupted training data (em inglês) (VentureBeat, 23/10/2023)
• El envenenamiento de datos, la estrategia para proteger los derechos de artistas ante la IA (em espanhol) (MIT Technology Review, 25/10/2023)
• The safety of OpenAI's GPT-4 gets lost in translation (em inglês) (ZDNet, 31/10/2023)
• Synthetic Recollections - A Case Study in Prompt Injection for ReAct LLM Agents (em inglês) (W/ Labs, 02/11/2023)
• ChatGPT: OpenAI culpa ataque DDoS por interrupção (Olhar Digital, 09/11/2023)
• OpenAI sofreu um ataque DDOS que afetou o ChatGPT e outros serviços (We Live Security, 13/11/2023)
• Generative AI can easily be made malicious despite guardrails, say scholars (em inglês) (ZDNet, 29/11/2023)
• NIST Identifies Types of Cyberattacks That Manipulate Behavior of AI Systems (em inglês) (NIST, 04/01/2024)
• Forget Deepfakes or Phishing: Prompt Injection is GenAI's Biggest Problem (em inglês) (Dark Reading, 02/02/2024)
• Google's Gemini AI Vulnerable to Content Manipulation (em inglês) (Dark Reading, 12/03/2024)
• Researchers Reveal 'Deceptive Delight' Method to Jailbreak AI Models (em inglês) (Security Intelligence, 23/10/2024)
• ChatGPT Jailbreak: Researchers Bypass AI Safeguards Using Hexadecimal Encoding and Emojis (em inglês) (Security Week, 29/10/2024)
• Mais de 30 falhas em plataformas de I.A. (CISO Advisor, 30/10/2024)
• Critical Flaws in Ollama AI Framework Could Enable DoS, Model Theft, and Poisoning (em inglês) (The Hacker News, 04/11/2024) - Estudo original, em inglês: More Models, More ProbLLMs

Relatórios, Estudos e Estatísticas

• ChatGPT - The impact of Large Language Models on Law Enforcement (em inglês) (Europol)
• 25% do setor financeiro bloqueiam uso do ChatGPT (in_cyber, 16/07/2023)
• Código-fonte lidera compartilhamento de dados confidenciais no ChatGPT (in_cyber, 24/07/2023)
• O cenário da segurança cibernética no Brasil em 2024 (Manage Engine, Maio/2024)

Regulamentações

A União Européia tomou o protagonismo na discussão sobre regulamentação para o desenvolvimento das tecnologias de Inteligência Artificial ao, em junho de 2023, lançar o projeto de criação da primeira legislação sobre isso:

• Hiroshima Process International Guiding Principles for Organizations Developing Advanced AI Systems (em inglês) (G7, 30/10/2023)
• EU AI Act: first regulation on artificial intelligence (em inglês) (Parlamento Europeu, 08/06/2023)
• Artificial intelligence act (Briefing) (em inglês) (pdf) (Parlamento Europeu)
• Executive Order on Safe, Secure, and Trustworthy Artificial Intelligence (em inglês) (NIST)

Mais notícias e discussões sobre o regulamentações, normas e leis relacionadas a IA:

• ChatGPT enfrenta problemas de conformidade com GDPR (Security Report, 03/04/2023)
• Italy Temporarily Bans ChatGPT; Threatens OpenAI with €20 Million Fine (em inglês) (Bitdefender, 04/04/23)
• ChatGPT is Back in Italy After Addressing Data Privacy Concerns (em inglês) (The Hacker News, 29/04/2023)
• India opts against AI regulation (em inglês) (TechCrunch, 05/04/2023)
• Casa Branca convoca Google e Microsoft para discutir riscos de inteligência artificial (O Globo, 04/05/2023)
• Pacheco quer regulamentar a inteligência artificial (O Antagonista, 04/05/2023)
• Se bot faz besteira, quem responde na Justiça? Como Brasil quer regular IA (UOL, 08/05/2023)
• G7 planeja criar grupo de trabalho para discutir uso responsável da inteligência artificial (O Globo, 20/05/2023)
• Biden Administration Developing National AI Strategy (The Wall Street Journal, 23/05/2023)
• EUA e UE terão 'código de conduta voluntário' para regular inteligência artificial (O Globo, 31/05/2023)
• PL 3592/23 pretende regular o uso da Inteligência Artificial para geração de conteúdo de pessoas falecidas (DCiber, 28/07/23)
• Alemanha, França e Itália chegam a acordo sobre futura regulação de IA (UOL, 19/11/2023)
• Reino Unido criará primeiro instituto de segurança de IA do mundo (Olhar Digital, 26/10/2023)
• Declaração dos dirigentes do G7 sobre o processo de IA Hiroxima (Comissão Europeia, 30/10/2023)
• Europa torna-se o primeiro continente a regulamentar a Inteligência Artificial (TI Inside, 18/12/2023)
• Inteligência Artificial é máquina e não tem direito a patente (Convergência Digital, 20/12/2023)
• Will copyright law enable or inhibit generative AI? (em inglês) (World Economic Forum, 13/01/2024)
• UK privacy watchdog to examine practice of web scraping to get training data for AI (em inglês) (The Record, 15/01/2024)
• EUA proíbem ligações telefônicas com voz geradas por Inteligência Artificial (Convergência Digital, 09/02/2024)
• FTC wants to crack down on AI impersonation of individuals (em inglês) (The Record, 15/02/2024)
• ANPD vai ampliar fiscalização sobre inteligência artificial, reconhecimento facial e raspagem de dados (Convergência Digital, 20/02/2024)
• TSE aprova regras sobre uso de inteligência artificial nas eleições (Convergência Digital, 27/02/2024)
• EU Parliament passes AI Act in world’s first attempt at regulating the technology (em inglês) (The Record, 13/03/2024)
• Over 20 Technology and Critical Infrastructure Executives, Civil Rights Leaders, Academics, and Policymakers Join New DHS Artificial Intelligence Safety and Security Board to Advance AI’s Responsible Development and Deployment (em inglês) (DHS, 26/04/2024)
• STF quer monitorar internet 24 horas em busca de ataques à instituição e fake news (TecMundo, 17/06/2024)

Outros artigos interessantes e curiosos sobre IA e o ChatGPT em geral

Tem muita, muita coisa disponível sobre Inteligência Artificial, muita mesmo! Então vou colocar aqui só um pouquinho de nada de um punhadinho coisas, que eu acho que podem colaborar com esse post. E você já se preparou para a profissão do futuro? Que tal ser um "digitador de comandos para IA"?

• Sobre Alan Turing e a origem das pesquisas em IA:
• Alan Turing and the beginning of AI  (Enciclopédia Britannica)
• The History of Artificial Intelligence (Harvard, 28/08/2017)

• New AI may pass the famed Turing Test. This is the man who created it. (National Geographic, 27/02/2023)
• Um timeline bem legal, mas muito desatualizado pois vai só até 2014: History of A.I.: Artificial Intelligence (Infographic)
• Artificial Intelligence sector overview
• Você conhece a comunidade AI Brasil?
• ChatGPT passa em entrevista do Google e ganharia salário de quase R$ 1 milhão por ano (Olhar Digital, 05/02/2023)
• ChatGPT vai pagar até US$ 20 mil para quem encontrar bugs na IA (Canaltech, 11/04/2023)
• ‘As an AI language model’: the phrase that shows how AI is polluting the web (em inglês) (The Verge, 26/04/2023)
• 6 vezes em que o ChatGPT foi bizarramente assustador (Canaltech, 03/05/2023)
• IA da Intel será criada em supercomputador com 1 trilhão de parâmetros (Tecmundo, 23/05/2023)
• Here’s What Happens When Your Lawyer Uses ChatGPT (em inglês) (The New York Times, 27/05/2023)
• Federal judge: No AI in my courtroom unless a human verifies its accuracy (Ars Technica, 31/05/2023) (em inglês)
• US air force denies running simulation in which AI drone ‘killed’ operator (The Guardian, 02/06/2023)
• Robôs estão aprendendo tarefas humanas ao assistirem vídeos (Tecmundo, 24/06/2023)
• AI Has Already Created As Many Images As Photographers Have Taken in 150 Years. Statistics for 2023 (Everypixel Journal, 15/08/2023)
• Inteligência artificial 'prevê' aparência de crianças desaparecidas durante ditadura argentina (G1, 04/09/2023)
• No Brasil,três em cada quatro temem perder emprego para inteligência artificial (Convergência Digital, 09/02/2024)
• Lack of data makes AI more biased in African countries, says former tech official (em inglês) (The Record, 15/02/2024)
• Fotos de crianças brasileiras foram usadas sem autorização para treinar IA, diz denúncia (TecMundo, 11/06/2024)

Alguns memes

. 

  

PS: Post atualizado em 14/03, 18 e 24/03, em 09, 15 e 23/04, em 03+13+31/05, em 02/06 e 02/07. Atualizado em 31/07, 23/08, 04/09, 02, 15, 24, 28, 31/10, e 07+19+22/11.

PS/2:  Criei uma URL curta para facilitar o acesso a este post: https://is.gd/IAeSeguranca.