O NIST AI Risk Management Framework (AI RMF) oferece uma abordagem estruturada para ajudar organizações a gerenciar riscos associados ao uso de inteligência artificial (IA).
Com o avanço da adoção de IA, aumentam também os desafios relacionados à segurança, privacidade, vieses, transparência, confiabilidade e impactos sobre organizações e indivíduos.
Nesse cenário, assegurar a confiabilidade dos sistemas de IA exige mais do que testar um modelo antes de implementá-lo.
É necessário um processo contínuo de identificação, avaliação e gestão desses riscos, conforme proposto pelo NIST em seu AI RMF.
Neste artigo, exploraremos o que é o AI RMF, como o framework está estruturado e como aplicar suas principais recomendações na prática.
1. O que é o NIST AI Risk Management Framework?
Desenvolvido pelo National Institute of Standards and Technology (NIST), o NIST AI Risk Management Framework (AI RMF) foi publicado em janeiro de 2023.
Este framework foi criado para apoiar organizações que desenvolvem, implantam, utilizam ou gerenciam sistemas de inteligência artificial.
Seu objetivo não é estabelecer uma lista rígida de requisitos, mas oferecer uma estrutura para que empresas identifiquem, avaliem e tratem riscos de maneira contínua.
Um dos pontos importantes do framework é justamente sua flexibilidade.
Ele é voluntário, não específico para um determinado setor e independente de um caso de uso, podendo ser adaptado às características de cada organização.
O AI RMF também parte de uma premissa importante: risco em IA não deve ser analisado apenas sob uma perspectiva técnica.
O contexto, as pessoas afetadas, os processos, os dados, os modelos e as decisões tomadas ao longo do ciclo de vida também influenciam os riscos.
Por isso, o framework considera como características de uma IA confiável aspectos como:
- Validade e confiabilidade;
- Segurança;
- Proteção e resiliência;
- Responsabilidade e transparência;
- Explicabilidade e interpretabilidade;
- Privacidade aprimorada;
- Equidade com gestão de vieses prejudiciais.
2. Como o NIST AI Risk Management Framework está estruturado?
O núcleo do NIST AI Risk Management Framework (AI RMF) é organizado em quatro funções:
- GOVERN (Governar);
- MAP (Mapear);
- MEASURE (Medir);
- MANAGE (Gerenciar).
Essas funções não devem ser entendidas como etapas rígidas e necessariamente sequenciais.
O próprio NIST destaca que as atividades podem ser aplicadas de maneira iterativa ao longo do ciclo de vida da IA.
A função GOVERN é transversal às demais, enquanto MAP, MEASURE e MANAGE podem ser aplicadas de acordo com o contexto e o estágio do sistema.
Na prática, podemos entendê-las como quatro perguntas:
- Quem define as regras?
- O que pode dar errado?
- Como sabemos que está funcionando?
- O que faremos diante dos riscos?
2.1. GOVERN: estabeleça responsabilidades e regras
A primeira função cria as bases organizacionais para o gerenciamento de riscos de IA.
Isso envolve definir políticas, responsabilidades, processos e mecanismos de governança que orientem o desenvolvimento e o uso desses sistemas.
O objetivo é evitar que a gestão de riscos fique restrita às equipes técnicas.
Segurança, jurídico, privacidade, compliance, negócio, especialistas do setor e outras áreas relevantes podem ter responsabilidades diferentes no ciclo de vida de um sistema de IA.
Outro ponto fundamental é estabelecer a tolerância ao risco da organização e documentar como decisões relacionadas à IA serão tomadas.
Na prática, uma empresa pode começar perguntando:
- Quem é responsável por cada sistema de IA?
- Quais riscos são aceitáveis e quais não são?
- Quem aprova a entrada de um sistema em produção?
- Quais requisitos de segurança, privacidade e conformidade precisam ser atendidos?
- Como incidentes ou resultados inesperados serão tratados?
- Como as decisões serão documentadas?
A governança também deve acompanhar a evolução da tecnologia.
O AI RMF recomenda o gerenciamento contínuo de riscos, incorporando diferentes perspectivas e considerando mudanças no contexto, nas capacidades dos sistemas e nos riscos identificados.
2.2. MAP: entenda o contexto e os riscos
Depois de estabelecer a governança, é necessário entender onde, como e para que a IA será utilizada.
A função MAP existe justamente para estabelecer o contexto do sistema e identificar fatores que podem influenciar seus riscos e impactos.
Isso inclui compreender usuários, objetivos, limitações, requisitos, ambiente de implantação e possíveis consequências do uso da tecnologia.
Imagine, por exemplo, uma organização utilizando IA para analisar documentos enviados por clientes.
O risco não está apenas no modelo utilizado.
É necessário avaliar os dados utilizados, quem pode acessá-los, como os resultados serão utilizados, quais decisões dependem deles e os impactos dos erros do modelo.
O MAP também considera componentes de terceiros, como modelos pré-treinados, softwares e dados externos.
Isso é especialmente relevante no cenário atual, em que muitas organizações utilizam APIs, modelos fundacionais e serviços de IA fornecidos por terceiros.
Ao final dessa análise, a organização deve ter informações suficientes para decidir se deve prosseguir com o desenvolvimento ou a implantação do sistema.
2.3. MEASURE: transforme riscos em métricas
Identificar riscos é apenas o começo.
É preciso determinar como eles serão avaliados.
A função MEASURE estabelece métodos, métricas e processos para testar, avaliar e monitorar os riscos identificados anteriormente.
O NIST recomenda que sistemas de IA sejam avaliados antes da implantação e também regularmente durante sua operação.
Isso pode envolver testes quantitativos e qualitativos, benchmarks, avaliações de desempenho, análise de incerteza e processos de teste, avaliação, verificação e validação.
Dependendo do sistema, as medições podem incluir aspectos como:
- Desempenho e precisão;
- Segurança e resiliência;
- Privacidade;
- Explicabilidade;
- Transparência;
- Equidade e vieses;
- Impactos sobre usuários;
- Comportamento diante de situações inesperadas.
Um ponto importante é que nem tudo precisa ser reduzido a uma única métrica.
Diferentes características de confiabilidade podem entrar em conflito.
Um sistema pode, por exemplo, apresentar maior precisão, mas menor interpretabilidade.
O NIST destaca que esses trade-offs precisam ser avaliados considerando o contexto específico de uso.
Além disso, medir não significa realizar uma avaliação única.
Riscos podem surgir ou mudar depois que o sistema entra em produção, tornando necessário acompanhar seu comportamento continuamente.
2.4. MANAGE: priorize e trate os riscos
A última função transforma as avaliações em decisões e ações.
Com base nas informações obtidas em MAP e MEASURE, a organização deve priorizar os riscos, definir respostas e acompanhar sua evolução.
As estratégias podem envolver mitigação, transferência, aceitação ou até mesmo evitar determinado risco.
Na prática, isso significa responder perguntas como:
- Quais riscos precisam ser tratados primeiro?
- Quais controles serão implementados?
- Quem será responsável pela resposta?
- O sistema pode continuar em produção?
- Quando é necessário interromper ou desativar a IA?
- Como incidentes serão comunicados e tratados?
- Como os controles serão revisados depois de mudanças no sistema?
O MANAGE também contempla riscos relacionados a componentes de terceiros e exige mecanismos de monitoramento pós-implantação, resposta a incidentes, recuperação, mudanças e melhoria contínua.
3. Como aplicar o NIST AI Risk Management Framework na prática?
Embora o NIST AI Risk Management Framework (AI RMF) tenha diversas categorias e subcategorias, sua implementação não precisa começar com uma grande transformação organizacional.
Uma abordagem prática pode seguir cinco passos:
- Faça um inventário dos sistemas de IA: identifique quais ferramentas, modelos e aplicações de IA já são utilizados pela organização, incluindo soluções adquiridas de terceiros;
- Classifique os casos de uso por risco: nem toda aplicação de IA apresenta o mesmo potencial de impacto. Uma ferramenta interna de produtividade pode exigir controles diferentes de um sistema utilizado para apoiar decisões que afetam clientes;
- Defina responsabilidades: estabeleça quem responde pelo sistema, pelos dados, pela segurança, pela avaliação e pelas decisões relacionadas ao uso da IA;
- Crie critérios de avaliação: defina métricas e testes adequados ao contexto. Em aplicações de IA generativa isso pode incluir avaliações de segurança, robustez, exposição de informações, comportamento diante de prompts adversariais e qualidade das respostas;
- Monitore continuamente: o risco não termina quando a aplicação entra em produção. Mudanças no modelo, nos dados, nos usuários ou no contexto de utilização podem alterar seu perfil de risco;
O NIST disponibiliza ainda o AI RMF Playbook, recurso complementar que apresenta ações práticas para ajudar organizações a implementar os resultados esperados pelo framework.
O Playbook também é voluntário e permite adaptar as recomendações às necessidades de cada organização.
4. Considerações finais
O NIST AI Risk Management Framework oferece uma referência prática para incorporar a gestão de riscos ao ciclo de vida dos sistemas de inteligência artificial.
Sua principal contribuição é tratar os riscos de IA como uma responsabilidade contínua, envolvendo pessoas, processos, tecnologia e contexto de uso.
As quatro funções do framework ajudam organizações a estabelecer responsabilidades, compreender riscos, avaliar resultados e definir respostas adequadas.
O AI RMF permite adaptar essas práticas às características, necessidades e níveis de risco de cada organização.
À medida que a adoção de IA avança, incorporar essas práticas pode contribuir para sistemas mais seguros, confiáveis e responsáveis.
Nesse sentido, o AI RMF serve como ponto de partida para organizações que buscam aproveitar os benefícios da IA enquanto gerenciam seus riscos.
Segurança