Como registrar e tratar um incidente relacionado ao uso de IA em saúde

Uma resposta incorreta, um resultado inesperado ou uma falha no funcionamento de um sistema de inteligência artificial pode exigir investigação. Registrar o ocorrido permite entender o que aconteceu, qual foi o impacto e se o uso da ferramenta precisa mudar. O relato inicial não precisa provar que a IA causou o problema.

O que registrar primeiro

Identifique o sistema envolvido, a data, a área em que estava sendo usado e a finalidade daquela utilização. Descreva o resultado apresentado pela IA, o que foi observado pelos profissionais e quais medidas imediatas foram tomadas.

O registro deve conter as informações necessárias para investigar o caso, respeitando as regras da instituição para proteção de dados e sigilo. Relatos recebidos de profissionais, pacientes ou fornecedores podem trazer perspectivas diferentes sobre o mesmo acontecimento.

Como conduzir a análise

1. Verifique o contexto. O sistema estava sendo usado na finalidade e nas condições aprovadas? Houve atualização, mudança no processo ou dificuldade de supervisão humana?
2. Examine as consequências. Identifique se houve dano, risco de dano, atraso, retrabalho ou outro efeito relevante. Diferencie o resultado produzido pela IA das decisões tomadas pelas pessoas que a utilizaram.
3. Defina as providências. Conforme o caso, a instituição pode orientar usuários, corrigir um processo, pedir esclarecimentos ao fornecedor, restringir o uso ou suspendê-lo enquanto investiga.
4. Reavalie o sistema. Verifique se o ocorrido altera a avaliação de risco ou as condições da decisão institucional. Registre quem examinou o caso, o que foi concluído e o que ainda precisa ser acompanhado.

Do relato ao aprendizado

Um incidente não termina quando o formulário é preenchido. As providências precisam ter responsáveis e acompanhamento, e suas conclusões devem estar acessíveis para futuras avaliações do sistema.

Na MedGovernance, o registro de incidentes integra a governança dos sistemas de IA. Relacionar cada ocorrência ao sistema, à sua avaliação e à decisão institucional ajuda a instituição a acompanhar problemas recorrentes e documentar as medidas adotadas. A plataforma organiza esse histórico; a análise do caso e as decisões sobre o cuidado e o uso da ferramenta permanecem com os profissionais e responsáveis da instituição.

Leia também: Como acompanhar um sistema de IA depois da aprovação, como registrar a decisão institucional e conheça a plataforma.