Para usar inteligência artificial na medicina com segurança, é indispensável avaliar os dados usados no treinamento da ferramenta, o desempenho por diferentes grupos de pacientes, a validação externa e as limitações do modelo, fazendo um monitoramento constante após a implementação.
São esses cuidados que ajudam a identificar vieses algorítmicos, a tendência de uma inteligência artificial apresentar desempenho diferente entre grupos de pacientes, que hoje representa um dos maiores desafios da inteligência artificial na medicina.
Uma boa taxa de acerto não basta para decidir se uma ferramenta de IA é adequada à prática clínica. Isso porque um modelo pode apresentar excelente desempenho médio, mas errar mais em determinados grupos de pacientes, aumentando os riscos para essas populações.
Idade, sexo, raça e etnia, comorbidades, gravidade clínica e contexto de atendimento podem influenciar o comportamento de um algoritmo. Por isso, antes de incorporar uma tecnologia ao fluxo assistencial, o médico precisa saber onde ela funciona, para quem foi validada e em quais situações pode falhar.
Checklist: o que perguntar ao fornecedor de IA?
A avaliação pode começar com cinco perguntas para os responsáveis pelo modelo de IA usado na prática médica.
1. Em qual população o modelo foi treinado?
Pergunte quem está representado nos dados e se essa população é semelhante ao perfil de pacientes atendidos pela instituição.
Verifique:
faixa etária e distribuição por sexo;
raça e etnia, quando pertinentes;
presença de diferentes comorbidades;
nível de complexidade dos pacientes;
origem dos dados e dos locais de atendimento.
Um modelo desenvolvido com dados de um hospital de alta complexidade pode não apresentar o mesmo desempenho em atenção primária ou em organizações de outro país.
2. O desempenho foi analisado por subgrupos?
Muitas vezes, uma “acurácia de 95%” não conta toda a história.
Solicite métricas estratificadas por características relevantes dos pacientes. Dependendo da aplicação, podem ser importantes sensibilidade, especificidade, valores preditivos e taxas de falsos positivos e negativos.
Essa análise ajuda a revelar desigualdades que desaparecem quando todos os pacientes são avaliados em uma única média. Estudos sobre equidade algorítmica recomendam justamente avaliar o desempenho em diferentes grupos e contextos.
Esse é um dos caminhos para identificar viés em IA médica antes que ele seja incorporado à rotina.
3. Houve validação externa?
Resultados obtidos na mesma base usada para desenvolver um modelo não demonstram, sozinhos, que ele funcionará em outros ambientes.
Procure saber:
se houve validação em uma população independente;
se o estudo foi revisado por pares;
se o desempenho foi comparado com a prática clínica;
se existem dados de instituições semelhantes à sua.
A U.S. Food and Drug Administration (FDA) recomenda transparência sobre dados de treinamento e teste, populações pouco representadas, limitações e monitoramento de tecnologias médicas baseadas em machine learning.
4. A ferramenta deixa claras suas limitações?
Uma IA que responde com segurança aparente a qualquer pergunta pode induzir automation bias, levando o profissional a aceitar uma recomendação automatizada mesmo diante de sinais clínicos discordantes.
O fornecedor deve informar o uso previsto, as situações fora do escopo, limitações conhecidas e principais modos de falha.
Transparência não significa necessariamente revelar o código do sistema. Significa fornecer informação suficiente para que o profissional compreenda o que foi avaliado e quais são os limites daquela evidência.
5. Como o sistema será monitorado depois da implantação?
A validação não termina quando o modelo é implementado.
Mudanças no perfil dos pacientes, protocolos, equipamentos ou no próprio modelo podem alterar seu desempenho. Por isso, é importante saber:
quem acompanha os indicadores;
como incidentes são registrados;
como falhas são investigadas;
como atualizações do modelo são comunicadas;
em quais circunstâncias o uso pode ser suspenso.
Como usar a inteligência artificial na medicina sem transferir o viés para a consulta?
Mesmo uma ferramenta validada deve ser interpretada dentro do contexto clínico.
Antes de incorporar uma recomendação da IA à decisão, o médico pode fazer quatro perguntas:
O resultado é compatível com os sinais e sintomas do paciente?
Existe alguma informação clínica relevante que o sistema não recebeu?
Este paciente pertence à população na qual a ferramenta foi validada?
Eu chegaria à mesma hipótese sem a recomendação da IA?
Quando houver divergência, não é necessário escolher automaticamente entre médico e algoritmo. A diferença pode indicar uma limitação do modelo, um dado ausente ou uma hipótese clínica que merece investigação.
Equidade também depende dos dados e do contexto
O viés não nasce necessariamente no algoritmo. Pode surgir na seleção dos dados, na definição do desfecho clínico ou na própria forma de utilização da ferramenta.
Um exemplo conhecido apareceu no estudo Dissecting racial bias in an algorithm used to manage the health of populations, publicado na Science em 2019. Os pesquisadores demonstraram que um algoritmo usado para identificar pacientes para programas de saúde apresentava disparidade racial porque utilizava custos anteriores de assistência como indicador de necessidade clínica.
O caso mostra por que equidade em inteligência artificial exige olhar para as variáveis utilizadas pelo modelo e para o contexto em que ele será aplicado.
LGPD: os dados também precisam entrar no checklist
Dados referentes à saúde são dados pessoais sensíveis, segundo a Lei Geral de Proteção de Dados (LGPD).
Antes de implementar uma solução, a instituição deve entender quais informações são coletadas, para qual finalidade, onde são armazenadas, quem pode acessá-las e se podem ser utilizadas para treinamento ou aperfeiçoamento de modelos.
Privacidade, portanto, não é uma etapa separada da avaliação de IA. Faz parte da governança da tecnologia.
Qual é a responsabilidade do médico?
A Resolução CFM nº 2.454/2026 estabelece regras para pesquisa, desenvolvimento, governança, auditoria, monitoramento e uso responsável da IA na medicina. A norma também estabelece a responsabilidade do médico pelos atos médicos praticados com utilização de IA.
Na prática, isso reforça um princípio simples: a IA pode apoiar o raciocínio clínico, mas não substitui a responsabilidade profissional pela decisão médica.
A OMS também recomenda princípios como autonomia humana, segurança, transparência, responsabilidade, inclusão e equidade no desenvolvimento e uso da IA em saúde.
O que verificar antes de adotar uma IA médica?
Antes de adotar uma ferramenta, verifique:
Conheço sua finalidade clínica.
Sei em qual população foi treinada e validada.
Tenho dados de desempenho por subgrupos.
Existe validação externa independente.
Conheço suas limitações e situações de falha.
Sei como as atualizações serão comunicadas.
Existe monitoramento após a implantação.
Há mecanismos para registrar incidentes.
O tratamento dos dados atende à LGPD.
O médico permanece no controle da decisão clínica.
A pergunta mais útil antes de adotar uma IA não é apenas “ela funciona?”. É: “para quais pacientes, em qual contexto e com quais limitações ela funciona?”
Essa mudança de perspectiva ajuda a transformar a adoção de inteligência artificial na medicina em uma decisão baseada em evidências, governança e responsabilidade clínica.
Perguntas frequentes (FAQ)
Como médicos podem identificar viés em uma ferramenta de IA?
Solicitando dados de desempenho por subgrupos, verificando a população de treinamento e validação e comparando o resultado da IA com os dados clínicos disponíveis. Métricas médias podem esconder diferenças importantes entre grupos.
De quem é a responsabilidade pelo uso da IA na medicina?
No Brasil, a Resolução CFM nº 2.454/2026 estabelece que o médico permanece responsável pelos atos médicos praticados com utilização de IA. A tecnologia deve funcionar como apoio, sem transferir a decisão clínica para o algoritmo.
Uma IA pode ser considerada livre de vieses?
Não é adequado presumir que uma ferramenta esteja completamente livre de vieses. O mais importante é identificar possíveis fontes de distorção, medir diferenças de desempenho, reduzir riscos e monitorar o sistema após sua implementação.
O que deve ser avaliado antes de implementar uma IA médica?
População de treinamento, validação externa, desempenho por subgrupos, limitações conhecidas, segurança dos dados, finalidade clínica, monitoramento pós-implantação e mecanismos para registro de incidentes.
Artigos Relacionados
