Opinião · IA na medicina
IA dá a mesma nota de risco do anestesista em 63% dos casos; entre colegas, é 40% a 60%

Antes de uma cirurgia, o paciente recebe uma nota que pouca gente de fora conhece. É a classificação ASA, da Sociedade Americana de Anestesiologistas, uma escala de 6 níveis em que 1 é o paciente saudável e 5, o moribundo. Ela existe desde 1941 e pesa em decisões práticas: onde a operação acontece, quais exames pedir antes e quanta equipe escalar.
Uma equipe americana tentou ensinar uma IA a dar essa nota. A pergunta que me prendeu foi outra: com que gabarito se corrige essa prova?
O gabarito é uma opinião.
Segundo o artigo, quando 2 anestesistas avaliam o mesmo paciente, eles dão exatamente a mesma nota em apenas 40% a 60% das vezes. O estudo, publicado em 5 de novembro no Journal of Medical Internet Research, partiu desse problema.
É retrospectivo, ou seja, olha para trás: 3.000 cirurgias não emergenciais de um hospital universitário do Arkansas, entre agosto de 2024 e maio de 2025. A resposta certa era a nota que o anestesista do dia de fato tinha dado.
A IA lê duas coisas ao mesmo tempo. Um modelo clássico de computador, que aprende com tabelas, olha mais de 400 dados do paciente, como idade, remédios e exames. O GPT-4o, modelo de linguagem do mesmo tipo dos chatbots, lê as anotações em texto livre do prontuário. As 2 leituras viram uma média, com 70% de peso para o texto e 30% para a tabela.
O modelo que só olhava as tabelas é o melhor exemplo de como um número bonito engana. Na validação, ele acertava a nota exata de 66% dos pacientes. Mas dos 29 pacientes que o anestesista tinha classificado no nível 4, os mais graves da amostra, ele colocou todos no nível 3.
A explicação é simples. Dos 500 pacientes da validação, 291 eram nível 3, e quem chutasse sempre 3 já acertaria 58%. A média escondia que o modelo errava justamente quem mais precisava de atenção.
No teste final, com 500 pacientes que a IA nunca tinha visto, a combinação deu a mesma nota do anestesista em 63% dos casos. E em 98% errou por no máximo 1 nível.
Parece uma vitória. Mas 63% contra o gabarito de um único anestesista diz menos do que parece.
O próprio estudo mediu o teto. Dois anestesistas de fora do hospital reavaliaram 50 casos, e a concordância média entre eles e o anestesista do dia ficou em 0,59, numa escala de 0 a 1 que dá o mesmo peso a cada nível, inclusive aos raros. A IA fez 0,53 no teste final, perto desse teto, com uma faixa de incerteza larga.
Houve até um momento em que a IA pareceu passar dos especialistas.
Na validação, o modelo só de linguagem fez 0,64, acima do teto. Só que isso vinha de 2 pacientes de nível 5, os mais raros: acertar os 2 inflou a média, como se a nota da turma desse o mesmo peso a uma pergunta que só 2 alunos responderam. No teste final, o mesmo modelo caiu para 0,49, e os autores admitem esse efeito no texto.
Eu leio isso como uma mudança de gargalo. A pergunta deixa de ser se a IA consegue e passa a ser contra o que ela está sendo medida.
Se o gabarito é a opinião de um único anestesista, que concorda com o colega 40% a 60% das vezes, 63% tanto pode ser pouco quanto pode ser o máximo possível. Quem escreve o gabarito passa a importar tanto quanto quem escreve o algoritmo. É uma aposta minha, não um dado do artigo.
Os autores argumentam que a IA pode ser mais consistente que as pessoas, mas eles mesmos dizem que consistência não é superioridade clínica. O estudo não mediu o que aconteceu com os pacientes depois da cirurgia, só se a nota bateu com a do anestesista.
Há outros limites. Foi um único hospital, sem cirurgias de emergência, e cada nota-gabarito vem de um só anestesista. Entre os pacientes que falam espanhol, apenas 13, a IA acertou 39% das notas, contra 63% no total. Os próprios autores tratam isso como um sinal a investigar, não como uma conta firme.
Quanto ao conflito de interesse, 3 autores trabalham na Qventus, empresa de tecnologia em saúde (2 deles também numa universidade americana), e o quarto é consultor da empresa. O estudo não teve financiamento específico, e os dados vieram de um acordo comercial entre o hospital e a empresa.
Em resumo, uma IA que lê o prontuário inteiro chegou perto do teto que os próprios autores mediram, mas esse teto é baixo porque o gabarito é humano. O estudo veio de um hospital, de uma empresa interessada e sem acompanhar pacientes.
O que ainda não se sabe é se essa nota ajuda o paciente a ir para o lugar certo. É um começo: a IA já lê o prontuário e escreve a justificativa da nota, e minha aposta é que o próximo passo será testá-la em vários hospitais e idiomas, olhando o desfecho do paciente.
Os números, para quem quer conferir
- Amostra: 3.000 cirurgias (2.000 para treinar, 500 para validar, 500 para o teste final)
- Teste final, combinação: acerto exato 63% (faixa de 58% a 67%); erro de no máximo 1 nível em 98% (de 96,8% a 99,2%)
- Teste final, nota que dá o mesmo peso a cada nível: 0,53 (de 0,35 a 0,60); concordância corrigida pelo acaso (kappa): 0,34
- Teto dos especialistas: 0,59 (de 0,44 a 0,70), em 50 casos; de 100 avaliações possíveis dos 2 especialistas, 87 foram feitas (13 sem documentação suficiente)
- Só tabelas, na validação: acerto exato 66% (de 62% a 71%); 29 de 29 pacientes de nível 4 classificados como nível 3
- Só linguagem: 0,64 na validação e 0,49 no teste final; acerto exato de 62% no teste final
- Pacientes da validação por nível: 17 no 1, 161 no 2, 291 no 3, 29 no 4 e 2 no 5; chutar sempre 3 daria 58% (291 de 500)
- Pacientes que falam espanhol, teste final: 13, com 39% de acerto
- Programa que extrai diagnósticos do texto: achou 74% dos fatos clínicos e 85% do que apontou estava certo (221 pacientes à parte)
Fontes
- Pabalan C, Stewart A, Fisher G, et al. American Society of Anesthesiologists Physical Status Classification: Hybrid Machine Learning-Large Language Model Ensemble Retrospective Validation Study. Journal of Medical Internet Research. 5 nov. 2026. Texto completo conferido. DOI: 10.2196/90724. Disponível em: doi.org
Este conteúdo tem caráter exclusivamente informativo e não substitui consulta, diagnóstico ou tratamento médico individualizado. Não se automedique e procure sempre um profissional de saúde.