Assessment of small-scale Large Language Models for portuguese-language patient triage and risk referral

Abstract

Este estudo investiga a aplicação de Modelos de Linguagem de Grande Escala no processo de triagem e classificação de risco de pacientes. O objetivo principal é avaliar se modelos menores podem executar essa tarefa de forma eficiente. Foram analisados quatro LLMs de pequeno porte — gpt-oss:20b, llama3.1:8b, gemma3:12b, e deepseek-r1:14b — utilizando 39 casos de teste fictícios para medir desempenho, consistência e confiabilidade. Cada caso foi testado com três prompts distintos e três validações por prompt. Os resultados indicam que, embora apresentem desempenho compatível com seus tamanhos, os modelos avaliados ainda não oferecem confiabilidade suficiente para aplicação direta em contextos clínicos. Apesar disso, o estudo permite identificar padrões de comportamento e possíveis caminhos para aprimorar o uso dessas tecnologias.