RMMG - Revista Médica de Minas Gerais

Artigo de Revisão

Uso de Inteligências Artificiais na educação médica de graduação: uma revisão de escopo

Use of Artificial Intelligences in undergraduate medical education: a scoping review

Davi Ricardo Soares Gama de Amorim; Daniel Gondim Malta; Abla Vitórya Nejaim Tenório Xavier, Rafael Vieira de Menezes; Hugo Rafael de Souza e Silva

Universidade de Pernambuco (UPE), Recife, Pernambuco, Brasil

Endereço para correspondência

Davi Ricardo Soares Gama de Amorim
Departamento de Medicina da UPE, Pernambuco.
Email: davi.amorim@upe.br

Recebido em: 10 Setembro 2025.
Aprovado em: 12 Fevereiro 2026.
Data de Publicação: 09 Junho 2026.

Editor Associado Responsável:

José Maria Peixoto
Faculdade de Medicina da UNIFENAS. Belo Horizonte/MG, Brasil.

Fontes apoiadoras: Não há.

Conflito de Interesses: Não há.

Resumo

INTRODUÇÃO: A inteligência artificial (IA) pode personalizar a aprendizagem e aprimorar o ensino em medicina, mas seu uso na graduação ainda é pouco explorado. Este estudo mapeou a produção científica sobre IA no ensino médico, identificando lacunas e evidências para sua integração.
MÉTODOS: Foi desenvolvida uma revisão de escopo, conforme os itens do PRISMA Extension for Scoping Reviews, que seguiu 5 etapas: 1) elaboração da pergunta de pesquisa seguindo o método População, Contexto, Conceito; 2) seleção das bases de dados e definição das estratégias de busca; 3) exportação dos estudos recuperados para o Rayyan e estabelecimento dos critérios de elegibilidade; 4) seleção dos artigos resgatados por 2 revisores blindados/independentes; 5) construção de uma planilha com a síntese das evidências, segundo o modelo Joanna Briggs Institute Manual for Evidence Synthesis.
RESULTADOS: Os estudos revelaram aplicações inovadoras da inteligência artificial na educação médica. Tecnologias como VOA, AmbuBPS, A-LRYNGO e HipGuide apoiaram o treinamento prático, melhorando o desempenho dos estudantes em procedimentos específicos. O COMET e ferramentas baseadas em aprendizado de máquina mostraram resultados comparáveis aos de tutores humanos na avaliação. Grandes modelos de linguagem, especialmente o ChatGPT, apesar das limitações, demonstraram competência em gerar e resolver questões em várias disciplinas e em produzir textos médicos. Jogos interativos com chatbots e pacientes virtuais também mostraram potencial como recursos de apoio ao aprendizado.
CONCLUSÕES: A introdução da inteligência artificial no ensino de graduação em medicina tem se mostrado benéfica tanto para professores quanto para alunos, com uma gama de aplicações que vão desde a melhoria da dinâmica de aprendizagem até a formulação de perguntas. No entanto, é necessária uma investigação mais robusta para aprofundar a compreensão do tema, generalizar os resultados e facilitar a integração total da IA.

Palavras-chave: Inteligência Artificial; Educação de Graduação em Medicina; Modelos de Linguagem de Grande Escala;

 

INTRODUÇÃO

A Inteligência Artificial (IA) configura um sistema computacional que simula e sistematiza aspectos específicos da inteligência humana ou do comportamento inteligente, como aprendizagem, intelectualidade e resolução de problemas¹. Esse termo foi empregado pela primeira vez em 1956 por John McCarthy na Conferência de Dartmouth. Segundo ele, a inteligência artificial era "a ciência e a engenharia de fabricar máquinas inteligentes"².

Nesse sentido, entende-se que a IA é composta por três paradigmas principais: o simbólico (baseado na lógica e no conhecimento), o estatístico (métodos probabilísticos e aprendizado de máquina) e o subsimbólico (inteligência embarcada e pesquisa). Esses paradigmas abordam vários domínios de problemas, como percepção, raciocínio, conhecimento, planejamento e comunicação³. Embora existam diferentes categorias de inteligência artificial, Machine Learning (ML)⁴ destaca-se, que é um sistema que treina um modelo preditivo - identificando padrões em dados de entrada - e o utiliza para fazer previsões úteis a partir de dados novos e inéditos¹.

Porém, é importante ressaltar que nem todo algoritmo de aprendizado de máquina é universal e capaz de resolver todos os tipos de problemas. Assim, torna-se crucial selecionar conjuntos de dados apropriados para resolver um problema específico. Nesse sentido, as Redes Neurais Artificiais desempenham um papel significativo. São modelos matemáticos inspirados em estruturas neurais biológicas, adquirindo capacidade computacional por meio do aprendizado⁵.

Outra tarefa da inteligência artificial envolve o processamento de linguagem natural, que abrange a capacidade da máquina de compreender a linguagem humana. Porém, não consiste simplesmente em reconhecer as letras que formam uma palavra e depois combiná-las com uma definição; o algoritmo é usado para obter uma compreensão da sintaxe e da semântica para aproximar o significado de frases, sentenças ou parágrafos⁴.

Devido à sua complexidade, embora a inteligência artificial esteja muitas vezes associada apenas a computadores ou robôs, a sua aplicação pode ser observada em vários domínios, abrangendo áreas como filosofia, psicologia, linguística, estatística⁴ e até mesmo na graduação em medicina.

No que diz respeito à educação médica, a capacidade da IA para modificar e personalizar o processo de aprendizagem é uma das possibilidades futuras mais evidentes nesta área. A inteligência artificial pode contribuir para atender às necessidades específicas dos alunos em meio ao contexto crescente da digitalização, uma vez que possuem preferências e estilos de aprendizagem distintos. A IA pode fornecer conteúdo instrucional adaptativo adequado às lacunas de conhecimento e velocidade de aprendizagem de cada aluno, analisando grandes quantidades de dados e usando algoritmos de aprendizado de máquina⁶.

Contudo, a mencionada contribuição da inteligência artificial no ensino de graduação médica ainda não foi totalmente elucidada na literatura, tornando-se crucial para uma análise mais aprofundada de informações relevantes sobre o tema. Por esse motivo, realizamos uma revisão de escopo para mapear a pesquisa científica em dois eixos: o uso de inteligências artificiais como ferramentas de apoio ao ensino-aprendizagem na graduação médica e sua proficiência em diversos componentes curriculares, permitindo identificar lacunas de conhecimento e seus indicadores de evidência, além de sumarizar e disseminar as principais descobertas científicas.

 

OBJETIVOS

Mapear a literatura científica sobre o uso de inteligências artificiais como ferramentas de suporte ao ensino-aprendizagem na educação médica de graduação, bem como sua proficiência nos componentes curriculares, a fim de identificar lacunas de conhecimento e indícios de evidência.

 

MÉTODOS

O presente estudo consiste em uma revisão de escopo, cuja elaboração seguiu o checklist PRISMA-ScR⁷. A opção da revisão de escopo como método de pesquisa justifica-se por permitir a identificação, análise e investigação de evidências e lacunas científicas, bem como a compreensão das características, conceitos e definições teóricas do campo de conhecimento proposto⁸.

Fonte de dados e pesquisa

Para a realização do estudo, foram seguidas 5 etapas: 1 - elaboração da pergunta de pesquisa seguindo o método População (P), Contexto (C), Conceito (C) - PCC; 2 - seleção das bases de dados a serem utilizadas e definição dos termos e estratégias de busca correspondentes; 3 - exportação dos estudos recuperados para o gerenciador Rayyan e estabelecimento dos critérios de inclusão e exclusão; 4 - seleção dos artigos resgatados por 2 revisores blindados/independentes, que seguiram os critérios em prol de uma maior qualidade de evidência; 5 - construção da planilha com a síntese das evidências encontradas, em conformidade com o modelo JBI Manual for EvidenceSynthesis⁹.

A pergunta de pesquisa, formulada seguindo o método PCC, foi estabelecida da seguinte maneira: "Em que medida a adoção de inteligências artificiais (IAs) como ferramentas de apoio à educação médica de graduação dinamiza a eficácia pedagógica de docentes e a experiência de aprendizado dos estudantes?" P (população) - docentes e estudantes de cursos de graduação em medicina; C (conceito) - adoção de IAs na dinamização da eficácia pedagógica e experiência de aprendizado; C (contexto) - educação médica de graduação.

Para identificar estudos potencialmente relevantes, foram eleitas as seguintes bases da literatura científica: PubMed, Scientific Electronic Library (SciELO), Web of Science via coleção principal (Clarivate Analytics), Scopus (Elsevier) e Biblioteca Virtual em Saúde (BVS). Em seguida, os termos de busca foram definidos com base no catálogo da National Library of Medicine (NIH), que compila os Mesh Terms adequados ao tema. Tais termos, associados aos operadores booleanos, compuseram a seguinte estratégia de busca: ("Inteligência Artificial" OR "AI" OR "Aprendizado de Máquina" OR Chatbot "OU "ChatGPT") AND ("Educação Médica").

Seleção dos estudos e critérios de inclusão e exclusão

As pesquisas recuperadas nas 5 bases de dados foram exportadas para o gerenciador de referências Rayyan, uma ferramenta desenvolvida pelo Qatar Computing ResearchInstitute (QCRI) para dinamizar a seleção dos manuscritos. Concomitantemente, os pesquisadores estabeleceram os critérios de inclusão e exclusão que orientaram a etapa de seleção. Dessa forma, foram considerados para inclusão neste estudo manuscritos publicados entre os anos de 2000 e 2023, em qualquer idioma, oriundos de investigações primárias que abordassem a aplicação e/ou análise do uso de inteligências artificiais como suporte ao ensino-aprendizagem na educação médica de graduação. Além disso, foram incorporados estudos que avaliaram a proficiência dessas ferramentas nos componentes curriculares da graduação e no desempenho de atividades docentes. Em contrapartida, foram excluídos artigos que abordavam estudantes de outras áreas, bem como estudos teóricos, revisões, editoriais e artigos de opinião, devido ao seu nível reduzido de evidência científica.

Para reforçar a solidez da pesquisa, dois avaliadores blindados/independentes (D.R.S.G.A; D.G.M.) seguiram um processo de 4 etapas para examinar as publicações recuperadas: inicialmente, foram removidas as duplicações de artigos entre as bases de dados, a fim de evitar erros de análise; em seguida, foram utilizados os filtros do Rayyan para excluir todos os estudos de revisão; logo após, foram analisados os títulos e resumos dos estudos remanescentes, excluindo aqueles que não atendiam aos critérios definidos; e, por fim, foi realizada a leitura na íntegra dos manuscritos cujos títulos e resumos não eram conclusivos em relação aos critérios de elegibilidade, incluindo nesta pesquisa aqueles que cumpriam o objetivo da revisão. As eventuais discordâncias entre os dois avaliadores foram solucionadas por um terceiro pesquisador (R.V.M.), chegando ao conjunto dos artigos que compuseram o presente estudo. Tais etapas de seleção e suas respectivas quantidades de artigos associados foram organizadas graficamente em um fluxograma (Figura 1).

 

 

Extração e análise de dados

Após concluir a seleção, os dois avaliadores independentes desenvolveram um formulário de mapeamento de dados para identificar as variáveis a serem extraídas dos estudos revisados. Em um processo interativo de registro e atualização do formulário, as informações relacionadas ao uso de inteligências artificiais como suporte ao ensino-aprendizagem na educação médica de graduação foram organizadas em um quadro Word, com quaisquer divergências sendo resolvidas pelo pesquisador sênior, H.R.S.S. As variáveis registradas seguiram as diretrizes do JBI Manual for Evidence Synthesis⁹, abrangendo aspectos como autoria, ano de publicação, país de origem, objetivos, desenho do estudo, tamanho amostral e principais desfechos, os quais compuseram o quadro de evidências do presente estudo (Anexo 1), contemplado nos materiais suplementares. Ademais, elaboramos os gráficos apresentados nesta revisão através do Word.

 

RESULTADOS

Durante a fase de identificação das publicações, foram recuperados um total de 3.737 manuscritos, oriundos de diversas bases de dados conceituadas. Essas fontes incluíram 1.491 da PubMed, 7 da SciELO, 348 da Web of Science, 1.203 da Scopus e 688 da Biblioteca Virtual em Saúde. Em seguida, utilizando os filtros disponíveis no Rayyan, excluímos 1.174 estudos duplicados, resultando em 2.563 citações. Destes, 2.442 manuscritos foram removidos após análise dos títulos e resumos, restando 121 artigos. Dentre este quantitativo remanescente, 72 foram excluídos por apresentarem desenhos de estudo que não estavam alinhados aos critérios desta revisão, 20 por não abordarem o uso prático de inteligências artificiais na educação médica de graduação e 5 por envolverem estudantes de outros cursos. Ao final, restaram 24 artigos que foram considerados elegíveis para inclusão nesta revisão. O supracitado processo de triagem foi registrado por meio de um fluxograma (Figura 1).

Na elaboração desta revisão de escopo, a Índia destaca-se como origem primária dos estudos selecionados (n=5)^10-14, seguido pelos EUA^15-17 e Canadá^18-20, ambos com n=3 cada. Posteriormente, Alemanha^21,22 e Coreia do Sul^23,24 (n=2). Outros países representados incluem Austrália²⁵, Arábia Saudita²⁶, Singapura²⁷, Dinamarca²⁸, França²⁹, Tailândia³⁰, Taiwan³¹, Turquia³² e Sérvia³³, todos com 1 estudo cada.

Quanto aos tipos de estudos, mais da metade consiste em Estudos Transversais (n=13), o que representa 54,16% do total de manuscritos^{10-16,18,21-23,26,32,33}. Dentre estes, 92,30% são estudos transversais quantitativos^{10-14,16,18,21-23,26,32,33}, e 7,69% são estudos transversais qualitativos¹⁵. A seguir, são observados Ensaios Controlados Randomizados (n=5), representando 20,83% dos manuscritos^{20,24,28,29,31}. Por fim, Estudos de Métodos Mistos (n=3) compreendem 12,50% dos artigos^17,25,30 e Estudos de Coorte (n=2) contabilizam 8,33% das citações^19,27.

Dessa forma, os vinte e quatro estudos investigaram o uso de Inteligências Artificiais (IAs) como ferramentas de suporte ao ensino-aprendizagem na educação médica de graduação. Com o intuito de facilitar a compreensão das diversas aplicações de Inteligências Artificiais nesse contexto, os manuscritos foram classificados e organizados em cinco categorias. A 1ª categoria abrange os estudos em que as Inteligências Artificiais foram utilizadas no treinamento prático dos estudantes, como em ensaios de procedimentos cirúrgicos; a 2ª categoria reúne estudos em que as IAs foram utilizadas na execução de atividades docentes, como na elaboração de questões; a 3ª categoria agrupa os manuscritos que testaram a proficiência das IAs nos componentes curriculares da graduação médica, como na resolução de questões de diferentes disciplinas; a 4ª categoria engloba as pesquisas que avaliaram uso das inteligências artificiais na produção de informações científicas, em comparação com as fontes tradicionais de evidência; e, por fim, a 5ª categoria concentra os estudos que abordaram o impacto dessas ferramentas na aquisição de conhecimento e desempenho acadêmico dos discentes, a partir de uma análise qualitativa e quantitativa. Para esquematizar essa classificação, elaborou-se uma tabela com a relação de artigos correspondentes a cada categoria (Tabela 1).

 

 

Ademais, vale ressaltar que, entre as ferramentas de IA mencionadas pelos manuscritos, as que mais se destacaram foram o ChatGPT e suas versões^{10-15,18,21-23,26,32,33}, sendo objeto de pesquisa em 54,16% dos estudos. Depois disso, a Microsoft Bing^10,12,21 e Google Bardo^10,12,32 foram citados em 12,50% dos artigos cada. Já o instrumento VOA (Assistente Operativo Virtual)^19,20 e outros modelos de Machine Learning (ML)^17,25 foram citados, cada um, em 8,33% das referências. Por último, A-LRYNGO²⁴, AmbuBPS²⁸, COMETA³⁰, ChatScript¹⁶, Progresso do bate-papo²⁹, HipGuide³¹ e VIP (Virtual Integrated Patient)²⁷ foram, individualmente, referenciados em 4,16% das fontes. O número de estudos que abordaram cada inteligência artificial pode ser observado na Figura 2, e relatamos a distribuição dessas IAs entre as categorias supracitadas na Tabela 2.

 

 

 

 

1ª categoria: utilização da inteligência artificial na formação prática de alunos

Entre os estudos, 20,83% ressaltaram o emprego da IA no treinamento prático dos alunos, considerando parâmetros como maior precisão e qualidade técnica, redução do tempo de execução e segurança na execução dos procedimentos^{19,20,24,28,31}. Nesta análise, observou-se que o Virtual Operative Assistant (VOA) - um sistema de tutoria inteligente - foi capaz de melhorar a precisão e o desempenho dos alunos do grupo teste durante uma cirurgia de ressecção tumoral, pois sua aplicação foi associada a uma redução considerável na taxa de remoção de tecido cerebral saudável durante a cirurgia, indicando uma melhoria na segurança do procedimento¹⁹. Outro aspecto relevante é que, após casos de ressecção subpial, o feedback da inteligência artificial (VOA) pode ser mais eficaz para melhorar o desempenho em procedimentos cirúrgicos simulados do que a instrução por especialistas ou a ausência de feedback²⁰. No entanto, é válido salientar que ocorreram algumas alterações não intencionais, como uma diminuição na velocidade e aceleração da mão dominante, o que pode exigir uma avaliação mais aprofundada¹⁹.

De maneira semelhante, outras inteligências artificiais, como AmbuBPS, A-LRYNGOe HipGuide também proporcionaram resultados positivos na melhoria do aprendizado e do treinamento prático de broncoscopias, laringoscopias e análise de fraturas, respectivamente^24,28,31. O AmbuBPS é um sistema que utiliza inteligência artificial e foi projetado para auxiliar em treinamentos médicos. A tecnologia inclui um escopo de uso único e um conjunto de recursos em tempo real, como rótulos na tela, um diagrama da árvore pulmonar e um escore de progressão estruturada (SP). Esses recursos visam a melhorar a prática de broncoscopia, fornecendo feedback em tempo real sobre o posicionamento e o reconhecimento de segmentos bronquiais. No estudo em questão, o AmbuBPS proporcionou resultados superiores em comparação ao grupo controle, especialmente na coordenação da dinâmica, tempo de prova e análise de sequência padrão, permitindo aos discentes sentirem-se mais seguros com o procedimento e mais envolvidos no aprendizado da broncoscopia²⁸. No contexto da técnica da laringoscopia, a orientação da glote com base em inteligência artificial utilizando o A-LRYNGO - um videolaringoscópio tipo canal acoplado a um sistema de inteligência artificial - foi promissora, alcançando uma orientação precisa da maioria dos participantes. O estudo destacou que o treinamento prático contribuiu para a melhoria do desempenho dos alunos, evidenciando diferenças notáveis entre os diversos laringoscópios e ressaltando a influência positiva da inteligência artificial na orientação da glote²⁴. Em relação ao uso da IA HipGuide - um sistema de IA para detecção de fratura de quadril - na ortopedia, os participantes foram divididos em dois grupos: AIL (grupo teste) e CL (grupo controle). No grupo CL, a pontuação pós-aprendizagem não apresentou diferenças significativas em comparação com a pré-aprendizagem, enquanto no grupo AIL, todos os alunos registraram melhorias significativas com o suporte da IA na interpretação e análise de fraturas em quadril, resultando em pontuações consideravelmente superiores às da pré-aprendizagem³¹.

2ª categoria: utilização da inteligência artificial nas atividades docentes

Outro aspecto analisado foi o uso das inteligências artificiais na realização das atividades docentes, como tutoria, elaboração de questões ou mesmo para avaliação das atividades dos estudantes^{12,16,17,25,30,32}, totalizando 25% dos estudos. Nesse parâmetro, pode ser visto que IAs como COMET e ferramentas de ML conseguiram se equiparar ou mesmo superar tutores humanos e o corpo docente na avaliação dos estudantes em atividades específicas^17,30. O sistema de tutoria inteligente COMET demonstrou eficácia equiparada a tutores humanos para o acompanhamento e avaliação de estudantes de medicina submetidos ao método de ensino PBL³⁰. De maneira similar, a aprendizagem de máquina (ML) revelou-se promissora na análise formativa do raciocínio clínico escrito de estudantes de medicina, sendo capaz de avaliar ensaios de justificação diagnóstica de maneira tão ou mais confiável do que as avaliações do corpo docente¹⁷. Por outro lado, o ChatScript não apresentou a mesma eficácia nesse tipo de tarefa, tendo um desempenho inferior ao do ser humano na avaliação do desempenho dos estudantes de medicina nos exames clínicos objetivos estruturados (OSCEs), testes feitos com o intuito de avaliar as habilidades comunicativas no contexto de conversas clínicas e entrevistas médicas, conforme pôde ser observado em outro estudo¹⁶. Ademais, no aspecto qualitativo, verificou-se a divergência entre os estudantes acerca da marcação por computador (Machine Learning) de exames escritos. Na referida pesquisa, mais da metade dos alunos expressaram dúvidas sobre a capacidade dos computadores em realizar uma marcação suficientemente precisa, embora a maioria concordasse que a marcação por computador seria mais objetiva do que a marcação feita por humanos²⁵.

No que diz respeito à capacidade de formular questões, o ChatGPT, o Microsoft Bing e o Google Bard demonstraram potencial na execução da tarefa, mas também apresentaram limitações^12,32. Um dos estudos revisados examinou a habilidade dessas ferramentas de criar perguntas de múltipla escolha sobre fisiologia e destacou o êxito do ChatGPT e do Google Bard em todas as competências de conteúdo avaliadas, diferindo do Bing, que apresentou falhas em duas competências. Contudo, é importante notar que nenhuma das inteligências artificiais conseguiu gerar um número significativo de questões de múltipla escolha que exigissem um alto nível de compreensão do assunto¹². Em outro estudo que avaliou diferentes versões do ChatGPT e do Google Bard na criação de perguntas de anatomia, alguns dos exemplares gerados pelo ChatGPT foram considerados incorretos pelos avaliadores anatomistas³².

3ª categoria: proficiência em inteligência artificial nos componentes curriculares da graduação médica

Adicionalmente, buscou-se compreender a proficiência das IAs nos componentes curriculares da graduação médica, tanto na resolução de questões quanto em estudos de caso. Sob essa ótica, 41,67% dos estudos podem ser agrupados nesse eixo de análise^{10,11,13,14,18,21-23,26,32,33}. Nesse contexto, merece destaque o ChatGPT, que se sobressaiu como a inteligência artificial mais eficaz ao lidar com questões de diversas disciplinas, como anatomia e fisiologia, além de demonstrar sua utilidade na aplicação de estudos de casos de fisiologia e em análises bioestatísticas. Com o objetivo de ilustrar a distribuição dos estudos de proficiência nas diversas áreas da graduação, elaborou-se um gráfico (Figura 3), e suas respectivas referências foram organizadas por meio da Tabela 3.

 

 

 

 

Em um dos estudos, a análise concentrou-se no desempenho de três Large Language Models (LLMs): GPT-4, GPT-3.5-Turbo e Bing. Especificamente, foram examinadas as habilidades desses modelos de resolver questões retiradas dos Exames do Estado Médico Alemão de 2022, considerando cenários com e sem a presença de mídia nas perguntas, e comparando os desempenhos das IAs entre si, e em relação aos alunos, nos exames de primavera e outono de 2022. Comparando as inteligências artificiais entre si no exame de primavera, o GPT-4 destacou-se ao apresentar melhor desempenho na resolução de questões com mídia, seguido pelo Bing e pelo GPT-3.5-Turbo. Quando as questões com mídia foram excluídas, o Bing apresentou melhor desenvoltura na resolução de questões, seguido pelo GPT-4 e pelo GPT-3.5-Turbo. Em comparação com os alunos, o GPT-4 e o Bing apresentaram desenvoltura superior, enquanto o GPT-3.5-Turbo apresentou desempenho comparável ao dos discentes. Comparando as inteligências artificiais entre si no exame de outono, o GPT-4 demonstrou melhor desempenho na resolução de questões com mídia, seguido pelo Bing e pelo GPT-3.5-Turbo. Já quando as questões com mídia foram retiradas, o Bing e o GPT-4 apresentaram desempenhos semelhantes, enquanto o GPT-3.5-Turbo obteve um desempenho inferior. Em comparação com os alunos, o GPT-4 e o Bing mantiveram um desempenho na resolução de questões superior ao dos discentes, porém o GPT-3.5-Turbo obteve resultados inferiores aos dos alunos nesse segundo exame. De modo geral, o GPT-4 apresentou os melhores resultados, seguido pelo Bing com desempenho intermediário e, por último, pelo GPT-3.5-Turbo com a menor desenvoltura²¹. Em outro manuscrito, foi comparada a proficiência das inteligências artificiais na resolução de questões de anatomia em diferentes domínios linguísticos. Com esse intuito, analisaram-se as respostas fornecidas pelas IAs a dois usuários distintos que fizeram as mesmas perguntas. A intenção era verificar se as respostas obtidas em acessos separados eram consistentes ou exibiam variações. Assim, foi revelado que o ChatGPT na linguagem turca alcançou o maior desempenho, seguido pelo Google Bard, também em turco. As demais IAs, incluindo o primeiro usuário do Google Bard em turco, o ChatGPT em inglês e o Google Bard em inglês, apresentaram taxas variadas. Entretanto, nenhuma delas atingiu uma pontuação significativa³².

Um outro artigo avaliou o desempenho das IAs em estudos de caso de fisiologia, demonstrando que o ChatGPT apresentou consistentemente o melhor desempenho, obtendo pontuações mais elevadas - que foram atribuídas por ambos os avaliadores - em comparação com o Bing e o Google Bard. Os dados detalhados revelam que, em média, o ChatGPT alcançou uma pontuação superior em desempenho entre as três IAs, considerando diferentes sistemas fisiológicos, enquanto o Bing registrou pontuações significativamente mais baixas. O Bard se posicionou como intermediário nessa avaliação¹⁰.

Quanto ao desempenho das Inteligências Artificiais na resolução de questões dos componentes curriculares, é crucial atentar para os resultados divergentes apresentados por um manuscrito, especialmente no que diz respeito à capacidade de solucionar problemas bioestatísticos em diferentes versões do ChatGPT. O GPT-3.5 demonstrou eficácia na resolução de tarefas envolvendo dados categóricos, estudo transversal e teste t para dados pareados, contudo apresentou dificuldades em questões relacionadas ao teste qui-quadrado, análise de variância unidirecional (ANOVA) e tamanho da amostra. Em contraste, o GPT-4 teve um desempenho mais abrangente, conseguindo resolver algumas dessas questões adicionais em tentativas subsequentes³³.

Adicionalmente, é pertinente examinar o desempenho das respostas do ChatGPT em relação aos conteúdos das questões. Em um estudo que envolveu perguntas de múltipla escolha, observou-se que o ChatGPT apresentou pontuações mais baixas em medicina legal e radiologia, contrastando com uma elevada pontuação em dermatologia²². Da mesma forma, ao avaliar a eficácia do ChatGPT na resolução de questões fundamentais em fisiologia, destaca-se que a fisiologia cardiovascular alcançou a pontuação mais alta, seguida pela neurofisiologia, enquanto a endócrina registrou a menor pontuação¹³. Em um estudo sobre a habilidade do ChatGPT em responder questões de microbiologia, verificou-se que a categoria de infecções do sistema nervoso central obteve a pontuação mais elevada, enquanto sistemas gastrointestinal e hepatobiliar obtiveram a menor pontuação¹¹. Reforçando essas análises, constatou-se que o ChatGPT demonstrou capacidade de responder a questões de ordem superior na área da bioquímica médica, embora seu desempenho tenha sido variável entre as competências da disciplina¹⁴. Por fim, em outro estudo realizado com o ChatGPT, percebeu-se que ele foi capaz de responder a questões de múltipla escolha nas ciências médicas básicas e clínicas, demonstrando um nível de conhecimento satisfatório. No entanto, o desempenho foi ligeiramente superior nas questões básicas em comparação com as questões clínicas²⁶.

Por outro lado, em um estudo que comparou as respostas dos alunos às do ChatGPT na resolução de Exercícios de Aplicação de Conceitos (CAEs), as pontuações atribuídas pelos tutores revelaram uma qualidade superior das respostas do ChatGPT em comparação com as dos participantes discentes. Contudo, tanto o desempenho do ChatGPT quanto o dos alunos na pesquisa foram inferiores em relação a um grupo de estudantes previamente submetido ao CAEs¹⁸. Da mesma forma, em uma análise sobre parasitologia, o desempenho do ChatGPT foi considerado inferior ao dos estudantes de medicina. Algumas limitações identificadas nessa Inteligência Artificial incluíram a incapacidade de interpretar figuras e gráficos, o desconhecimento de dados epidemiológicos específicos da Coreia e a dificuldade em compreender perguntas de múltipla escolha²³.

4ª categoria: utilização da inteligência artificial na produção de informação científica, em comparação com fontes tradicionais de evidência

Além disso, foi avaliada a qualidade das produções científicas, especialmente artigos, geradas pelas inteligências artificiais, em comparação com as fontes de evidência tradicionais, correspondendo a 4,17% dos estudos^15,32. Um estudo investigou a percepção de estudantes de medicina e de leigos sobre os artigos produzidos pelo ChatGPT, em contraste com as informações de um livro de cirurgia baseado em evidências. Essa pesquisa revelou que os estudantes de medicina consideraram os textos do livro mais abrangentes do que os gerados pelo ChatGPT na abordagem de cada uma das 5 condições cirúrgicas escolhidas. Contudo, os artigos do ChatGPT foram considerados mais claros pelos estudantes de medicina em 4 das patologias cirúrgicas estudadas. Paralelamente, os leigos da população geral notaram uma clareza superior nos artigos do ChatGPT relacionados à apendicite e uma melhor organização nos que abordavam a diverticulite¹⁵. Em um outro manuscrito deste eixo, foi avaliada a capacidade de redação científica sobre anatomia pelo ChatGPT e pelo Google Bard. Verificou-se que os artigos produzidos por ambas as IA foram menos detalhados e de nível básico em comparação com trabalhos científicos previamente elaborados sobre o tema, além de não apresentarem referências. Contudo, é digno de nota que, entre as duas inteligências artificiais analisadas, o ChatGPT se destacou ao criar um texto mais aderente às normas acadêmicas, apresentando uma estrutura mais refinada e alinhada com a organização padrão requerida para esse tipo de conteúdo³².

5ª categoria: impacto da inteligência artificial na aquisição de conhecimento e no desempenho acadêmico dos alunos, por meio de uma análise qualitativa e quantitativa

Ademais, sob uma abordagem tanto qualitativa quanto quantitativa, foi mensurado o impacto na aquisição de conhecimento e desempenho acadêmico dos discentes ao utilizarem IAs, correspondendo a 12,50% dos estudos^27-29. Um desses estudos enfatizou o impacto positivo de jogos interativos que incorporam inteligência artificial, fazendo uso da tecnologia de Chatbot (Chatprogress), na abordagem de temas de pneumologia. Essa metodologia educacional não apenas superou as expectativas ao aprimorar o desempenho dos estudantes nos subtestes de pneumologia, mas também trouxe benefícios para a realização do exame global, que abrangia áreas como cardiologia, medicina intensiva e pneumologia. Além disso, dados qualitativos revelaram a alta satisfação dos estudantes com a nova ferramenta de aprendizado, demonstrando interesse contínuo em seu uso²⁹. Outro estudo evidenciou que o uso do Paciente Virtual Integrado (VIP) - um simulador virtual de paciente que lança mão dos avanços da inteligência artificial na área de tecnologia de conversação naturalista - ajudou os estudantes de medicina a lembrar os conteúdos metodológicos ensinados nas aulas, aprimorou a compreensão de diferentes casos clínicos, aumentou a confiança e os seus desempenhos na realização de anamneses²⁷. Da mesma forma, a aplicação do AmbuBPS na realização de broncoscopias foi bem recebida pelos discentes, que relataram confiança no desempenho durante o procedimento associado ao uso da tecnologia, recomendaram sua utilização e demonstraram interesse contínuo na incorporação dessa ferramenta em seu aprendizado²⁸.

 

DISCUSSÃO

Após análise, as evidências sugerem que as Inteligências Artificiais apresentam um potencial significativo para aprimorar a educação médica de graduação. A versatilidade dessas tecnologias oferece uma ampla gama de aplicações no contexto universitário, podendo servir como uma ferramenta eficaz para apoiar o desenvolvimento dos estudantes de medicina e otimizar o desempenho dos educadores. Em 87,50% dos estudos, sua utilização no ambiente educacional demonstrou ser útil e benéfica de certa maneira, contrastando com apenas 12,50% dos estudos em que as IAs não foram capazes de cumprir as tarefas designadas ou demonstraram desempenho insatisfatório.

1ª categoria: uso de IA na formação prática de alunos

O treinamento prático no curso médico de graduação é fundamental para a formação profissional, pois viabiliza ao aluno o desenvolvimento de habilidades necessárias para a realização de procedimentos (cirúrgicos ou não), a familiaridade com equipamentos médicos e a aplicação do conhecimento teórico desde a formação. Dessa forma, tendo em vista o uso das inteligências artificiais no desenvolvimento de tais aptidões práticas pelos discentes, percebe-se que essas tecnologias são promissoras para aprimorar técnicas práticas e garantir segurança para execução delas. Isso pôde ser constatado com base nos artigos apresentados, a partir do uso de inteligências artificiais como VOA^19,20, AmbuBPS²⁸, A-LRYNGO²⁴ e HipGuide³¹, as quais viabilizaram a obtenção mais rápida e qualitativa de habilidades pelos discentes. Assim, esses resultados possibilitaram aos estudantes maior segurança em reproduzir tais procedimentos posteriormente, o que minimiza o risco de erros no exercício da profissão. Nesse contexto, esta revisão dialoga com os estudos de Chan et al. (2019)³ e Narayanan et al. (2023)³⁴, uma vez que nossos desfechos corroboram as vantagens e as utilidades destacadas por eles em relação aos sistemas instrucionais adaptativos. Essas tecnologias capazes de imitar tutores humanos beneficiam o processo de aprendizado dos discentes, evidenciando a importância da associação das inteligências artificiais no treinamento prático dos estudantes desde a formação.

2ª categoria: utilização da inteligência artificial nas atividades docentes

Além disso, a análise das inteligências artificiais na realização de atividades docentes se mostrou pertinente. Considerando os desafios enfrentados pelos professores universitários, como a carga horária intensa e as múltiplas responsabilidades associadas, incluindo correção de atividades, elaboração de questões e tutorias, o emprego das IAs como uma ferramenta de auxílio para a execução dessas tarefas torna-se uma alternativa promissora. Nesse contexto, tecnologias baseadas em inteligência artificial, como o sistema de tutoria inteligente (COMET) e alguns modelos de aprendizado de máquina (ML), podem ser adotadas como ferramentas para facilitar a avaliação das atividades realizadas pelos alunos. Isso se evidencia a partir dos dados coletados nesta pesquisa, os quais indicam que essas IAs apresentaram desempenho equivalente ou até superior ao humano nessa tarefa. Esta abordagem de inteligência artificial fortalece, portanto, as aplicações destacadas por outros estudos disponíveis na literatura científica^3,34, os quais previamente destacaram a capacidade dos sistemas automatizados de avaliação de redações (AES) de analisar o trabalho dos estudantes, identificar padrões de estudo e conceitos, bem como de fornecer feedback individualizado.

Além disso, os chat boards, incluindo o ChatGPT, apesar de ainda apresentarem limitações que demandam contínuo aprimoramento dessas IAs, demonstraram potencial como ferramentas de auxílio para os docentes em diversas tarefas, como a elaboração de questões, conforme apontado em estudos que compuseram esta pesquisa.

No entanto, há considerações essenciais a serem ponderadas antes de incorporar oficialmente qualquer IA como ferramenta de ensino-aprendizagem. Uma delas envolve a necessidade de uma triagem cuidadosa para garantir que a inteligência artificial utilizada seja a mais apropriada e confiável. Conforme evidenciado nesta pesquisa, o ChatScript não demonstrou competência suficiente na avaliação do desempenho dos estudantes de medicina nos Exames Clínicos Objetivos Estruturados (OSCEs), destacando que nem todas as IAs são adequadas para desempenhar eficazmente atividades docentes. A outra consideração está relacionada à aceitação do uso dessas ferramentas pelo corpo discente, uma vez que nem todos os alunos confiam plenamente em sua precisão.

3ª categoria: proficiência em inteligência artificial nos componentes curriculares da graduação médica

Outrossim, observou-se que a habilidade das inteligências artificiais em resolução de questões e estudos de caso, nos diversos componentes curriculares da graduação médica é promissora. Ao tomar como base os resultados dos artigos utilizados nesta pesquisa, percebeu-se que as IAs, como o ChatGPT, por exemplo, podem ser usadas como ferramentas de aprimoramento de aprendizado, pois a solução de questões viabiliza aplicação do estudo teórico, identificação de lacunas no conhecimento, preparação para exames e desenvolvimento de raciocínio clínico. Nesse contexto, destacou-se o ChatGPT tanto para realização de questões quanto para estudos de casos de algumas disciplinas. Além disso, outras versões do ChatGPT e o Bing também foram usadas como instrumento de preparação para exames médicos e mostraram-se ferramentas de estudos eficazes para a resolução de questões e maior preparação pelos alunos.

Contudo, evidenciou-se que questões com informações contidas em mídias não são processadas ou interpretadas pelas inteligências artificiais. Além disso, exercícios envolvendo alguns componentes curriculares, como medicina legal e radiologia, não obtiveram resultados tão satisfatórios e um estudo apontou que as respostas dos alunos foram superiores às do ChatGPT em outra matéria. Com isso, ficou claro que a proficiência das inteligências artificiais nos componentes curriculares ainda apresenta limitações.

4ª categoria: utilização da inteligência artificial na produção de informação científica, em comparação com fontes tradicionais de evidência

Quanto à qualidade das informações científicas geradas por inteligências artificiais, observa-se que, embora os materiais produzidos por elas possuam uma certa qualidade, ainda não conseguem substituir efetivamente as fontes de evidência tradicionais, como livros e artigos convencionais. Apesar da habilidade notável de algumas IAs, como ChatGPT e Google Bard, em gerar artigos de fácil compreensão, seus textos geralmente carecem de profundidade e abrangência em comparação com os presentes em fontes tradicionais. Assim, embora essas IAs possam ser empregadas como ferramentas de busca rápida para auxiliar os alunos de medicina em seus estudos durante a graduação, sua utilização, até o momento deste estudo, não substitui integralmente o uso das fontes de evidências científicas tradicionais como local de consulta mais adequado para o acesso a informações.

5ª categoria: impacto da inteligência artificial na aquisição de conhecimento e no desempenho acadêmico dos alunos, por meio de uma análise qualitativa e quantitativa

Por fim, ficou claro que, além dos aspectos quantitativos relativos aos impactos do uso da inteligência artificial em diversos aspectos da educação médica, os efeitos qualitativos, obtidos a partir de formulários ou questionários, também foram importantes para a compreensão do impacto do uso da IA na aprendizagem dos alunos e desempenho acadêmico. A combinação de dados quantitativos e qualitativos revelou não apenas melhorias tangíveis na aprendizagem, como a simulação de situações realistas e o envolvimento ativo através de jogos (como no Chatbot), mas também enfatizou a confiança dos alunos no seu desempenho associado às tecnologias. Esses benefícios associados ao uso da Inteligência Artificial também vão ao encontro das vantagens destacadas no estudo de Narayanan et al. (2023)³⁴, que enfatiza a utilidade e diversas aplicações dessas tecnologias como ferramentas de apoio à aprendizagem de estudantes de graduação.

Além disso, o interesse contínuo dos estudantes na integração dessas ferramentas, conforme demonstrado nos artigos incluídos nesta investigação, sugeriu que as inteligências artificiais não só melhoraram a aprendizagem, mas também se tornaram elementos recomendados e desejados na educação médica. Assim, esta convergência de resultados reforçou a perspectiva positiva relativamente à integração da IA, indicando um impacto favorável na aprendizagem e no desempenho acadêmico dos estudantes na área da medicina.

Limitações

Esta revisão de escopo apresenta algumas limitações a serem consideradas. Uma limitação recorrente é a focalização em um conjunto específico de grandes modelos de linguagem (LLMs), como ChatGPT, Bard e Bing, o que pode resultar em uma visão limitada da diversidade disponível nesse campo. A avaliação do desempenho desses LLMs frequentemente se baseia em respostas a casos predefinidos, restringindo a generalização para uma variedade mais ampla de cenários clínicos, com preocupações adicionais sobre viés devido aos dados de treinamento. A subjetividade introduzida por avaliações de especialistas, a falta de generalização para outras especialidades médicas e a ausência de considerações sobre potenciais vieses nos LLMs destacam a complexidade dos resultados. Questões críticas incluem a incapacidade de alguns sistemas, como o ChatGPT, interpretarem interações complexas e a limitação na entrada de informações, como gráficos e figuras. O estudo também não abordou completamente potenciais vieses ou erros intrínsecos dos LLMs, apontando para a necessidade de cautela na interpretação dos resultados. Diversos estudos apresentaram desafios metodológicos, como a limitação no número de problemas bioestatísticos investigados e a falta de diretrizes pré-estabelecidas para interações com o ChatGPT, ressaltando a demanda por pesquisas mais abrangentes e refinadas. A revisão destaca que, embora essas pesquisas proporcionem insights valiosos, é fundamental reconhecer e abordar essas limitações para uma compreensão mais completa e confiável do papel dos LLMs na educação médica e em outras áreas. Adicionalmente, alguns estudos apresentaram limitações relacionadas à amostragem observada que podem comprometer a generalização e a aplicabilidade dos resultados.

 

CONCLUSÃO

O objetivo desta revisão de escopo foi mapear a literatura científica sobre o uso de inteligências artificiais como ferramentas de suporte ao ensino-aprendizagem na educação médica de graduação, a fim de identificar lacunas de conhecimento e indícios de evidência. Nesse sentido, foram identificadas 5 áreas principais de aplicação das IAs: 1 - uso de inteligências artificiais no treinamento prático dos discentes; 2 - emprego das inteligências artificiais na realização de atividades docentes; 3 - proficiência das inteligências artificiais nos componentes curriculares da graduação médica; 4 - uso de inteligências artificiais na produção de informações científicas; 5 - impacto das IAs no conhecimento e desempenho acadêmico dos discentes. Os resultados encontrados por este estudo sugerem que a introdução das inteligências artificiais no ambiente acadêmico é benéfica tanto para docentes quanto para os estudantes de graduação, permitindo a dinamização na elaboração de materiais e tutorias, a melhoria em precisão, qualidade técnica e segurança dos procedimentos, além do favorecimento à aquisição de conhecimento e na resolução de questões. Contudo, vale ressaltar algumas limitações identificadas, como a necessidade de aprimoramento na elaboração de questões, desafios na interpretação de gráficos por determinadas inteligências artificiais e a insuficiência na profundidade das informações científicas produzidas. Portanto, esta revisão ressalta a necessidade premente de pesquisas abrangentes e refinadas para alcançarmos uma compreensão mais detalhada do papel das inteligências artificiais na educação médica de graduação. A busca por uma abordagem metodológica mais robusta em estudos posteriores será crucial para validar e generalizar as conclusões, contribuindo, assim, para o avanço efetivo dessa área de estudos.

 

 

CONTRIBUIÇÃO DOS AUTORES

As contribuições dos autores estão estruturadas de acordo com a taxonomia (CRediT) descrita abaixo:

Conceituação & Administração do Projeto: DRSG de Amorim. Curadoria de dados & Análise formal: AVNT Xavier; RV de Menezes. Investigação & Metodologia: DG Malta; DRSG de Amorim. Supervisão & Validação: HR de S e Silva. Visualização: DG Malta. Escrita - primeira redação: AVNT Xavier; DG Malta; DRSG de Amorim; RV de Menezes. Escrita - revisão e edição: AVNT Xavier; DG Malta; DRSG de Amorim; RF de Menezes.

 

 

COPYRIGHT

Direitos autorais^© 2024 Amorim et al. Este é um artigo de Acesso Aberto distribuído sob os termos da Licença Internacional Creative Commons Atribuição 4.0, que permite uso, distribuição e reprodução irrestritos em qualquer meio, desde que o artigo original seja devidamente citado.

 

REFERÊNCIAS

1. Chen M, Decary M. Artificial intelligence in healthcare: An essential guide for health leaders. Healthc Manage Forum. 2020;33(1):10-8. DOI: https://doi.org/10.1177/0840470419873123.

2. Yang X, Wang Y, Byrne R, Schneider G, Yang S. Concepts of Artificial Intelligence for Computer-Assisted Drug Discovery. Chem Rev. 2019;119(18):10520-94. DOI: https://doi.org/10.1021/acs.chemrev.8b00728.

3. Chan KS, Zary N. Applications and Challenges of Implementing Artificial Intelligence in Medical Education: Integrative Review. JMIR Med Educ. 2019;5(1):e13930. DOI: https://doi.org/10.2196/13930.

4. Hashimoto DA, Witkowski E, Gao L, Meireles O, Rosman G. Artificial Intelligence in Anesthesiology: Current Techniques, Clinical Applications, and Limitations. Anesthesiology. 2020;132(2):379-94. DOI: https://doi.org/10.1097/ALN.0000000000002960.

5. Ludemir TB. Artificial Intelligence and Machine Learning: Current State and Trends. Estud Av. 2021;35(101):85-94. DOI: https://doi.org/10.1590/s0103-4014.2021.35101.007.

6. Mir MM, Mir GM, Raina NT, Mir SM, Mir SM, Miskeen E, et al. Application of Artificial Intelligence in Medical Education: Current Scenario and Future Perspectives. J Adv Med Educ Prof. 2023;11(3):133-40. DOI: https://doi.org/10.30476/JAMP.2023.98655.1803.

7. Tricco AC, Lillie E, Zarin W, O'Brien KK, Colquhoun H, Levac D, et al. PRISMA extension for scoping reviews (PRISMA-ScR): Checklist and explanations. Ann Interm Med. 2018; 169(7):467-73. DOI: https://doi.org/10.7326/m18-085.

8. Mattos SM, Cestari VRF, Moreira TMM. Scoping protocol review: PRISMA-ScR guide refinement. Rev Enferm UFPI. 2023; 12(1). DOI: https://doi.org/10.26694/reufpi.v12i1.3062.

9. Aromataris E, Munn Z (Editors). JBI Manual for Evidence Synthesis. JBI. 2020. DOI: https://doi.org/10.46658/JBIMES-20-01.

10. Dhanvijay AKD, Pinjar MJ, Dhokane N, Sorte SR, Kumari A, Mondal H. Performance of Large Language Models (ChatGPT, Bing Search, and Google Bard) in Solving Case Vignettes in Physiology. Cureus. 2023;15(8):e42972. DOI: https://doi.org/10.7759/cureus.42972.

11. Das D, Kumar N, Longjam LA, Sinha R, Roy AD, Mondal H, et al. Assessing the Capability of ChatGPT in Answering First- and Second-Order Knowledge Questions on Microbiology as per Competency-Based Medical Education Curriculum. Cureus. 2023;15(3):e36034. DOI: https://doi.org/10.7759/cureus.36034.

12. Agarwal M, Sharma P, Goswami A. Analysing the Applicability of ChatGPT, Bard, and Bing to Generate Reasoning-Based Multiple-Choice Questions in Medical Physiology. Cureus. 2023;15(6):e40977. DOI: https://doi.org/10.7759/cureus.40977.

13. Banerjee A, Ahmad A, Bhalla P, Goyal K. Assessing the Efficacy of ChatGPT in Solving Questions Based on the Core Concepts in Physiology. Cureus. 2023;15(8):e43314. DOI: https://doi.org/10.7759/cureus.43314.

14. Ghosh A, Bir A. Evaluating ChatGPT's Ability to Solve Higher-Order Questions on the Competency-Based Medical Education Curriculum in Medical Biochemistry. Cureus. 2023;15(4):e37023. DOI: https://doi.org/10.7759/cureus.37023.

15. Breeding T, Martinez B, Patel H, Nasef H, Arif H, Nakayama D, et al. The Utilization of ChatGPT in Reshaping Future Medical Education and Learning Perspectives: A Curse or a Blessing? Am Surg. 2024;90(4):560-6. DOI: https://doi.org/10.1177/00031348231180950.

16. Maicher KR, Zimmerman L, Wilcox B, Liston B, Cronau H, Macerollo A, et al. Using virtual standardized patients to accurately assess information gathering skills in medical students. Med Teach. 2019;41(9):1053-9. DOI: https://doi.org/10.1080/0142159X.2019.1616683.

17. Cianciolo AT, LaVoie N, Parker J. Machine Scoring of Medical Students' Written Clinical Reasoning: Initial Validity Evidence. Acad Med. 2021;96(7):1026-35. DOI: https://doi.org/10.1097/ACM.0000000000004010.

18. Morjaria L, Burns L, Bracken K, Ngo QN, Lee M, Levinson AJ, et al. Examining the Threat of ChatGPT to the Validity of Short Answer Assessments in an Undergraduate Medical Program. J Med Educ Curric Dev. 2023;10:23821205231204178. DOI: https://doi.org/10.1177/23821205231204178.

19. Fazlollahi AM, Yilmaz R, Winkler-Schwartz A, Mirchi N, Ledwos N, Bakhaidar M, et al. AI in Surgical Curriculum Design and Unintended Outcomes for Technical Competencies in Simulation Training. JAMA Netw Open. 2023;6(9):e2334658. DOI: https://doi.org/10.1001/jamanetworkopen.2023.34658.

20. Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, et al. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022;5(2):e2149008. DOI: https://doi.org/10.1001/jamanetworkopen.2021.49008.

21. Roos J, Kasapovic A, Jansen T, Kaczmarczyk R. Artificial Intelligence in Medical Education: Comparative Analysis of ChatGPT, Bing, and Medical Students in Germany. JMIR Med Educ. 2023;9:e46482. DOI: https://doi.org/10.2196/46482.

22. Friederichs H, Friederichs WJ, März M. ChatGPT in medical school: how successful is AI in progress testing? Med Educ Online. 2023;28(1):2220920. DOI: https://doi.org/10.1080/10872981.2023.2220920.

23. Huh S. Are ChatGPT's knowledge and interpretation ability comparable to those of medical students in Korea for taking a parasitology examination? A descriptive study. J Educ Eval Health Prof. 2023;20:1. DOI: https://doi.org/10.3352/jeehp.2023.20.1.

24. Choi J, Lee Y, Kang GH, Jang YS, Kim W, Choi HY, et al. Educational suitability of new channel-type video-laryngoscope with AI-based glottis guidance system for novices wearing personal-protective-equipment. Medicine (Baltimore). 2022;101(9):e28890. DOI: https://doi.org/10.1097/MD.0000000000028890.

25. Hollis-Sando L, Pugh C, Franke K, Zerner T, Tan Y, Carneiro G, et al. Deep learning in the marking of medical student short answer question examinations: Student perceptions and pilot accuracy assessment. Focus Health Prof Educ Multi-Prof J. 2023;24(1): 38-48. DOI: https://doi.org/10.11157/fohpe.v24i1.531.

26. Meo SA, Al-Masri AA, Alotaibi M, Meo MZS, Meo MOS. ChatGPT Knowledge Evaluation in Basic and Clinical Medical Sciences: Multiple Choice Question Examination-Based Performance. Healthcare (Basel). 2023;11(14):2046. DOI: https://doi.org/10.3390/healthcare11142046.

27. Kong JSM, Teo BS, Lee YJ, Pabba AB, Lee EJD, Snh JCG. Virtual Integrated Patient: An AI supplementary tool for second-year medical students. Asia Pac Sch. 2021; 6 (3): 87-90. DOI: https://doi.org/10.29060/taps.2021-6-3/sc2394.

28. Cold KM, Xie S, Nielsen AO, Clementsen PF, Konge L. Artificial Intelligence Improves Novices' Bronchoscopy Performance: A Randomized Controlled Trial in a Simulated Setting. Chest. 2024;165(2):405-13. DOI: https://doi.org/10.1016/j.chest.2023.08.015.

29. Al Kahf S, Roux B, Clerc S, Bassehila M, Lecomte A, Moncomble E, et al. Chatbot-based serious games: A useful tool for training medical students? A randomized controlled trial. PLoS One. 2023;18(3):e0278673. DOI: https://doi.org/10.1371/journal.pone.0278673.

30. Suebnukarn S, Haddawy P. A Bayesian approach to generating tutorial hints in a collaborative medical problem-based learning system. Artif Intell Med. 2006;38(1):5-24. DOI: https://doi.org/10.1016/j.artmed.2005.04.003.

31. Cheng CT, Chen CC, Fu CY, Chaou CH, Wu YT, Hsu CP, et al. Artificial intelligence-based education assists medical students' interpretation of hip fracture. Insights Imaging. 2020;11(1):119. DOI: https://doi.org/10.1186/s13244-020-00932-0.

32. Ilgaz HB, Çelik Z. The Significance of Artificial Intelligence Platforms in Anatomy Education: An Experience With ChatGPT and Google Bard. Cureus. 2023;15(9):e45301. DOI: https://doi.org/10.7759/cureus.45301.

33. Ignjatovic A, Stevanovic L. Efficacy and limitations of ChatGPT as a biostatistical problem-solving tool in medical education in Serbia: a descriptive study. J Educ Eval Health Prof. 2023;20:28. DOI: https://doi.org/10.3352/jeehp.2023.20.28.

34. Narayanan S, Ramakrishnan R, Durairaj E, Das A. Artificial Intelligence Revolutionizing the Field of Medical Education. Cureus. 2023;15(11):e49604. DOI: https://doi.org/10.7759/cureus.49604.