OpenAI 的 GPT-4 语言模型通过日本国家物理治疗考试,揭示 AI 在某些领域的局限性

aixo 2024-09-03 00:05:55
大模型 2024-09-03 00:05:55

最新发表在《》杂志上的一项同行评审研究显示,的GPT-4语言模型在未经任何额外训练的情况下,成功通过了日本国家物理治疗考试。

研究人员向GPT-4输入了1,000个问题,涵盖记忆、理解、应用、分析和评估等方面。结果显示,GPT-4总体上正确回答了73.4%的问题,通过了所有五个测试部分。然而,研究也揭示了AI在某些领域的局限性。

GPT-4在一般问题上表现出色,正确率达80.1%,但在实际问题上仅为46.6%。同样,它在处理纯文本问题(80.5%正确)方面远优于带有图片和表格的问题(35.4%正确)。这一发现与先前关于GPT-4视觉理解局限性的研究结果一致。

值得注意的是,问题难度和文本长度对GPT-4的性能影响不大。尽管该模型主要使用英语数据训练,但在处理日语输入时也表现良好。

研究人员指出,虽然这项研究展示了GPT-4在临床康复和医学教育方面的潜力,但仍需谨慎看待。他们强调,GPT-4并不能正确回答所有问题,未来还需要评估新版本以及该模型在书面和推理测试中的能力。

此外,研究人员提出,像GPT-4v这样的多模态模型可能在视觉理解方面带来进一步的改进。目前,谷歌的Med-PaLM2、Med-等专业医疗AI模型,以及Meta基于的医疗模型都在积极开发中,旨在在医疗任务中超越通用模型。

然而,专家们认为,医疗AI模型要广泛应用于实践可能还需要很长时间。当前模型的误差空间在医疗环境中仍然过大,需要在推理能力上取得显著进步,才能安全地将这些模型整合到日常医疗实践中。

备注:资讯来源基地

副业搞钱交流群

欢迎大家加入交流群, 扫码进入,畅谈AI赚钱心得,共享最新行业动态,发现潜在合作伙伴,迎接未来的赚钱机遇!。

GPT