根据 2 月 22 日《医学会杂志眼科》在线发表的一项研究，大型语言模型 (LLM) 聊天机器人的诊断准确性优于青光眼和视网膜专家。

纽约市西奈山伊坎医学院的 Andy S. Huang 医学博士及其同事进行了一项比较横断面研究，招募了 15 名年龄在 31 岁至 67 岁之间的参与者，其中包括 12 名主治医生和 3 名高级实习生，以进行比较法学硕士聊天机器人与经过专科培训的青光眼和视网膜专家的诊断准确性和全面性。通过青光眼和视网膜问题的李克特量表(每种类型 10 种)对未识别的青光眼和视网膜病例(每种类型 10 种)的反应进行评估。

研究人员发现，LLM 聊天机器人和青光眼专家的综合问题案例平均准确率分别为 506.2 和 403.4;相应的完整性平均排名为 528.3 和 398.7。LLM 聊天机器人和视网膜专家的准确率平均排名分别为 235.3 和 216.1;相应的完整性平均排名为 258.3 和 208.7。在 Dunn 测试中对聊天机器人完整性进行评级时，所有成对比较(专家与实习生除外)之间都存在显着差异。与专业同行相比，学员和专家都对聊天机器人的准确性和完整性评价更高，专家指出聊天机器人的准确性和完整性存在显着差异。