从识菇到看病,把健康交给AI真的靠谱吗?_北京时间

近日,湖北武汉一家三口因轻信AI拍照识菇结果,误食剧毒野生蘑菇、导致全家中毒的事件引发关注。从辨别食物到诊断疾病,越来越多的人正将健康决策权交给AI,而因为AI误判导致病情延误、甚至危及生命的案例时有发生。把健康交给AI,真的靠谱吗?我们到底该怎么用AI?

近日,湖北武汉一家三口因轻信AI拍照识菇结果,误食剧毒野生蘑菇、导致全家中毒的事件引发关注。从辨别食物到诊断疾病,越来越多的人正将健康决策权交给AI,而因为AI误判导致病情延误、甚至危及生命的案例时有发生。把健康交给AI,真的靠谱吗?我们到底该怎么用AI?
给蘑菇拍张照、上传给AI,问它“这能吃吗”——AI随即条分缕析,给出看上去有理有据的答案。但这些答案全都可信吗?近日,湖北武汉一家三口上山采蘑菇,用AI拍照确认无毒后放心下锅,结果全家中毒。无独有偶,四川康定两名游客依赖AI辨别野生菌,筛完自觉安全,下山时却被当地小朋友揪出大量毒菌,十多斤菌子中近八成都带有剧毒风险。一次次“翻车”事件提醒我们:AI识图虽然方便,用起来可得多留神。北京邮电大学副教授、网络与交换技术全国重点实验室博士生导师徐鹏介绍:
徐鹏:AI识图原理是基于大量现有的图片做训练,实际上这种模型的准确率极大依赖于它所使用的训练数据,训练的数据越大,准确率就越高,标注越准确,最后的质量也会越高。到今天为止,根据国内外相关研究,AI识图准确率能达到95%左右。但是它能不能识别准确,一方面取决于能力,另一方面取决于我们拍照的角度、拍照的光线、拍照有没有遮挡等,这些因素也会有影响。所以综合来看,靠AI识图去判定蘑菇是否可食用,这件事情绝对不可取。
如今,“遇事不决问AI”已成为很多人的生活常态。不认识的蘑菇,拍张照交给AI鉴定;身体出现不适,也习惯先打开AI问诊。记者在一家三甲医院采访时发现,先问AI、再看医生,已成为不少市民去医院就医前的固定操作。
市民:我来之前问了AI这个病是什么情况,确认一下是不是需要来医院。来了医院,医生可能就是告诉我怎么做,但是没有告诉我原理,我就用AI查一下原理。
市民:来之前问一下AI,看症状严重不严重。有时候说不用去医院,吃点药就好了,也可能说比较严重,需要去医院。
把AI当“线上医生”,看似多了一份保障,实则暗藏风险。近日,湖南长沙一名男子轻信AI给出的“眩晕症”误判,险些错失脑梗死抢救时机;上海一位医生的父亲查出脑梗后,因为AI列举了几种药物的副作用,便拒绝服药。当AI结论左右了患者的判断,甚至凌驾于医生的专业意见之上,我们不得不追问:事关生命健康,AI问诊的合理定位应该是什么?普通人又该如何理性使用?北京邮电大学副教授、网络与交换技术全国重点实验室博士生导师徐鹏认为:
徐鹏:AI医生它所掌握的信息跟我们线下去医院医生掌握的信息其实没有办法绝对对称。有可能我们只是通过语言向AI描述了一下病状,而当我们跟大夫面诊的时候,大夫在意向性诊断之后,绝大部分场景都会开一些后继的相关化验,他会根据化验信息以及他的意向性诊断,最终给出他的诊断结论。我们可以把AI问诊作为人工问诊的一个前置,可以用AI做一些信息的查询,提升我们跟医生的沟通效率,更容易去理解医生的医嘱,但一定不能用AI替代医生去做诊断。
专家指出,AI存在“幻觉”与“讨好型人格”问题——前者会凭空编造信息,后者则倾向于迎合用户预判。两种特性叠加,让AI的结论听起来“言之凿凿”且“正中下怀”,用户很容易在不知不觉中放下戒备、言听计从——这正是AI咨询屡屡产生误导的原因所在。徐鹏说:
徐鹏:读起来每一个文字都是连贯的,它的连贯性没有问题,但在事实上出问题了,我们一般管这种情况叫幻觉。因为它是按照概率输出的,这个技术天生就没有办法完全避免幻觉,只能是降低幻觉出现的概率。至于说讨好,是因为我们在进行AI训练的时候,训练者不可避免的会把自己的一些个人倾向带入到训练数据的标注上。因为人本质上是喜欢听好话的,这就导致讨好人类的话更容易被大模型学习到,它也就出现了越来越强烈的讨好倾向。我们可以采用一些方法去规避,比如幻觉,单纯问一个模型,可能会有一定概率出现幻觉,但是如果两个大模型都说出同样的话,出现幻觉的概率就会大大降低。避免AI讨好其实有一个非常重要的做法,你可以在跟大模型进行交互的过程中,明确跟大模型说,你没有必要讨好我,说事实就行了。
一旦AI产生误判,导致用户吃错东西、贻误病情,甚至付出生命的代价,责任该由谁来承担?北京嘉维律师事务所合伙人赵占领表示:
赵占领:首先,用户他把涉及到自身生命健康的这个重大决策完全交给通用AI,而忽略了平台上显著的提示,比如说“仅供参考”“不构成医疗建议”等等,这种情况下用户自身是存在重大过错的,应当承担主要责任。但是平台的这个免责声明也不代表平台就一定不承担任何责任,如果说AI所提供的建议是明显严重的错误,而且这种错误又是因为这个AI平台它的算法有缺陷或者它的训练数据有污染导致的,这种情况下,平台作为AI服务提供者,可能需要按照《民法典》相关规定,承担一定的法律责任。
当前,AI已深度融入人们的日常生活,成为许多人离不开的高效工具。但越是如此,越需保持一份清醒。北京邮电大学副教授、网络与交换技术全国重点实验室博士生导师徐鹏认为,人与AI协同须守好“头”“尾”两端:人要主动明确诉求和观点,并为AI结论承担最终责任。
徐鹏:第一个是开头的位置,就是我们跟AI协同的时候,要更加主动、更加明确的去告诉AI,我们想要做什么,以及我们对这件事情有什么样的观点。在入口处,我们就必须先把自己的观点和诉求跟AI描述清楚。第二,就是最终我们要承担所有AI做出的结论的责任。当AI出来结论之后,认可与不认可,以及如何认可,这件事情的最终决定权又回到了人类。一个在头,一个在尾,这也是未来,当AI越来越多的渗入到我们的生活中,人之所以为人的一个核心价值。
(图源网络)
记者|编辑:路瑶
主编:朱来生

近日,湖北武汉一家三口因轻信AI拍照识菇结果,误食剧毒野生蘑菇、导致全家中毒的事件引发关注。从辨别食物到诊断疾病,越来越多的人正将健康决策权交给AI,而因为AI误判导致病情延误、甚至危及生命的案例时有发生。把健康交给AI,真的靠谱吗?我们到底该怎么用AI?

近日,湖北武汉一家三口因轻信AI拍照识菇结果,误食剧毒野生蘑菇、导致全家中毒的事件引发关注。从辨别食物到诊断疾病,越来越多的人正将健康决策权交给AI,而因为AI误判导致病情延误、甚至危及生命的案例时有发生。把健康交给AI,真的靠谱吗?我们到底该怎么用AI?
给蘑菇拍张照、上传给AI,问它“这能吃吗”——AI随即条分缕析,给出看上去有理有据的答案。但这些答案全都可信吗?近日,湖北武汉一家三口上山采蘑菇,用AI拍照确认无毒后放心下锅,结果全家中毒。无独有偶,四川康定两名游客依赖AI辨别野生菌,筛完自觉安全,下山时却被当地小朋友揪出大量毒菌,十多斤菌子中近八成都带有剧毒风险。一次次“翻车”事件提醒我们:AI识图虽然方便,用起来可得多留神。北京邮电大学副教授、网络与交换技术全国重点实验室博士生导师徐鹏介绍:
徐鹏:AI识图原理是基于大量现有的图片做训练,实际上这种模型的准确率极大依赖于它所使用的训练数据,训练的数据越大,准确率就越高,标注越准确,最后的质量也会越高。到今天为止,根据国内外相关研究,AI识图准确率能达到95%左右。但是它能不能识别准确,一方面取决于能力,另一方面取决于我们拍照的角度、拍照的光线、拍照有没有遮挡等,这些因素也会有影响。所以综合来看,靠AI识图去判定蘑菇是否可食用,这件事情绝对不可取。
如今,“遇事不决问AI”已成为很多人的生活常态。不认识的蘑菇,拍张照交给AI鉴定;身体出现不适,也习惯先打开AI问诊。记者在一家三甲医院采访时发现,先问AI、再看医生,已成为不少市民去医院就医前的固定操作。
市民:我来之前问了AI这个病是什么情况,确认一下是不是需要来医院。来了医院,医生可能就是告诉我怎么做,但是没有告诉我原理,我就用AI查一下原理。
市民:来之前问一下AI,看症状严重不严重。有时候说不用去医院,吃点药就好了,也可能说比较严重,需要去医院。
把AI当“线上医生”,看似多了一份保障,实则暗藏风险。近日,湖南长沙一名男子轻信AI给出的“眩晕症”误判,险些错失脑梗死抢救时机;上海一位医生的父亲查出脑梗后,因为AI列举了几种药物的副作用,便拒绝服药。当AI结论左右了患者的判断,甚至凌驾于医生的专业意见之上,我们不得不追问:事关生命健康,AI问诊的合理定位应该是什么?普通人又该如何理性使用?北京邮电大学副教授、网络与交换技术全国重点实验室博士生导师徐鹏认为:
徐鹏:AI医生它所掌握的信息跟我们线下去医院医生掌握的信息其实没有办法绝对对称。有可能我们只是通过语言向AI描述了一下病状,而当我们跟大夫面诊的时候,大夫在意向性诊断之后,绝大部分场景都会开一些后继的相关化验,他会根据化验信息以及他的意向性诊断,最终给出他的诊断结论。我们可以把AI问诊作为人工问诊的一个前置,可以用AI做一些信息的查询,提升我们跟医生的沟通效率,更容易去理解医生的医嘱,但一定不能用AI替代医生去做诊断。
专家指出,AI存在“幻觉”与“讨好型人格”问题——前者会凭空编造信息,后者则倾向于迎合用户预判。两种特性叠加,让AI的结论听起来“言之凿凿”且“正中下怀”,用户很容易在不知不觉中放下戒备、言听计从——这正是AI咨询屡屡产生误导的原因所在。徐鹏说:
徐鹏:读起来每一个文字都是连贯的,它的连贯性没有问题,但在事实上出问题了,我们一般管这种情况叫幻觉。因为它是按照概率输出的,这个技术天生就没有办法完全避免幻觉,只能是降低幻觉出现的概率。至于说讨好,是因为我们在进行AI训练的时候,训练者不可避免的会把自己的一些个人倾向带入到训练数据的标注上。因为人本质上是喜欢听好话的,这就导致讨好人类的话更容易被大模型学习到,它也就出现了越来越强烈的讨好倾向。我们可以采用一些方法去规避,比如幻觉,单纯问一个模型,可能会有一定概率出现幻觉,但是如果两个大模型都说出同样的话,出现幻觉的概率就会大大降低。避免AI讨好其实有一个非常重要的做法,你可以在跟大模型进行交互的过程中,明确跟大模型说,你没有必要讨好我,说事实就行了。
一旦AI产生误判,导致用户吃错东西、贻误病情,甚至付出生命的代价,责任该由谁来承担?北京嘉维律师事务所合伙人赵占领表示:
赵占领:首先,用户他把涉及到自身生命健康的这个重大决策完全交给通用AI,而忽略了平台上显著的提示,比如说“仅供参考”“不构成医疗建议”等等,这种情况下用户自身是存在重大过错的,应当承担主要责任。但是平台的这个免责声明也不代表平台就一定不承担任何责任,如果说AI所提供的建议是明显严重的错误,而且这种错误又是因为这个AI平台它的算法有缺陷或者它的训练数据有污染导致的,这种情况下,平台作为AI服务提供者,可能需要按照《民法典》相关规定,承担一定的法律责任。
当前,AI已深度融入人们的日常生活,成为许多人离不开的高效工具。但越是如此,越需保持一份清醒。北京邮电大学副教授、网络与交换技术全国重点实验室博士生导师徐鹏认为,人与AI协同须守好“头”“尾”两端:人要主动明确诉求和观点,并为AI结论承担最终责任。
徐鹏:第一个是开头的位置,就是我们跟AI协同的时候,要更加主动、更加明确的去告诉AI,我们想要做什么,以及我们对这件事情有什么样的观点。在入口处,我们就必须先把自己的观点和诉求跟AI描述清楚。第二,就是最终我们要承担所有AI做出的结论的责任。当AI出来结论之后,认可与不认可,以及如何认可,这件事情的最终决定权又回到了人类。一个在头,一个在尾,这也是未来,当AI越来越多的渗入到我们的生活中,人之所以为人的一个核心价值。
(图源网络)
记者|编辑:路瑶
主编:朱来生