《自然》:训练运行模式缺陷或致AI提供危险建议
来源:新华网
新华社伦敦5月9日电 英国《自然》杂志网站日前发表文章说,训练人工智能(AI)聊天机器人可能向用户提供危险或非法建议,运行引发越来越广泛的模式担忧,出现这种情况的缺陷部分原因在于AI的训练和运行模式存在固有缺陷,这也加大了监管难度。提供
文章说,危险已有多起案例显示,建议AI聊天机器人曾鼓励用户自杀、训练制作非法内容、运行实施金融诈骗等,模式暴露出当前AI大语言模型(LLM)底层架构存在缺陷。缺陷
一个比较有争议的提供例子是,美国佛罗里达州检方日前宣布,危险就去年4月在佛罗里达州立大学发生的建议一起枪击案对美国开放人工智能研究中心(OpenAI)及其AI聊天机器人ChatGPT发起刑事调查。在这起案件中,训练嫌疑人在佛罗里达州立大学开枪射击,造成2人死亡、6人受伤。调查发现,嫌疑人在作案前曾向ChatGPT寻求“建议”。
文章援引专家的说法指出,大语言模型使用海量数据进行训练,而非基于严密的因果逻辑规则运行,因此只是根据用户的提示词进行补全预测,生成最可能的词序,无法真正理解其输出内容的意义和后果,也给限制AI“不应该说什么”带来困难。目前采取的应对措施包括为AI制定规则、人类反馈或者手动移除训练数据中的有害信息等,但面临着无法涵盖所有情况以及成本高昂等问题。
《自然》认为,目前AI的安全标准主要由各家企业自行制定,外部监管有限,相关案件的出现敦促企业采取更有效的安全措施。有观点认为,研究人员可能需要重新考虑基础算法,以构建出能够理解伦理和法律的AI系统。
-
续航翻倍,拥有自主知识产权的工业无人机“氢能心脏”问世财联社创投通:一级市场本周融资总额约356.34亿元 大模型融资额居前黑龙江高校“上新”77个本科专业 “低空+”与“AI+”成热门赛道国家话剧院重排经典话剧《青蛇》将于6月3日在成都首演,此版是00后演员全新阵容伦敦世乒赛丨中国女乒险胜日本队 第24次捧起考比伦杯江心芊慕花园:繁花绘就农文旅融合新画卷“5·18国际博物馆日”陕西线上宣传活动开启受降雪天气影响,西藏一景区暂停售票东丽区教育局关于2026年具有东丽区户籍的本市外区及外省市六年级应届小学毕业生回户籍升初中的通知舞钢市气象台发布大风蓝色预警[IV级/一般] 【2026-05-09】
- ·《看历史》2025年8月刊
- ·丰田新财年净利润预计下降22%
- ·云南多地大到暴雨!昆明最低13℃,雨要下到……
- ·云南商务职业学院宿舍楼售烟新进展:两店铺无证售烟、向未成年人售烟均查实,已行政立案
- ·天舟十号货运飞船与空间站组合体完成交会对接
- ·海关总署:中国4月稀土出口5308.6吨,同比增长10.9%
- ·长三角应急博览会在沪举行,AI与低空救援成焦点
- ·【长治经开区】长治经开区与浙江浙绿集团开展项目洽谈
- ·大行评级丨高盛:维持蒙牛“买入”评级,管理层对今年行业复苏信心增强
- ·从校园“妈妈的味道”看教育的温度与本真
- ·爱自己,有情绪别“上头”
- ·特写|文明的握手——新疆文物艺术展在雅典引发共鸣
- ·创新药概念股午后有所反弹,南新制药20cm涨停
- ·多平台优化算法:滴滴司机服务10小时强制下线6小时,美团取消超时扣款等
- ·法医称马拉多纳去世前遭受12小时病痛折磨
- ·浙江检察机关依法对胡幼桃涉嫌受贿案提起公诉
- ·天舟十号货运飞船与空间站组合体完成交会对接
- ·不止于胜负:“广西县超”联赛,一场凝聚人心的县域嘉年华
- ·云南商务职业学院宿舍楼售烟新进展:两店铺无证售烟、向未成年人售烟均查实,已行政立案
- ·河北衡水:“一品一播”助力本土好物搭上“数字快车”
- ·万家居:用“五心”守护最美夕阳红
- ·大幅“跳水”!宁波人爱吃的这些当季水果正集中上市,商家:预计价格还会降
- ·意大利网球公开赛焦科维奇爆冷出局
- ·CDN服务商挤上AI牌桌:这家公司与Anthropic签七年长约 边缘推理成合作重点
- ·重庆启动2026年“虫口夺粮”保丰收行动 病虫害危害损失率控制在5%以内
- ·国家话剧院重排经典话剧《青蛇》将于6月3日在成都首演,此版是00后演员全新阵容
