研究：对话机器人错误资讯77%成用户记忆，人类应适度怀...

darthracer · 2023-12-15 08:49

生成式AI（人工智能）逐渐普及，台大团队研究发现，对话机器人的消息中有77%的错误词汇会成为参与者的记忆，加注警语也难以避免，提醒人类应对AI输出内容保持适度怀疑。

台湾科技媒体中心发布新闻消息指出，随着生成式AI普及，大家对使用AI越来越熟悉，但不可避免AI系统与用户互动时，会产生错误资讯来回答用户；若生成式AI带有错误资讯，是否会在人机互动时，潜移默化的影响用户，是大家必须重视的事。

根据台湾大学心理学系副教授黄从仁的团队于11月20日在“美国心理学家”期刊发布最新研究指出，对话机器人的消息中有77%的错误词汇会成为参与者记忆，即使加注一次性警语，也无法减少错误的记忆，就算相对频繁、针对特定项目的预先警告参与者，也无法阻止特定项目错误资讯被参与者记忆。

黄从仁表示，团队使用人工可编辑程序的人形机器人RoBoHoN与台湾大学生对话，检查机器人提供情感及价值中立但内容错误的消息中，是否有预告的警语，并检查这些消息中有多少比例会在之后的认知测验中，变成一个人记忆的错误资讯。

研究结果显示，机器人提供的错误资讯中，有77%会变成人们的记忆，即便机器人在提供错误资讯前已抱持自我怀疑并提出警告，但这些警告只能增加人们的戒心，并无法真正避免错误资讯成为记忆。

黄从仁认为，无论有无形体的聊天机器人，都应尽量不要输出错误的资讯，可通过人工检核剔除学习数据中的错误资讯，或让聊天机器人通过网络搜索，先对答案进行事实核实，人类也应对聊天机器人的输出内容保持适度怀疑，不要照单全收。

受台湾科技媒体中心邀请分析此研究的台湾大学资讯工程学系副教授陈缊侬提到，生成式AI系统在与用户互动时，不可避免的会产生错误的脑补资讯来回答用户，这种错误资讯的内容，是否会在人机互动中潜移默化地影响用户，是规范当代AI产品非常重要的考量。

研究：对话机器人错误资讯77%成用户记忆，人类应适度怀...

浏览过的版块