是AI还是人类写的，研究：连顶尖语言学家都无法识别

darthracer · 2023-9-21 23:27

人类优势在写长篇文章

AI代替人类写研究摘要已渗透权威期刊，一项研究发现，一些研究摘要连全球顶尖语言学专家也无法识别，判断AI是否正确率仅38.9%，但研究人员认为，人类作家的一线生机是写长文，因AI写长文时容易自曝其短。

发表在《应用语言学研究方法》期刊的研究披露AI产生文章与人类写作有极高相似度。作者想知道，是否语言学家能识别人类或AI，与72名顶尖语言学专家审查各种研究摘要，确认这些摘要是AI还是人类写的。

每位专家检查四个写作样本，结果居然没有人正确识别四个样本，甚至有13%全部认错。语言学家利用熟悉的语言基本原理判断文章，如识别某些语言和文体特征，但都失败了，总体正确率只有38.9%。

研究作者也问语言学家，区分AI或人类写作的原则是什么，都分享非常合逻辑的理由，但结果显示理由不准确或不一致。作者担忧，若专业语言学家都无法识别AI或人类，老师更无法区分学生作业是自己写的或AI代劳。

即使有AI文章检测工具，如OpenAI检测AI产生内容的工具，但都没有证明能可靠区分AI或人类。华顿商学院教授表示，到目前为止，AI写作无法检测，且很可能持续一段时间，他还呼吁市面上所谓AI文章检测工具错误率很高，不应该使用。

作者认为，AI通常不会犯语法错误，ChatGPT可像多数人写短文，甚至比人类更好。但人类也不必停笔，因人类的一线希望在于长文，AI只要处理长篇文章就容易产生自编自导内容，更容易识破。

除了编造内容，AI产文也不是完全没有破绽。某些权威期刊接受AI内容，但要求作者公开透明，然最近越来越多研究员用ChatGPT写论文，却未据实以报。某法国研究员发现许多论文是计算机写的，出版商Springer和IEEE因此从订阅服务删除120多篇论文。经同行评审的期刊也撤下未如实禀报使用AI工具撰写的论文。

这些文章都是因特定用语被发现。专家认为，AI内容通常会留下足迹，如含特定语言模式或奇怪措辞，如使用假意识、深刻的神经组织和海量消息等术语代替人工智能、深度神经网络和大数据等词，还有人连ChatGPT提示词“Regenerate response”都忘记删除，若有这些痕迹，就明显不是人类写作。但专家也承认，如果研究员删除光光机器破绽，AI机器人写的文章就几乎不可能发现。

abcd654123 · 2023-9-22 09:10

感谢楼主分享。

记勃长 · 2023-9-23 14:26

感谢楼主分享

骄阳似火 · 2023-10-2 02:46

感谢楼主的分享！

Quu · 2023-10-6 12:15

感谢楼主分享

DSheeep · 2023-10-26 00:43

好像有人用魔法打败魔法，用ai写的文章训练ai来识别

retro13 · 2023-10-26 04:42

长篇文章还看得出问题，介绍之类的简短文字真的是分辨不出来

saginata · 2023-11-10 03:02

只想用AI帮忙写论文这个点…… 要秃了