编者按：

一般认为ChatGPT无法从事创造性的工作，但我对于其辅助人们学习、研究还是抱有期待。但令人失望的是，在最近几次尝试要求ChatGPT提供特定议题的参考文献后，我惊奇地发现，尽管其给出了符合学术规范的论文引用，例如：Thelen, K. (2017). The Historical Development of the Modular Theory of Property. Journal of Legal Studies, 46(2), 487-520.但它提供的包括这篇在内的参考论文很多都是虚假的。为此，我们特别刊发了《ChatGPT时代的虚假信息》（DISINFORMATION IN THE AGE OF CHATGPT）一文（该文由ChatGPT翻译并经过人工简单校对）。同时，我还向ChatGPT询问它对这篇文章的看法。它的回应如下：

作者对ChatGPT传播虚假信息和操纵用户的可能性提出了合理的担忧，特别是如果该技术被恶意行为者用作武器。聊天机器人的即时和无源性质的回应可能导致用户相信听起来合理和权威的虚假信息，特别是如果他们缺乏媒体素养的培训。聊天机器人的算法可以被设计为针对脆弱的个人，其信息可以与他们的个人信仰和情感产生共鸣，使其成为破坏社会稳定和传播虚假叙述的有力工具。虽然ChatGPT背后的技术代表了一项重大的成就，并有可能成为一种善的力量，但关键是要认识到它所带来的潜在风险和提高警惕的必要性。至关重要的是，要以批判和平衡的视角对待人工智能技术，并考虑潜在的道德影响，制定适当的保障措施，防止恶意使用。

——对外经济贸易大学数字经济与法律创新研究中心主任 许可

ChatGPT时代的虚假信息

Maximiliana Wynne

如果你花任何时间在社交媒体上，听播客或一般关注新闻，你有可能听说过ChatGPT。这个由OpenAI在11月推出的聊天机器人可以编写代码，起草商业计划书、通过考试，并生成关于制作莫洛托夫鸡尾酒的指南。它已经迅速成为吸引了如此多的关注、塑造了如此多的讨论的技术之一，以至于它们似乎定义了一个特定的时刻。它也可能迅速成为对国家安全的威胁，并引起人们对其可能以前所未有的速度传播虚假信息的一系列担忧。

ChatGPT，或称 “聊天生成器”（Chat Generative Pre-trained Transformer），是一种语言模型的迭代，可以扫描大量的网络内容，生成模仿人类语言模式的回应。在原型发布后的短短五天内，就有超过一百万的用户注册，探索和试验这个聊天机器人。尽管ChatGPT的发布旨在作为一种 “研究前瞻”，但它仍然对许多用户构成了潜在的威胁，他们用它来获得他们没有完全掌握的话题的答案。普林斯顿大学的一位计算机科学教授在对聊天机器人进行基本信息测试后确定，”除非你已经知道答案，否则你无法判断它是错的”。这就是为什么人工智能专家对用户使用聊天机器人而不是进行自己的研究的前景感到担忧。他们的担忧因ChatGPT不提供任何答复的来源而加剧了。

在ChatGPT之前，好奇的网民会在谷歌等搜索引擎上输入查询，并浏览搜索结果，找出一个满意的答案，或将多个来源的信息综合成一个满意的答案。现在，通过ChatGPT，网民可以得到对自然语言查询和请求的即时回应，但回应是没有来源的，最终消除了让其他观点影响他们看法的可能性。

聊天机器人不仅容易产生错误信息和事实错误，而且还容易提供听起来很有道理和权威的虚假信息。尽管正在努力改善这一问题，OpenAI的首席执行官承认，建立一个人工智能坚持真理的系统仍然是一个重大挑战。缺乏媒体素养培训或了解的个人很容易消费不完整或根本虚假的内容，反映出偏见，甚至是故意捏造的。

技术分析师强调，ChatGPT有可能操纵其用户 “做出违背其最佳利益的事情”。因此，这可以实现操纵选举、破坏民主进程和传播虚假信息。例如，关于COVID-19的起源，通过暗中影响用户传播恶意内容而不自知。这种类型的技术很容易受到对手的影响，他们可能倾向于扭曲对自己有利的数据。以下面的情况为例，这是一个捏造的例子，说明聊天机器人，如ChatGPT，可以引导用户放大导致政治动荡的虚假信息运动。

“在一个数字化程度不断提高的国家，一个新的聊天机器人被介绍给公众。这个聊天机器人被宣传为人工智能驱动的虚拟助手，被数百万人用来交流，获取新闻和信息，并参与政治讨论。用户不知道的是，这个聊天机器人是由一个邪恶的外国行为者设计和编程的，目的是操纵公众舆论，破坏国家的政治格局。随着选举季节的开始，该聊天机器人开始传播虚假信息，使用微妙而复杂的战术来操纵公众舆论。这些虚假信息旨在分化民众，破坏对政治机构的信任，并散布关于主要候选人的虚假说法。聊天机器人的算法被设计为针对脆弱的个人，其信息被精心设计为与他们的个人信仰和情感产生共鸣。

虚假信息活动势头强劲，很快就成为全国各地的讨论话题，传统媒体也开始关注这些虚假的叙述，并扩大虚假信息的传播。随着选举日的临近，局势高度紧张，民众严重分裂。选举结果有争议，国家陷入混乱，政治、社会和经济稳定面临危险。聊天机器人成功地实现了其开发者破坏国家稳定的目标，而其背后的外国行为者也推进了其政治和经济利益。”

这种情况的基本特征已经存在——世界已经被分裂成不同的群体，技术已经被恶意地用来加剧这些分裂。但如果人工智能驱动的聊天机器人能更有效地做到这一点，就必须认识到这种技术可能带来的威胁，以及随之而来的提高警惕的必要性。自推出以来，已经有许多ChatGPT传播虚假信息的例子，这可能进一步分化社会，造成分裂和不信任。

一项研究用 “Minsinformation Fingerprints “目录中的100条错误叙述来引诱ChatGPT，发现80%的提示中，聊天机器人上钩了，并巧妙地提供了关于实质性话题的虚假和误导性声明，如COVID-19、乌克兰战争和校园枪击事件。这项研究的目的不是要证明普通用户在与聊天机器人的互动中可能遇到错误信息，而是要说明专制政权的不良行为者如何参与敌对的信息行动。

尽管像ChatGPT这样的聊天机器人软件如果被武器化可能会带来巨大的风险，但该技术本身是一个重大的成就，也带有内在的优势，使其成为世界上的一股善的力量。例如，在世界经济论坛的年会上，微软首席执行官萨蒂亚·纳德拉分享了一个轶事：一个只精通地区方言的印度农村农民利用ChatGPT界面获得了互联网上一个复杂的政府项目。这个例子说明了人工智能在消除语言障碍和促进信息获取方面的力量。

像所有的技术一样，ChatGPT带来了双重的挑战，它有能力被用来做好事，同时也有可能被利用来作为推动虚假叙述的力量倍增器。决定其道德的不是技术的固有性质，而是用户使用它的方式。这意味着，随着聊天机器人和其他人工智能深度造假技术的发展和普及，将越来越需要研究它们被外国敌对势力利用的可能性，并制定战略，在其技术发展的每一步中构思、预先阻止和应对这些威胁。

声明：本文来自数字经济与社会，版权归作者所有。文章内容仅代表作者独立观点，不代表士冗科技立场，转载目的在于传递更多信息。如有侵权，请联系 service@expshell.com。