周鸿祎:大模型降低攻击门槛,人人皆可“注入攻击”


在 2025 中国互联网大会上,当被问及大模型在落地应用过程中可能存在的风险时,360集团创始人周鸿祎深入剖析了人工智能时代下网络安全面临的全新挑战。他指出,相较于传统的IT系统漏洞和数据隐私泄露问题,大模型带来的三大安全风险更应引起高度警惕。

核心风险一:大模型的“幻觉”与胡言乱语

周鸿祎强调,大模型固有的“幻觉”问题是其最大的风险之一。他解释说,当大模型遇到不理解的事物时,会一本正经地编造信息。虽然这在娱乐场景中尚可一笑置之,但当大模型及其衍生的智能体开始深入工业生产、制造以及政府办公等关键领域时,这种“出错”将可能导致严重后果。他特别指出,一旦智能体具备了操纵各种工具的能力,其错误判断的危害和影响将成倍放大。

核心风险二:大模型降低攻击门槛,人人皆可“注入攻击”

周鸿祎提出的第二个风险是,大模型极大地降低了网络攻击的门槛。他指出,大模型使得非编程专业人员也能通过简单的自然语言交互来编写程序,这同时也意味着攻击大模型的门槛也随之降低。通过精心构造的指令,攻击者可以诱导大模型泄露企业机密文件,这种现象被称为“注入攻击”。周鸿祎形象地表示,未来甚至一个不具备编程知识的前台员工,都可能因为不满而对公司的大模型和智能体发动攻击。

核心风险三:国家级高级威胁攻击的智能化升级

从更宏观的未来视角来看,周鸿祎指出,大模型将使国家级高级威胁攻击变得更加普遍和复杂。过去,针对我国的网络黑客数量相对较少,但现在,黑客正尝试将自身的能力和经验嵌入大模型,把自己打造成“黑客智能体”。在拥有足够算力支持的情况下,一个黑客可以同时操纵数十甚至数百个智能体,这将彻底颠覆传统的网络攻防格局,使网络安全从“人与人”的对抗,转变为“人与算法、人与机器、人与算力”的对抗,因为机器人数字黑客只需要算力,不需要休息。

360的应对策略:“以算法对抗算法”

面对这些严峻挑战,周鸿祎表示,360已着手采取两项关键措施来应对。首先,360正在积极打造智能体安全专家。这些专家能够帮助企业在面对攻击时,实现实时检测和实时防御,从而真正做到“以算法对抗算法”。

其次,针对大模型的安全性和易受攻击性,360开发了专门的“大模型卫士”。这是一款专业的大模型和智能体,其主要功能是监控发送给大模型的指令,并评估大模型输出内容的合理性和准确性。此外,结合强大的搜索能力和企业知识库,该卫士还能最大限度地降低大模型的“幻觉”问题。


相關推薦

2024-08-01

第十二届互联网安全大会上,360集团创始人、董事长兼CEO周鸿祎宣布,360安全大模型免费。 在大会现场,周鸿祎表示,360 全线安全产品已集成安全大模型能力,对所有购买 360 标准产品的用户免费提供大模型标准能力,产品

2025-04-11

4月10日,360 周鸿祎现身2025中国移动云智算大会,围绕企业如何用好大模型,阐释了自己的观点。 他认为,企业落地AI不要追求宏大叙事,不追求一个大模型解决所有问题,要敏捷迭代,小步快跑,争取单点突破。先建立群众基

2024-02-27

360集团创始人周鸿祎近日接受了新京报的独家采访,在被问及国内大模型企业如何追赶 Sora 时,他认为: “Sora的技术路线如果被开源,国内将能很快赶上,但在追赶Sora时,算力有可能成为门槛,对此,集中国内所有AI企业的

2024-07-11

在2024中国互联网大会上,360集团创始人周鸿祎,搜狐创始人、董事局主席兼首席执行官张朝阳共话互联网行业发展及风口趋势。 周鸿祎认为,未来10到20年间,大模型都会深刻改变世界。“大模型不是操作系统,而是会成为未

2023-11-30

俞敏洪在公众号更新了与周鸿祎的采访对话。对话中双方聊到了大众对360的误解,周鸿祎表示,360不能卸载是一个彻底的谣言。 来源:https://mp.weixin.qq.com/s/pd2R8Y5Q6HtYODNfRvcbnA 周鸿祎称,因为360提供了完整的卸载过程。有

2024-07-23

360创始人周鸿祎连发三条视频,以日前发生的因Crowdstrike更新导致全球Windows大面积蓝屏死机事件为主题,谈论了国产安全软件的重要性以及这场史上最大IT事故所带来的启发。 “这次的事件也再次展露了微软在整个市场中的占

2024-08-10

今日下午,360创始人、董事长周鸿祎受邀到新浪总部担任001号WBA博导,和现场科技博主及媒体朋友讨论AI话题。 对于中国的AI发展,周鸿祎认为第一件就是还是要有人对抗OpenAI。 那么如何创造战机? 周鸿祎仍然坚定地认为要

2023-04-01

针对这一呼吁暂停 GPT-5 研发的联名公开信,360 创始人周鸿祎今天也在微博发表了自己的意见称,“我自己是做安全的,但我坚定地认为,不发展才是最大的不安全。关于马斯克的请愿信,我不了解内幕,但我猜测是 GPT 的进

2025-07-24

7 月 23 日,360 集团创始人周鸿祎对第一财经记者表示,360 的芯片采购正转向国产芯片,最近采购的都是华为的产品,未涉及英伟达 H20 芯片。 他坦言,尽管国产芯片与英伟达产品存在差距,但必须坚持使用,因为只有通过大量

2025-05-10

tps://meta-llama.github.io/PurpleLlama/LlamaFirewall/ 随着大型语言模型(LLMs)嵌入 AI 智能体并被广泛应用于高权限场景,安全隐患随之增加。这些智能体可以读取邮件、生成代码、调用 API,一旦被恶意利用,后果不堪设想。 传统的安

2025-04-25

目前,只有拿到邀请码,才能开始体验。 360集团创始人周鸿祎介绍,万能工具箱基于MCP而生,已接入超过110款工具,覆盖办公协作、学术、生活服务、搜索引擎、金融、媒体娱乐、数据抓取等多种场景,且工具免费、可一键安

2024-02-23

2 (2024 元宵节) 1.chaing SQL编程支持占位符预编译,防止注入攻击;增加update,delete的chaing编程支持 2.没有指定表名则不放缓存 3.添加Calculate默认日期分片实现,添加自定义分片实现样例 4.支持ElasticSearch(7.x) ORM 查询(Q群 992650213) 5.自定

2023-11-07

本,供无需开展系统协作的用户免费下载并使用,力求在降低DataEase安装和使用门槛的同时,让软件的使用更加轻便。 目前,DataEase v2.0版本还未完全覆盖v1.18.x版本的全部功能。但在轻量级的全新架构下,DataEase v2版本将更快、

2023-08-16

继今年7月在2023世界人工智能大会发起成立“大模型语料数据联盟”(以下简称“语料数据联盟”),上海人工智能实验室(上海AI实验室)于8月14日宣布,联合中央广播电视总台、人民网、国家气象中心、中国科学技术信息研