中国工程院院士沈昌祥：给大模型增加“免疫器官”，筑牢人工智能安全底座

　　未来网北京7月4日电（记者 张冰清）“其实可以把人工智能理解成人，免疫系统被称为是人体的‘第二大脑’，具有许多在工程领域有启发意义的特点，如多样性、分布性、动态性、适应性、自我识别、学习、记忆等。同样的，人工智能、大模型也需要这样的‘免疫器官’，才能在高速发展的当下筑牢安全底座。”中国工程院院士沈昌祥在日前召开的2024世界数字经济大会互联网3.0高峰论坛后接受记者采访时表示。

　　今年年初，“加速发展新质生产力”的战略要求提出，提振了千行百业。沈昌祥认为，新质生产力必须具备韧性、安全性、自主可控和安全可靠等关键要素。特别是《网络安全法》及《关键信息基础设施安全保护条例》的相关规定，明确了安全可信网络产品的重要性及其在生产环境中的核心地位。

　　“人工智能产业作为新质生产力的重要支撑，虽然极大地推动了社会进步，但也伴随着不容忽视的风险与挑战。”沈昌祥特别提到，全球范围内对人工智能潜在风险的担忧日益加剧，如马斯克等顶尖专家联合呼吁重视并缓解人工智能可能带来的灭绝风险。

　　针对人工智能发展中的安全问题，沈昌祥院士深入分析了大模型技术的双刃剑效应。他指出，大模型虽然具备强大的预训练语言能力和精准的回答问题能力，但其背后隐藏着信息泄露、可信能力缺失、偏见及违反伦理道德等风险。他以ChatGPT为例，说明了人工智能在辅助决策时可能导致的错误判断及其严重后果。

　　有研究数据表明，使用AI生成的数据训练次数超过5次，模型就会出现崩溃。将AI生成的内容喂给模型，只会导致性能下降。

　　沈昌祥向记者解释了这种“模型自噬障碍”（MAD），即生成式AI成本越来越低，伴生而来的是AI生成信息的低质、同质化，未经证实的“AI语言”如果不加以甄别，又再次进入互联网，就会“弄脏”互联网，进一步被抓取作为训练AI的语料，AI大模型将会走向崩溃，陷入这种“模型自噬”。

　　事实上，早在2023年7月，中国首个AIGC监管文件《生成式人工智能服务管理暂行办法》就已落地，该《办法》明确指出AIGC服务提供者要“增强训练数据的真实性、准确性、客观性和多样性”。

　　为应对这些挑战，沈昌祥提出了构建安全可信的人工智能生态环境的关键路径：所有的人工智能系统都应具备“免疫能力”，即能够抵御外部攻击、保护内部数据安全、确保系统稳定运行。

　　2024世界数字经济大会互联网3.0高峰论坛。未来网记者张冰清 摄

　　据沈昌祥介绍，中国自1992年起在可信计算领域的研究与实践，特别是“智能安全卡”系统的研发与应用，证明中国在构建安全可信网络产品方面具有深厚底蕴。面临日益严峻的国际网络空间形势，必须构建网络空间安全主动免疫保障体系，筑牢网络安全防线。当前，大部分网络安全系统主要是由防火墙、入侵检测和病毒查杀组成，被称为“老三样”。但是“封堵查杀”难以应对利用逻辑缺陷的攻击，并且存在安全隐患。

　　沈昌祥还提出了实现人工智能安全可信的具体措施，包括确保人工智能大模型、处理能力及管理过程的安全可信。他呼吁构建智能物联网安全架构，强化通信网络的安全可信性，特别是5G等关键技术的安全保障。同时，他强调了安全管理中心在人工智能生态系统中的核心作用，指出只有通过全面、系统的安全管理，才能确保人工智能的健康发展和广泛应用。

　　此外，沈昌祥提出了“三条控制底线”：必须使用我国的可信计算，必须使用我国的数字证书，必须使用我国的密码设备。

　　“一定要有我们独立自主的知识产权，要对最终的系统拥有自主知识产权，保护好自主创新的知识产权及其安全。坚持核心技术创新专利化、专利标准化、标准推进市场化。要走出国门，成为世界品牌。”沈昌祥对未来网记者说。