报告题目：大模型安全评估技术研究：从提示词攻击引发的大模型系统及应用安全风险

报 告 人：邢颖 副教授 北京邮电大学

报告时间：2024年12月3日（星期二）19:30-21:30

报告地点：扬子津校区学行楼503会议室

主办单位：信息工程学院（人工智能学院）、江苏省知识管理与智能服务工程研究中心、科学技术处

欢迎广大师生参加!

报告摘要：

随着大模型的快速发展，提示词作为大模型的输入形式，成为研究重点。构造好的提示词，可以提升大模型使用效果，使大模型能够更好的完成特定任务。然而，攻击者通过精心设计恶意提示词，可以引导大模型输出不正确或不恰当的内容，影响集成大模型的应用程序正常运行，甚至会泄露重要数据，影响系统安全。因此，通过提示词对大模型进行安全测评很有必要。本报告将分享通过系统性地构建安全风险提示词，进行大模型安全评估的研究进展，并探讨如何有效评测大模型面对恶意提示词时的安全性，从而发现大模型面临的安全问题，促进大模型安全性的提升。

报告人简介：

邢颖，北京邮电大学副教授、博士生导师，CCF高级会员、软件工程专委会副秘书长。主要研究方向为软件质量保证、网络空间安全、人工智能安全。主持国家自然科学基金、CCF-绿盟科技“鲲鹏”科研基金项目及其他部委项目多项，并承担了多个国家重点研发计划、国家自然科学基金等国家及省部级项目，申请专利10余项，出版专著《源代码分析》、《面向对象软件工程》等。在信息安全和人工智能领域知名期刊和会议上发表论文80余篇。2022、2023、2024年先后在中国软件大会“面向可解释人工智能的软件工程方法与技术”、“生成式AI与软件自动化”、“SE4AI：面向人工智能的软件工程方法与技术”论坛担任主席。