近日，杭州高新区（滨江）区块链与数据安全研究院（以下简称“研究院”）牵头的“大模型安全检测关键技术研究及平台研发”项目正式获批为2024年度杭州市重点科研计划项目。
杭州市重点科研计划是杭州市围绕建设科技创新策源地、科技成果转移转化首选地，打造创新创业新天堂目标，集聚力量开展的重点技术领域应用基础研究、社会公益性研究、关键核心技术攻关、科技成果转化应用和科技合作研究活动的计划。
该项目由浙江大学计算机科学与技术学院院长、区块链与数据安全全国重点实验室常务副主任、杭州高新区（滨江）区块链与数据安全研究院管委会（领导小组）副主任任奎教授主持，多位国内知名学者和行业专家共同参与。项目主要针对我国大模型安全自动化智能化检测手段缺乏的现状，围绕多维度的大模型安全检测与评测展开关键技术研究，引入模型数据安全、系统框架安全、生成内容安全的评估方法，实现大模型全栈安全评测、多模态大模型内容安全多维度评估和 AIGC 合规检测等关键技术，最终形成一套覆盖大模型应用主要关键环节的安全检测关键技术体系，并在金融领域的多个典型场景进行示范性应用。
研究院作为浙江大学区块链与数据安全全国重点实验室的唯一地方政府共建基地，汇聚高校、研究机构和产业化团队在区块链、数据安全、数据智能以及Web3四个方向开展前沿技术协同攻关。其中大模型安全作为数据安全团队的重点项目，已发布AIcert人工智能安全评测平台（以下简称“AIcert”）和DFscan深度伪造视频检测平台（以下简称“DFscan”）。
AIcert实现AI系统全栈安全评测体系
AIcert集合理论验证、安全开发、多维分析的三重优势，解决了从数据到系统、从算法开发到系统部署的多层面全方位安全检测技术覆盖，实现了包括数据质量评估、算法安全验证、模型安全评测、框架安全度量、系统安全检测在内的五大核心层面的AI系统全栈安全评测体系与技术平台,拓展了AI的安全边界。目前，该平台已在南方电网、中车株洲、淘宝网、杭州城市大脑、湖南四方天箭、山东计算中心（国家超级计算济南中心）等多个企业中成功部署示范性应用，服务于亿级用户数据，取得了广泛的学术和产业界认可。
DFscan平台架构图
DFscan从促进生成式人工智能的合法化应用和健康化发展出发，专注于图像/视频深度伪造内容的风险管控，可应用于AI电诈视频甄别、人脸识别系统防护、重点人物伪造视频监管、媒体内容合规性检测等场景。同时，检测平台支持伪造区域定位、伪造特征可视化和伪造方法溯源等细粒度检测功能，并能够生成多维可视化的检测报告。
未来，随着大模型应用范围和规模的迅速扩张，研究院数据安全团队将面向数据安全、模型安全、内容安全产生的迫切需求，继续深度融合政产学研用优质资源，不断突破大模型安全性检测前沿技术和具有国际竞争力的关键技术，促进人工智能产业化快速发展，为我国新一代人工智能发展规划提供坚实有力的平台。
