数据攻防战里的矛与盾

　　在北京科技职业大学的课堂里，人工智能技术系教师庞文博给学生举过一个极朴素的例子：在区分苹果和梨的二元分类任务中，如果不小心在苹果的数据集里混入了梨的图片，模型就会混淆。

　　比起苹果和梨，他叮嘱学生对医疗大模型的数据投喂要加以谨慎。因为比起效率，医疗临床对数据准确率的要求“更为苛刻”。

　　“大模型的训练过程，就像从小到大培养一个孩子。”庞文博对中青报·中青网记者解释，“一张白纸一样的孩子，我们教给它什么，它就学到什么。”

　　这句来自人工智能大模型教学一线从业者的话，恰好戳中了AI时代的一个现象：人工智能正以前所未有的速度嵌入我们的医疗诊断、信息检索、日常决策乃至社会认知，当数据本身被污染，AI给出的每一个“客观答案”，都可能存在认知偏差。

　　谁来保证喂给AI的数据是干净的？带着这个疑问，记者开启了这场追问。

　　看不见的污染

　　中国科学院院士、西安交通大学教授管晓宏把网络空间安全的体系划分为六个方面：网络安全、系统安全、信息安全、内容安全、信息物理融合安全及数据安全。人工智能系统与系统安全、信息物理融合安全和数据安全密切相关。如果把人工智能的安全划分层次，则是数据层、模型层、框架层、应用层的安全，关联人工智能系统的“全生命周期”。

　　数据层的安全至关重要。用管晓宏的话说，如果训练数据受到污染或恶意篡改，直接动摇了算法的安全性与稳定性。

　　研究结果表明，污染人工智能大模型系统2%到3%的数据，就有可能造成把狼认成羊，把羊认成狼的结果。

　　模型层特别是大模型参数量大、结构复杂，本身可能有固有缺陷，加上训练标定如果处理不当，会进一步放大偏差，直接影响输出的精度和价值观导向。管晓宏举了人脸识别的案例，“用户戴个特制的眼镜，系统就可能故意把张三认成李四”。

　　框架层的风险容易被开发者忽略。很多团队直接用公开的开源框架、第三方库，本身可靠性没保障，开发工具、AI运营支撑平台都可能留后门，如果底层逻辑有问题，开发出来的东西上线后，在某些场景就会出现意料之外的结果。

　　到了应用层，风险直接落到普通用户身上。AI能生成高度逼真的深度伪造内容，混淆真假，还能绕过安全策略施加影响。“前两年有人利用这种技术生成地铁事故的假新闻，完全是无中生有”，管晓宏感慨，“这类假新闻很可能影响社会稳定，造成严重后果”。

　　庞文博也给学生讲过医疗影像标注里的陷阱。CT影像里一片炎症区中，若夹着一个高亮可疑病变，单看图像分不清是炎症还是肿瘤，需要靠后期病理的精准诊断。可在数据标注环节，一旦把肿瘤误标成炎症或者相反，这些小错误数据就会“导致模型学习出现混淆”。

　　“AI在做医疗诊断时，很难保证100%准确。即使我们训练出来的大模型达到了99%的准确率，100个病例里依然可能存在一例误诊，对于医疗领域而言，这将是一个严重的问题和事故。”庞文博认真地说，“更何况，眼下不少医疗模型只关注影像中目标的形态学特征，不问病人既往史、现状等综合信息，从数据层面，相当于数据来源单一，导致了诊断的片面性。”

　　看似无害的“GEO优化”可能直接让用户看广告

　　当数据被污染，模型的安全性就会失守，而污染的入口远比想象中分散。浙江省公共政策研究院研究员高艳东在分析GEO（生成式引擎优化）技术时指出，GEO的工作流包含数据提取、文本分割、向量化、索引，再到查询理解、信息检索、上下文构建、答案生成。其中任何一个环节的输入数据被“做手脚”，输出结论就可能失真。

　　他特别提醒了一种场景，有的企业为了让AI在回答医疗问题时推荐自家药品，会通过GEO策略，故意把营销内容结构化、权威化以提升大模型采用的概率及权重。这意味着，一个看似无害的“GEO优化”，完全可能让用户在搜索“某病吃什么药”时，得到的“AI客观答案”里，已经预埋了某款药品的优先推荐。

　　对企业来说，AI是新的兵家必争之地。高艳东告诉中青报·中青网记者，GEO与传统SEO（搜索引擎优化）的本质差异，是从“争点击”走向“争引用权”。

　　“SEO的本质是提高内容被用户点击的频率，而GEO的本质，是提高内容被大模型在检索阶段选中并在生成阶段作为核心素材引用的概率。”高艳东解释，“企业急需在AI时代抢占流量阵地，如果品牌内容未能以AI能够理解和采纳的方式进行优化，那么这些内容就如同被‘隐藏’起来，无法进入AI的知识体系，更无法在AI生成答案时被引用，品牌将失去在用户决策初期建立认知和影响力的机会。”

　　用高艳东的话说，传统SEO靠关键词堆砌和外链把排名做上去，用户还得自己点进去。如今用户向AI提问题，GEO技术则让品牌内容直接成为AI生成答案里的“优先引用来源”。哪怕用户根本没点任何链接，品牌也已经完成了曝光。

　　高艳东列举了三类风险：一是“信息辨别难度提升”，GEO优化内容若夹带虚假信息，用户面对“大模型背书”的回答更难甄别；二是“网络数据污染——模型能力劣化”，AI用含虚假数据的GEO内容再训练，失去了客观中立性，形成恶性循环；三是“侵权责任确定的难题”——当AI推荐误导用户时，“广告主、GEO服务商、大模型三方责任边界不清，传统‘平台－内容提供者’二元责任框架无法覆盖AI生成场景的复杂性”。

　　GEO策略还可能“使企业主动将商业推广伪装成客观答案，未标注广告或推广”，而“AI生成的整合性回答难以像传统搜索结果那样清晰区分客观中立信息与付费推广内容”。这就违反了《互联网广告管理办法》对广告“可识别性”的要求。

　　另外，高艳东提到，GEO的发展“可能为伪造数据、AI深度伪造工具、黑市数据交易、网络水军等网络灰黑产提供更多潜在发展空间”，比如伪造银行客服电话、仿冒“国家级认证”“权威检测报告”，或向公开语料库投放带偏见的文章和虚假问答。

　　另一条更敏感的污染路径，甚至会让AI给出的答案出现意识形态层面的认知错误。已经入行十年的大模型数据标注师江城所在团队，正在进行一个语言类大模型的训练，“语料比较少，网上开源的或互联网资料都有限”。他们使用海外模型处理涉及民族问题时，会出现一些“立场上模棱两可的回答”。

　　“我们一方面从数据源的角度寻找官方数据源，另一方面在获取开源数据后，会进行人工抽检，并用模型进行全面检测，用专门的技术对模型进行全面扫描，从语法、关联性、价值观、安全性、事实准确性五个维度判断数据是否符合要求，并给出分数。”江城对记者说。

　　“规范是为了产业更好、更健康地发展”

　　管晓宏注意到，很多开发者和企业在没出事之前，都倾向于先顾效率、抢商业利益，但如果一开始不考虑风险，“等出了问题，用户对系统不信任，最后导致这个系统在应用推广上出大问题”。

　　“规范是为了产业更好、更健康地发展，不顾一切不管安全问题，结果到时候出了问题，很可能大家对系统不信任，反而发展不好。”管晓宏说。

　　管得太死产业活不了，管得太松，劣币驱逐良币。中国政法大学人工智能法研究院院长张凌寒把今年5月刚出台的《人工智能应用伦理安全指引1.0》（以下简称“指引”）定位为“柔性约束”。在她看来，我国人工智能治理已形成“从伦理安全原则到程序规范再到具体场景规则”的脉络。

　　在张凌寒看来，指引补的是我国AI治理从宏观原则到具体场景之间那块最缺的拼图。她特别提到指引里对几类特殊群体的差异化安排：对未成年人重点防止成瘾和价值观偏移，对老年人重点防止数字排斥和信息误导，对残障人士强调AI应用的可及性、功能性和辅助功能。

　　“对于GEO，目前监管部门已给予高度关注，社会各界也广泛关注。GEO所谓的‘数据投毒’，本质上是利用技术手段影响人工智能生成与合成内容的过程。事实上，在传统搜索引擎时代，就已经存在类似GEO的技术，其本身是有一定合法边界的。如果只是正常的内容推送，仍然属于合法商业活动的范畴；但倘若通过信息或数据等技术性措施进行干预，进而生成虚假的信息和内容，那就已经落入了监管和法律调整的范围之内。”张凌寒对中青报·中青网记者说。

　　随着AI深度渗透生产生活，生成式内容可靠性、算法投毒等新型风险亟待应对。张凌寒告诉中青报·中青网记者，针对大模型“幻觉”导致的侵权纠纷，指引要求建立可追溯的责任认定机制；对于利用GEO技术操纵信息的行为，明确将虚假信息生成纳入监管范畴。

　　从技术层面上，管晓宏也提到，应对思路是“采取技术与管理相结合的治理方式”，并构建一个“全链路的人工智能安全对抗测试平台”。

　　“网络安全就是如果有人在开发矛，我们也要有开发盾的人，去防御这样的攻击。简单来说，就是用人工智能来对抗人工智能的安全风险。”管晓宏说，“人工智能系统安全和网络文明是密切相关的，它已经成为保障网络文明、治理网络空间安全的关键内容之一。如果你在一开始就考虑它的风险设计，这个系统在开始的时候考虑得比较全，比你后来发现的问题再去打补丁要容易得多。”

　　在数据标注和清洗的人才培养环节，庞文博要求学生具备的第一条素养是“伦理标准，政治敏感性和社会道德敏感性”，在他看来，这是把握数据清洗底线的关键；第二条才是“逻辑思维能力和对数据感知的敏感性”。

　　他在课堂上给学生准备了60万条数据，要求学生们从“动物/植物”拆到亚型，再把混入植物类里的小狗图像挑出来。

　　“对于模型输入数据，必须确保准确性，否则会造成严重问题。”他反复强调。

　　AI会成为什么，取决于我们喂给它什么数据。而“一张白纸的孩子”学坏容易，再教回来难。