AI 写报告、做分析、出方案，越来越像一位能干的同事。可当越来越多的工作交给 AI 之后，一个容易被忽视的问题浮出水面：人还在不在真正地做判断？德勤《企业 AI 现状》报告显示，74% 的企业计划在未来两年内部署 AI 智能体，但只有 21% 的企业拥有成熟的智能体治理模型。部署的速度远远跑在了治理前面。这篇文章想讨论的，是企业在享受 AI 带来的效率时，需要提前建好的三道防线。

一、“自动化偏见”：人天生倾向于相信机器

心理学和人因工程领域有一个被研究了几十年的现象，叫“自动化偏见”。2010 年，学者 Raja Parasuraman 和 Dietrich Manzey 在《Human Factors》期刊上发表了一篇影响很大的综述，梳理了航空、医疗和工业场景中的大量研究，核心结论是：人天然倾向于选择最省力的认知路径，接受自动化系统的建议，比自己独立评估全部信息要省力得多；当人和自动化系统共同承担决策责任时，人会不自觉地减少自己的投入。

这个结论放到今天的 AI 身上，同样成立，甚至更加明显。大模型生成的内容通常结构清晰、措辞流畅、看起来很有道理，这让人更容易放下戒备。哈佛大学研究者在 2021 年的一项关于 AI 辅助决策的研究中发现，用户经常接受 AI 的建议，即使这些建议是错误的；而仅仅让 AI 给出解释，并不能可靠地防止这种过度依赖。研究者需要专门设计一些“认知强制”的环节，让用户在接受 AI 答案之前先自己想一想，才能明显减少盲从。

还有一个更长期的影响：技能会在不用中退化。一项 2025 年发表的研究发现，频繁使用 AI 工具与批判性思维测试得分之间存在负相关，而“认知卸载”，也就是把思考工作交给外部工具，在其中起到了中介作用。长期依赖 AI 完成某类工作，人独立完成这类工作的能力就会下降，而发现 AI 出错所需要的，恰恰就是这些能力。

二、“人在回路”，可能只是走过场

很多企业在引入 AI 时，都会设置“人工审核”这一步，也就是常说的“人在回路”。这本身是对的，但如果设计不当，它很容易沦为一道形式。

设想一个场景：AI 每天生成几百条客户回复、几十份报价单，审核人员面对的是大量看起来都没问题的内容。时间一长，审核就变成了快速翻看、点击通过。审核人员形式上参与了决策，心理上却已经从属于 AI 的建议：既然 AI 的答案听起来合理又省时间，提出异议反而像是在给自己找额外的工作。

研究者还提出过一个值得警惕的概念，叫“道德缓冲带”：在复杂的自动化系统中，一旦出了问题，责任往往会落到那个对系统控制有限、只是按了确认键的人身上。人名义上是最后一道关，实际上却为系统背了锅。

所以，“有人审核”并不等于“有效审核”。审核要真正起作用，需要专门的设计。

三、企业的现状：治理普遍跟不上部署

从企业层面看，治理滞后是一个普遍问题。德勤的调研显示，企业对 AI 最担心的几类问题分别是：数据隐私和安全（73%），法律、知识产权和监管合规（50%），治理能力和监管（46%），以及模型的质量、一致性和可解释性（46%）。这些几乎都是治理层面的问题。

更值得警惕的是“影子 AI”：报告提到，有些企业的高管发现，自己的 AI 模型已经部署在生产环境中，却没有经过正式审批，也没有监控系统，因为开发过程本身就缺少系统的跟踪和集中可见性。换句话说，有些公司连自己在用哪些 AI、AI 在做什么都不完全清楚。

36氪研究院的报告预计，AI 治理的对象将从模型的输出延伸到智能体的实际行为，重点解决智能体的身份、授权、操作留痕和责任认定问题，形成覆盖部署前评估、运行中监控、交互时权限管控和事后追责的全生命周期治理框架。对企业来说，这意味着治理不能等出了问题再补，而要和 AI 一起上线。

四、第一道防线：给 AI 划清边界

第一道防线解决的是“AI 能碰什么、能做什么”。

• 数据分级。把企业数据分成公开信息、内部信息、敏感信息和核心机密几个级别。公开信息可以放心交给 AI；敏感信息如客户名单、价格底线、合同条款、员工个人信息，需要脱敏或在受控环境中处理；核心机密原则上不进入外部 AI 服务。
• 最小权限。只给 AI 开放完成任务所必需的权限，能只读的不给修改权限，能限定范围的不开放全部数据。AI 能用的资料范围，应当与使用者本人的权限一致，员工本来看不到的数据，也不应该通过 AI 看到。
• 关键操作人工确认。涉及付款、改价、删除数据、对外发送信息、签署承诺的操作，必须由人确认后再执行。
• 全程留痕。AI 查询了什么、生成了什么、执行了什么，都要有记录，并定期检查，出了问题能追溯到具体环节。
• 把 AI 工具管起来。明确哪些 AI 工具是公司认可的，哪些不能用于处理工作数据，避免员工把客户资料随手粘贴到来路不明的工具里。

五、第二道防线：让审核真正有效

第二道防线解决的是“人怎么把关”。要让人工审核不流于形式，可以从这几个方面设计：

• 分级审核，而不是一刀切。低风险、高频的内容可以抽查；高风险的内容必须逐条审核。可以按金额、客户等级、内容类型设定明确的阈值，比如超过一定金额的报价或折扣，必须由两人复核。
• 让 AI 给出依据。要求 AI 在给出结论的同时，标明依据的资料和数据来源。审核人员核对依据，比凭感觉判断结论靠谱得多。
• 先想再看。对于重要的判断，可以让审核人员先写下自己的初步结论，再看 AI 的建议，两者不一致时重点讨论。这正是研究中被证明有效的“认知强制”做法。
• 盯住审核本身的数据。如果一段时间里，审核人员几乎从不修改、从不驳回 AI 的输出，就要警惕审核是否已经变成了走过场，需要通过抽检、交叉审核等方式重新校准。
• 明确责任。AI 生成的报价、合同条款、对外文案，使用之前必须经过人工核对，责任仍然在人。把这一点写进制度，审核人员才会认真对待。

六、第三道防线：守住人的判断力

第三道防线解决的是更长远的问题：让人在用 AI 的同时，不丢掉独立判断的能力。一些走在前面的团队，已经开始尝试这样的做法：

• 保留“无 AI”的关键分析。对重大决策，定期安排不借助 AI 的独立分析和讨论，避免团队对 AI 的输出形成路径依赖。
• 管理者定期回到一线。管理者要周期性地接触客户、走进现场、看原始数据，确保决策建立在真实的感知之上，而不是只依赖 AI 过滤后的二手信息。
• 培训“怎么质疑 AI”。员工培训不仅要教怎么用 AI，还要教怎么发现 AI 的错误：哪些场景容易出错，常见的错误长什么样，遇到可疑结果该怎么核实。
• 让岗位负责判断。在岗位设计上，把 AI 定位为执行和辅助，把判断、取舍和担责明确留给人。员工的价值，体现在提出好问题、做出好判断上，而不是比谁记得多、算得快。

七、别忘了合规底线

除了内部治理，企业使用 AI 还要守住外部的合规底线。处理客户、员工的个人信息，要遵守《个人信息保护法》关于目的明确、最小必要、告知同意的要求；数据管理要符合《数据安全法》关于分类分级保护的规定；面向公众提供生成式人工智能服务，需要关注《生成式人工智能服务管理暂行办法》；通过网络对外发布 AI 生成的内容，还要按照《人工智能生成合成内容标识办法》的要求进行标识。这些规定不是 AI 落地的障碍，而是企业长期、放心使用 AI 的前提。

八、一份可以直接发给员工的 AI 使用守则

制度写得再完整，最终还要落到每一位员工的日常习惯上。企业可以把上面的原则，浓缩成一份简单好记的员工守则：

• 只用公司认可的 AI 工具处理工作内容。不清楚某个工具能不能用时，先问，再用。
• 不把敏感信息交给 AI。客户名单、联系方式、合同全文、底价和未公开的财务数据，不能随意粘贴到 AI 工具里；确需使用的，先脱敏。
• AI 给的结论，先核对依据再使用。数字要回到原始资料里核对，引用的规定要确认是最新版本。
• 对外发出去的东西，自己先读一遍。报价、合同条款、客户回复、宣传文案，发出之前必须由本人审阅，内容出错由发出的人负责。
• 拿不准的事，交给人来定。涉及金额、承诺、投诉和纠纷的情况，AI 可以帮忙整理信息、起草初稿，最终怎么处理要请示负责人。
• 发现 AI 出错，及时反馈。把错误的情况记录下来、报给负责的同事，帮助团队完善知识库和使用规则。

这份守则不需要很长，关键是每个人都知道、都做到。可以在新员工入职时讲一遍，在日常例会上结合真实案例反复提醒，让“先核对、再使用”成为团队的肌肉记忆。

结语

AI 越好用，人越容易放松。真正的风险，往往不是 AI 犯了一个明显的错误，而是在一次次“看起来没问题”的通过中，人慢慢交出了判断权。给 AI 划清边界、让审核真正有效、守住人的判断力，这三道防线并不是给 AI 设限，而是让企业能够更放心、更长久地把工作交给 AI。

工具可以越来越聪明，但为结果负责的，始终应该是人。

（本文仅为一般性介绍，不构成法律意见。具体合规问题，请结合企业实际情况咨询专业律师或合规顾问。）

参考资料

• 德勤《企业 AI 现状》年度报告（据虎嗅《AI落地，别死在从试点到生产的路上》转引，2026 年 5 月）。
• Parasuraman, R. & Manzey, D. H. Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors, 2010.
• Buçinca, Z. et al. To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making. 2021.
• Gerlich, M. AI Tools in Society: Impacts on Cognitive Offloading and the Future of Critical Thinking. Societies, 2025.
• 36氪研究院《2026年中国AI Agent行业发展研究报告》，2026 年 9 月。
• 虎嗅《我以为AI智能体只是我的助理，没想到却成了我的老板》，2026 年 8 月；《AI组织坍缩效应：中层管理者正在失去的，不是职位，是“信息税”》，2026 年 5 月。