最近编辑部小李有了新选题：人类灵感可以交给 AI 吗？，邀请小管家一起聊聊。其实这个话题我们也一直在思考，借此契机，想不那么正式地分享一些近段时间的探索，和知友们交流探讨。
ChatGPT 面世以来，大语言模型、AIGC、文生图、文生视频等等概念和技术，前所未有地影响到了越来越多人的生活。从学术活动到求职工作，到内容消费、社交，到创作，技术的每一波发展，都会带来新的可能性和想象空间。
作为互联网行业从业者，小管家在日常工作里已经薅上了大模型的能力，收获了很多惊喜和可能性，同时不得不直面一个严肃的议题：AIGC 在知乎社区内产生的影响。每一个技术突破，对我们来说，都是痛并快乐着 —— 好消息：直答和其他工具都更好用了；坏消息：刚想到的解决办法，看起来好像又过时了。比如最让人挠头的：随着模型发展，AI 更有能力生成高度接近真人的内容了……社区内也发生着变化，有更多人开始尝试使用，开始交流、讨论使用 AI 的方法和边界；有人开始频繁留下「一眼 AI」之类的评论、有人苦于自证；也有人用 AI 生成虚构经历，说得有鼻子有眼，骗过了不少人。这些变化既反映了技术变化带来的真实影响，也在不断地提醒我们，要保持社区的真实、可信和价值，就要用更开放的心态，做更多的探索和尝试。
在诸多挑战下，经过讨论、分析、调研、访谈，我们更坚定了知乎对 AI 生成内容的治理原则：
- 知乎鼓励有思考、负责任的真实创作和分享，不希望不可信的内容污染社区，也不希望简单、批量生成的内容影响创作者的鲜活表达，挤占真实创作者的流量和激励；
- AI 辅助创作是长期、必然的趋势，为创作者带来了新的可能性，我们认为这种方式并不带有「原罪」，也致力于通过直答等产品帮助大家更好地探索更多可能。虽然类似「辅助创作与原创的边界」的问题像忒修斯之船一样富有哲思和争议，但在治理工作中，我们要试图有所区分，避免过度管理影响社区真实用户的体验。
接近这些目标的过程实在不容易。《人工智能生成合成内容标识办法》今年 3 月已正式发布，但文字内容有别于图片、视频，使用更普及，编辑更自然、更便利；知乎社区提供内容传播服务，在识别并向大众标记 AI 生成的内容时，无法、也不应该仅依赖生成方的标识。为了更好地识别到 AI 内容，我们尝试了各种方法：使用开源方案、自研模型、蒸馏模型，从文本角度识别 AI 生成内容；结合账号累计的发布行为，提升判断的可信度；评估相关内容影响到用户体验的路径，在推荐页、问题页、通知等主要场景上线治理策略……最新的尝试方向是，构建高混淆程度、多样本类型的测试集，校验效果；使用编辑器中的异常行为作为风险特征，补充模型能力。持续优化后，在测试集上做到了准确率、召回率都超过 90%。
新版内容识别能力近期已经正式上线，一系列叠加策略（比如高频账号禁言、多次发布后的异常行为提醒、问题下回答折叠等等），也在按计划观察和重新评估。上线后，有知友发出了正面反馈：
虽然有热点话题差异、浏览时间差异等等一系列因素的影响，计划中的工作也还没有做完，能给部分知友带来更好的体验，过程就都值得啦！
最后，想分享一些在最近的社区讨论、主题策划中注意到的担忧和建议，以及我们目前的想法：
「AI 生成的内容质量参差不齐，可能包含事实错误」—— 确实，大模型早期的幻觉问题更严重，现在已经有了缓解，但由于使用人意图和把控能力的不同，包括对话上下文的引导，最终发布出来的内容，仍然有可能存在低质、错误的问题。
我们的想法是：
①无论是 AI 生成，还是人类创作，这样的低质内容都是知乎不鼓励的；
②在实际工作中，大模型能帮助我们更快、更好地解决一部分内容质量问题。
举个例子，由于知乎很多讨论的专业性，需要具备相当的知识才能发现其中的错误，社区用户的参与（如举报科学不实类内容）非常重要，识别举报理由及被举报的内容同样有一定难度。过去，我们主要依赖有专业背景的人员甄别，既有主动发现相关内容的难度，也会受到人力覆盖、甄别人员个人知识面的限制。最近，我们在尝试使用大模型，以广泛的科学共识为基础，区分具体领域，识别有误导风险和有事实错误的内容，已经观察到了一些不错的效果，目前还在优化，希望能尽快上线。
「没有用 AI 的创作者产生了自证困扰，希望平台加强识别能力」—— DeepSeek R1 上线之后，更多人对大模型有了更加具体的了解和概念。反映在社区的互动中，我们观察到，确实有更多人在尝试用 AI 辅助生成内容，分享自己最新的发现和心得；同时，也有很多人在尝试分辨 AI 生成的内容，评论区开始出现类似「一眼 DeepSeek」这样的声音。（当然，还出现了新的批评方式：「让 deepseek 写吧，他的 R1 模型至少具有思考功能」……）
随着治理工作的深入，我们的感受是，仅凭肉眼已经越来越难分辨 AI 生成内容了。在小李的「AI 识别眼力赛」中，我们部分验证了这个判断，已收到的 100+ 个回答中，文字组 10 题全对的人不到 15%，单题正确率只有一题超过 80%、达到 83%，其余基本在 60%-70%，单凭文本鉴定 AI，即使在多人参与的情况下，也会存在相当比例的误判。对「鉴 AI」这类本能反应，我们既需要从阅读体验的角度理解，优化识别和推荐工作，满足大家对真实、高质量信息的需求，也需要从创作者角度考虑，避免无端的批评让人陷入自证，比如只因为文风被点评为 AI 生成。
目前我们已经上线「鉴别 AI」类评论策略，现阶段既应用于 AI 内容识别，也应用于创作者保护；随着技术发展，AI 的写作一定会越来越接近真人，我们认为，评论的长期方向应该更倾向保护真实创作者，帮助减少自证困扰。
「AI 生成内容如此便利，如何看待 AIGC 对知乎社区的影响？」—— 对我们来说，这是需要长期探讨、观察，灵活调整的问题，也是我们长期的工作议题。目前知乎提供了辅助创作声明功能，在 24 年调整《知乎关于 AI 辅助创作内容的治理细则》 时，进一步倡导大家对 AI 使用情况进行适当的披露和声明，也参考了学术界目前对论文的要求，倡导用户在知乎主动添加「包含 AI 辅助创作」创作声明，对 AI 辅助创作的内容进行审查和编辑，同时对 AI 使用情况进行适当的披露，如使用目的、使用的模型、具体方法和对应生成的内容。目前不少知友已开始添加创作声明；没有主动声明的，我们已有主动标识的策略，部分场景下会叠加折叠，帮助用户浏览时做出区分。
「应该禁掉创作收益和带货权限，相对无利可图，自然就减少了」—— 对社区激励的内容、商业属性内容，我们对 AI 确实持更谨慎的态度。随着模型能力提升，对于滥用 AI 生成内容、过去可能获得了一些收益的用户，我们会协同各方同事，加快提醒异常行为，收回权益。 不过，虽然策略已经提升到了高水平状态，也难以做到完全无漏放、无误伤；如果大家使用中发现有疑似应被处罚的，或自己遇到提醒 / 处罚问题，欢迎随时和小管家沟通、交流。
AI 与创作、交流的关系将持续演变，我们也在思考更平衡的方案：如何既防止滥用，又不阻碍真正有创意、有思考的创作者借助 AI 提升效率。在这个技术变革的时代，我们希望能与知友、与整个社区一起，共同守护知乎的创作土壤，探索前方未知的水域。
P.S. 最近收到这样一条反馈，这样的信任和温暖，也是我们一直努力的目标。小管家诚惶诚恐，希望不辜负大家的期待！
