人工智能带来的影响-科举制度对社会习俗带来什么影响

|是否应该暂停超越GPT4能力的大模型的研究，集中进行伦理安全的解决方案？

香港中文大学蒙美玲(Helen Meng)教授指出：必须从更宏观的角度考虑伦理规范问题。面临挑战和风险时，必须追赶技术发展并抓住机会，同时需集中推进伦理上安全的解决方案。

蚂蚁集团AI风险管理负责人杨舟指出：公开信提醒大家更加重视安全事件的重要性。尤其在AI管理中，安全事件对日常的风险管理至关重要。我们需要重视和预测相关事件，分析安全问题，并避免发展带来的风险。无论是否暂停，我们仍然是追赶者，只有在AI发展过程中，我们才能面对问题、解决问题，并找到危机和机遇。通过这一过程，我们能更好地利用AI为企业和用户提供更好的服务。

阿里达摩院安全合规负责人李娅莉指出：应当更加关注大模型安全性和伦理治理问题，在技术发展的同时加强安全和伦理投入。同时，需要讨论大模型发展所带来的社会影响。在具备高度要求且受限制的环境中，可以确保安全性、操作有效性以及投入资金和人员来降低对公众的伤害。应在可控的环境和有限的范围内首先进行尝试，确保在大众层面上更加安全可控。

|美国、欧盟等相关政府机构提出生成式人工智能应对涉及到版权的内容按比例付费以使得版权所有者获得应有的利益，这个政策是否实际？技术和政策上的挑战是什么？

香港科技大学冯雁(Pascale Fung)教授指出：无论是针对文本还是图像生成的大模型，现行的版权法律根本不适用于这个领域。人工智能模型生成的艺术品或文学作品，如果缺乏创造性，就没有真正的价值。图像生成方面存在隐私和安全性问题，需要加强AI安全性和采取补救措施。对于原创作者和整个社会大众的数据利用，应该回归社会，共享利益。大模型的应用也应该全人类共享，我们应该与社会共同讨论如何在安全可控的情况下，实现效益共享的模式。

腾讯研究院高级研究员曹建峰指出：从版权法的角度来看，大模型面临着多个挑战。首先，关于训练数据的问题，是否需要向权利人支付费用或获得许可存在争议。在美国，类似于谷歌图书馆案的判例认为学习书本知识行为属于合理使用，欧盟则需要进行披露，但未明确表示是否侵权。其次，权利保护也是一个挑战，因为当前的版权法无法约束将合法复制的数据用于模型学习的行为。第三，模型的输出涉及归因困境，即很难判断每个数据对模型的整体贡献。总体而言，大模型对于当前版权法提出多方面挑战，需要在立法和司法方面得到明确的指导和规则。

|人类在大模型时代直接的贡献在数据标注、提示词工程上，特别是标注那些令人不悦、恐惧的内容，我们在科学技术上应当如何改变这样的现状，解放低成本重复性的人类劳动，让人类至少不那么反感大模型带来的新工作？

商汤科技人工智能伦理治理研究主任胡正坤指出：我们可以通过技术来解决这些问题，例如人工标注的自动化。发布自动标注模型可以提高准确性和客观性，同时减少对人的负面影响。然而，我们也需要认识到人类参与是保证人工智能与人类价值目标对称的必要手段。最近的研究表明，随着技术的进步，未来可能会减少人类介入的必要性，但在关键的环节仍需要人类的介入。

香港中文大学蒙美玲(Helen Meng)教授指出：攻击性的言论容易标注，而偏见更为复杂，例如需要考虑文本类型，讨论说话人的态度等。在开发相关模型的同时，还是需要人类参与决策过程。在中文大学进行AI教育计划中，已有超过160所中学和初中的学生学习相关课程，并不断加入新内容，注重与中学老师密切沟通，培训教师，分享AI伦理和艺术等方面的知识。因此，教育部门和公众都应理解今天讨论人工智能教育问题的重要性。另外，伦理道德不是AI技术本身，而是在设计中注重伦理道德。需要从研究和开发的一开始就将安全和伦理置于最重要的位置，并将其作为生产标准的重要因素。

胡正坤指出：随着通用人工智能的普及，智能化社会可能需要思考人类如何与机器对齐，更好地了解人工智能带来的影响。目前讨论的安全和治理问题仍然局限于人工智能，但无论是在情感心理还是能力方面，人类本身也存在局限性，而当局限性与人工智能结合的情况下，它也会被放大。在考虑到这个背景的基础上，谈及人工智能的安全与伦理治理这个话题时，需要思考在教育领域中如何培养我们的下一代，以更好地理解我们所提供的创新服务。

| 大模型带来了真正的鲁棒性吗？安全隐患是被加剧了，还是被缓解了？

瑞莱智慧首席执行官田天指出：未发现当下的大模型相较以往在安全性方面有大幅提升。安全是一个独立的维度人工智能带来的影响，如果不考虑安全，模型可能处于非常低的安全级别。参数增加虽然可以提升模型的能力，但并不意味着增加的参数会带来更多的安全性。

| 学术和产业界应该如何合作来推动人工智能大模型相关数据、源代码、模型的开放共享，推动人工智能大模型的伦理安全？

香港科技大学冯雁(Pascale Fung)教授指出：大模型应该开源开放，但每个公司可以保留自己的知识产权。大模型应该回归到开放性，并像以前一样进行开源共享。然而，每个公司都有自己的商业模型和产品应用场景，所以它们可以保留自己的知识产权并拥有独特的产品。如果一家公司依赖封闭式的大模型发展，它可能会失去竞争力。因此，大模型应该是开放共享的。

香港中文大学蒙美玲(Helen Meng)教授指出：大模型最好能够共享。在贸易中，国际商品编码（IAN）或者欧洲商品编码（EAN）是被广泛接受的标识，虽然并不是一项先进的科技，但它具有很多吸引人的特点，如可追溯性。可追溯性是指从产品的原材料采购到生产的整个过程，消费者可以追溯到产品的生产过程、制造地点等信息。因此，希望在AI生成内容方面能够像对待品牌一样进行追溯。信息的追溯可以让我们对其生成过程、使用的大模型等有更多的了解。

腾讯研究院高级研究员曹建峰指出：当前的模型生态面临着一些问题，比如下游开发者需要对模型进行微调和定制化，但缺乏对模型性能局限性的了解可能会带来安全隐患。因此，建立上游和下游之间的信息传递机制是必要的。另一个问题是“伦理嵌入设计”，未来的模型设计需要考虑人力反馈的强化学习和可解释性方法，以实现伦理要求。此外，构建伦理AI安全的工具和服务以及解决网络安全问题也是重要的方向。为了更好地进行模型众包的测试和研究，需要设计更好的机制，让学术界参与其中。

阿里达摩院安全合规负责人李娅莉指出：随着伦理问题和规则要求的变化，我们需要不断调整和完善标准。在模型应用链条中，存在许多参与者和环节，需要一个统一的、被广泛认可的伦理规则来引导他们的行为。安全和伦理的实施需要各方共同治理，而不仅仅依赖底层大模型。在开放和开源方面，我们鼓励开放和交流，但同时也面临透明性的问题，需要产业界和学术界共同探讨解决，实现集体智慧和敏捷治理。

蚂蚁集团AI风险管理负责人杨舟指出：从个人角度来看人工智能带来的影响，我们欢迎底层大模型技术的开源和开放，以及评测工具的开源。了解和利用技术大模型对产业界具有重要意义。然而，产业大模型开源存在许多挑战，如数据保护和商业逻辑。每个产业和公司在其擅长的领域都有不同的需求，考虑商业逻辑可以更好地为社会服务。因此，在基础模型、开放性和评估标准方面的发展是必要的，但在更高层面上，我们应该给各个产业更多的商业空间。

商汤科技人工智能伦理治理研究主任胡正坤指出：完全开源底层模型在安全性方面可能面临挑战。开源会暴露底层模型的脆弱点，使其容易被利用进行不法行为，从而损害公共安全和个人权益。目前对大模型的安全防护体系还不够完善，基础设施也不足。然而，我支持开放，学术界和产业界合作对于AI安全伦理治理至关重要。迫切需要更多人参与这一探索过程，将原则和政策细化为产品需求并应用于产品中。

中科院自动化所曾毅研究员最后指出：开源模式的存在虽然一直伴随潜在安全风险，但不能因此而停止开源，开源模式的成功已被证明极大推动了人工智能的进展。在人工智能大模型开放平台中，安全问题的重要性得到了认识。应确保每个人工智能大模型在伦理和安全框架下设计，实现“伦理先行”，并主动处理人与社会的关系。我们的目标是在不阻碍大模型发展的同时进行伦理治理。来自产业界和学术界的观点已展示了伦理治理的重要性，并提出了解决方案，以满足社会和下一代对人工智能的需求。只有解决了尽可能多的伦理安全隐患，我们才能为社会提供基于人工智能大模型更合乎伦理、安全、可靠、可信的服务。

在圆桌会议结束之际，曾毅研究员对各位嘉宾以及在线观看的3.8万参会者表达了感谢，并表示通过这次研讨，希望能够在学术界和产业界达成更多共识，为未来人工智能大模型的稳健发展作出贡献。通过共同努力与合作，更好地探索人工智能的边界，创造一个更加智能和人性化的未来。