COPU会议纪要2024.07.23

7月23日陆主席主持召开COPU例会。

本次会议重播2024北京智源大会成功举办情况（会议主题是人工智能顶尖专家共话通用人工智能的机遇和挑战）。

【转录】

2024北京智源大会成功举办，

人工智能顶尖专家共话通用人工智能机遇与挑战

6月14日至6月15日，2024北京智源大会成功举办，图灵奖得主姚期智、加州大学伯克利分校教授斯图尔特·罗素（Stuart Russell）、MIT未来生命研究所创始人马克斯·泰格马克（Max Tegmark）、清华大学智能产业研究院（AIR）院长张亚勤，OpenAI、Meta、谷歌DeepMind、斯坦福大学、加州大学伯克利分校等国际知名人工智能机构代表，以及百度、零一万物、百川智能、智谱AI、面壁智能等国内主要大模型公司CEO等200余位人工智能顶尖学者和产业专家参会，围绕通用人工智能关键技术路径、前沿发展及技术趋势开展深入研讨，建议推动多模态大模型、具身智能等前沿方向的技术路径创新，加强数据、算力等要素支撑，同时注重AI安全治理，尽快建立国家级的AI安全研究机构，代表我国参与国际AI安全研究合作和AI安全治理。

一、通用人工智能前沿发展及未来趋势

（一）大模型技术的突破加速了通用人工智能（AGI）的到来，“语言大模型-多模态大模型-具身大模型-世界模型-AGI” 成为AGI可能的技术演化路径。MIT未来生命研究所创始人马克斯·泰格马克（Max Tegmark）认为，随着大模型的发展，人们对何时到达通用人工智能（AGI）的预测，从之前的几十年后缩短到大约两三年后。智源研究院院长王仲远认为，现阶段语言大模型的发展已经具备了通用人工智能非常核心的理解和推理能力，并且形成了一条以语言大模型为核心对齐和映射其他模态的技术路线，从而让模型具备了初步的多模态理解和生成能力。但这并不是让人工智能感知、理解物理世界的终极技术路线，而是应该采取统一模型的范式，实现多模态的输入和输出，让模型具备原生的多模态扩展能力，向世界模型演进。未来，大模型将以数字智能体的形态与智能硬件融合，以具身智能的形态从数字世界进入物理世界，同时，大模型这一技术手段可为科学研究提供新的知识表达范式，加速人类对微观物理世界规律的探索与研究突破，不断趋近通用人工智能的终极目标。

（二）Scaling Law（规律增长定律）是当前阶段驱动大模型发展的重要理论基础，远没有触及天花板，但未来的扩展方式可能会面临更多挑战和变化。

零一万物CEO李开复认为，通过更多算力和数据不断增加大模型性能的大模型Scaling Law（规律增长定律）仍在推进中，远未失效，但需要专注算法和工程创新一体化推进，避免进入“盲目堆算力推动模型性能提升”的状态。清华大学智能产业研究院（AIR）院长张亚勤认为，至少在未来五年内，Scaling Law仍是产业发展的主要方向。月之暗面CEO杨植麟认为Scaling law是一种会持续演进的第一性原理，只是在这一过程中，规模扩展的方法可能发生很大变化。百川智能CEO王小川则认为，Scaling Law到目前没有看到边界，依旧在持续地发挥作用，但是，需要在Scaling Law之外，去寻找范式上新的变化，走出这样的体系，才有机会走向AGI。智谱AI CEO张鹏认为，Scaling Law在未来相当一段时间内仍然会有效，但所谓的有效性是一个动态的概念，它所涵盖的内容会不断演进，从模型的参数规模，到数据量、数据质量、计算量等都变得越来越重要，它的内涵其实在不断变化。面壁智能CEO李大海认为，Scaling Law是一种经验公式，是行业对大模型这个复杂系统的观察和总结。随着实验的增多，我们对模型训练过程的认知越来越清晰，细节也会越来越多。训练方法本身对Scaling Law的影响也很显著，一旦我们固定了参数规模，数据质量和训练方法的重要性就会显现出来。

（三）人工智能大模型已进入工业大生产阶段，大模型产业化场景在To C方面，将和PC、移动互联网时代类似，从生产力工具一步步走向短视频类应用。

百度首席技术官王海峰认为，人工智能基于深度学习及大模型工程平台，包括算法、数据、模型、工具等，已经具备了非常强的通用性，并且具备了标准化、模块化和自动化的特征，与前三次工业革命的核心驱动力量机械技术、电气技术和信息技术规模化应用时的特征类似，所以深度学习及大模型工程平台推动人工智能进入到了工业大生产阶段，通用人工智能将加速到来。

零一万物CEO李开复认为，针对大模型产业化的场景，短期在中国To C 更有机会，但国外两者都有机会。To C方面，AI 2.0 时代会和PC、移动互联网时代一样，第一个阶段是生产力工具，包括信息获取。第二个阶段可能是娱乐、音乐、游戏。第三个阶段是搜索；再下一个阶段可能会是电商、社交、短视频、O2O的应用出现。递进模式不会有特别大的改变，To C应用会从生产力工具一步步走向短视频类应用，在普及顺序上会按照这几个阶段进行。

（四）随着语言大模型参数量和计算量的迅速增长，模型架构创新、数据优化等工作成为提升模型性能的核心策略。

北京大学助理教授贺笛认为，Transformer是大模型的核心架构，但是Transformer在处理长序列数据时效率较低，目前国内外许多研究致力于开发高效Transformer，希望提高其处理速度和性能。但是，通过实验发现，高效Transformer在解决复杂推理问题时表现不如标准Transformer，并且差距难以弥补。交替使用高效层和标准注意力层的混合模型是一条可行的技术路径，通过兼具速度和理论优势，能够有效规避许多问题。百川智能研究员王炳宁提到，探索Transformer之外的新架构工作已有典型成果。例如，新型架构RWKV可以高效处理长文本和实时数据，展现了优越的扩展性。新架构Mamba通过递归机制和状态空间模型（SSM-RNN）优化计算复杂度，并利用固定内存机制减少信息增长，从而提升效率。

另外，对于提升语言大模型的推理能力，关键在于数据的质量优化。 清华大学副教授东昱晓提到，目前语言大模型使用的数据主要来自互联网和过去三四十年的电子化记录，这些数据仅占人类生成文本总量的1%到5%，理论上还有20到100倍的数据空间可用。中国人民大学教授赵鑫表示，未来数据可能成为限制因素，现有数据未必是最佳选择，合成数据的应用和研究正变得越来越重要。 

（五）多模态大模型训练过程中，多个模态的统一是大势所趋，但是从头训练原生多模态模型当前还存在许多技术问题尚待解决。

OpenAI研究员余家辉认为，多模态本质上是在某个时间点同步发生的不同信号，为了决定下一步做什么，必须融合当前所有的信号。因此，多个模态应该统一起来，这样可以实现更多功能。Prompt AI联合创始人兼CEO肖特特认为，多模态学习应该包含视频、音频、手势、触觉、听觉和情感等所有信号，人类学习的过程本来就是所有模态一起进行的。对于大模型来说，也应该从一开始就综合考虑所有模态进行学习，这样才能获得全面的理解。清华大学电子工程系副教授、上海人工智能实验室领军科学家代季峰认为，训练原生多模态模型时，需要同时处理多个模态的数据，这对数据采集和算法提出了很高的要求，目前的算法对数据的利用效率并不高，因此成本和挑战很大。智源研究院视觉模型研究中心负责人王鑫龙介绍了智源构建统一多模态模型的探索，目前已研发出原生多模态大模型Emu3，但是在构建统一多模态模型时会遇到“不可能三角”的挑战：紧凑-无损-离散，三者无法同时满足。紧凑性，即用较少的token来表达图像或视频；无损性，即能够完美重建图像或视频；离散，即使用离散的token表示。目前只能同时满足其中的两个，实现所有三个目标仍然有技术瓶颈。

（六）具身智能尚在起步阶段，仍有漫长的发展周期，核心瓶颈是数据采集及硬件成本较高，未来本体增加触觉感知能力非常重要。

零一万物CEO李开复认为，具身智能可以很好地结合大模型多模态能力，而且一旦“具身”后就可以产生数据，形成数据飞轮闭环，有很大的想象空间。但短期要做好，难度很大，具身智能肯定要走很漫长的道路。目前具身智能技术研发所用的数据主要来自仿真模拟数据及采集的实际操作真实数据。宇树科技创始人&CEO王兴兴认为目前训练数据不够多维，限制了具身智能的发展，他表示，如果结合实际操作中的真实数据进行强化学习，效果会更好。清华大学助理教授、视觉与具身智能实验室主任高阳指出，对于简单任务，仿真数据非常有用，而复杂任务仍需依赖现实世界的真实数据。新加坡国立大学助理教授邵林提到，机器人数据采集非常昂贵，我们需要成熟的数据集或规模适中的技能库供机器人使用，但目前的挑战在于，基础技能库不足以支持机器人在大模型中的广泛应用。他还认为，目前机器人本体的高成本也是限制仿生人工智能发展的主要瓶颈之一。我们还没有足够的低成本机器人可以广泛部署到各个领域。高成本导致机器人部署数量少，进而导致数据采集不足，形成了一个负反馈循环。

另外，机器人本体增加触觉感知能力非常关键。北京大学副教授、智源学者卢宗青认为，机器人触觉至关重要，如果没有触觉，就像是在玩一场虚拟游戏，而不是与真实世界进行交互。清华大学助理教授、视觉与具身智能实验室主任高阳认为，触觉是一个非常重要的感知模态，不必追求全身都配备复杂的传感器，可能只需要在手部和夹指上安装一些传感器，这样已经能够显著提升机器人的感知和操作能力。

（七）数据的自动化获取和处理是行业发展大势所趋，数据要素价值变现机制及数据基础设施建设无法满足数据需求，需要机制创新。

数据对人工智能大模型性能起到了决定性作用，是智能发展的根本。随着大模型的快速发展，对数据的需求呈指数级增长，人工处理数据的模式已经无法满足行业发展需求。北京智源人工智能研究院理事长、北京大学教授黄铁军认为，数据产业（数据加工、数据标注）应该主要靠人工智能技术，依托AI智能体可替代90%以上的人工清洗、标注工作，再通过优质数据不断推动智能体渐进式的、迭代式发展。复旦大学教授、上海市数据科学重点实验室主任肖仰华认为，基于大模型的AI智能体能够实现海量知识验证、非结构化数据访问、数据分析、数据智能运维等功能，将成为推动数据要素价值变现的重要引擎。智源研究院副院长兼总工程师林咏华认为，合成数据是一个重要的方向，许多大模型企业都会使用合成数据或增广数据。其中，增广数据是基于人类的现有数据，用技术自动产生不同变种的数据，尤其是在指令微调阶段，因为需要有很多特殊格式、特殊任务，很难靠人工大批量产生。

另外，数据资产化机制及基础设施建设模式尚有创新空间。北京智源人工智能研究院理事长、北京大学教授黄铁军认为，在优质数据缺乏的背景下，当前简单的数据资产化并不利于数据流通，还将加剧模型研发机构的资金压力。北京大学人工智能研究院副院长、北京大学数据空间技术与系统全国重点实验室主任黄罡认为，当前的数据基础设施的建设严重滞后于需求，通过构建专网+公网+跨境的一体化数据基础设施，打造“开放式”数据飞轮，将有望实现基于数联网的大模型智能体数据供应链。

（八）国产AI系统（AI Infra）软件栈生态建设不完善，国产AI算力资源利用率偏低。

清华大学长聘教授翟季冬认为，当前国产算力的资源利用率非常不充分，核心挑战是底层的算力软件生态。智能算力大约有10个非常关键的软件，包括调度器、管理内存、容错系统、并行软件、编程语言、编译器、多机通信、编程框架等，但这些软件的国产化均存在瓶颈，现状仍是英伟达及其生态伙伴处于绝对垄断地位。智源研究院AI算子和编译器方向的负责人白童心认为，我国AI系统软件生态当前面临着以下困境：一是目前AI芯片厂商的自有体系生态隔离，互不兼容，存在较为明显的孤岛效应，在我国算力急缺的情况下，不同芯片算力集群间的混训难以实现；二是由于生态的割裂导致软件发展只能依赖厂商自行投入，耗时耗力但更新迭代速度仍不及预期。三是分散的生态也增加了模型训练机构的负担，需要对不同芯片进行多次适配，成本较高且影响模型迭代速度。

（九）伴随通用人工智能（AGI）的到来，人类或将面临“生存风险”，加强AI安全研究迫在眉睫，AI安全研究是新兴研究方向，需要建立国际AI安全研究组织或机制加强研究协调。

加州大学伯克利分校教授斯图尔特·罗素（Stuart Russell）认为，我们思考的不应该是“如何使AI安全？”，因为一旦实现了AGI，如果它还不安全，可能就太晚了，而是要思考“如何构建安全的AI”，AI需要采用类似于核能、航空等领域的监管方式，必须在严格的规定和安全标准下进行部署。

当前在部署之前验证前沿人工智能模型的方法依赖于独立测试和红队测试，但是人工智能系统的弱点在经过大量测试后也可能仍未被发现，这些测试制度并不能提供严格的、可量化的安全保证，人类唯一的长期选择是“可证明的安全和有益的AI”，AI安全技术研究必须与监管齐头并进。当前，AI安全研究仍是新兴研究方向，尚缺乏基础理论框架及工具。姚期智院士认为，从长远来看，AI安全需要作为一门学科来研究，类比于网络安全方向的密码学，AI安全可能也需要建立一套类似的基本科学工具。另外，针对当前国际上AI安全研究研究较分散的问题，斯图尔特·罗素（Stuart Russell）教授建议，国际AI安全社区需要建立国际组织，举办相关研究主题的国际会议，加强AI安全研究的全球合作和协同。

在今年5月份召开的首尔AI安全峰会上，美国、英国、日本、韩国和欧盟共11个国家和地区签署了《首尔宣言》和《首尔人工智能安全科学国际合作意向声明》，提出“安全、可靠”地开展人工智能创新，框架内各国将依托各自成立的人工智能安全研究所，并建立国际AI安全研究所网络，强化前沿AI系统研究合作，酌情共享技术资源、大模型信息、测评数据，共同打造所谓“安全评判标准”，推进人工智能安全科学研究。今年10月份计划在美国旧金山召开首届国际AI安全研究所网络峰会，由于我国尚未成立国家级的AI安全研究所，目前尚无法参会。马克斯·泰格马克（Max Tegmark）在会上表示，中国未来有机会在AI安全研究和治理上发挥领导作用，必须参与。

二、工作建议

（一）持续发挥智源研究院等新型研发机构原创引领的作用，推动我国大模型前沿技术和思潮发展，解决行业共性问题

月之暗面CEO杨植麟认为，智源是亚洲地区最早投入大模型研究的机构，具有领先的想法和宽广的视野。百川智能CEO王小川认为，智源是中国大模型的黄埔军校，推动了大模型技术和思潮的发展。今天中国大模型发展迅速，智源有很好的定位，建议作为中立和技术高地，扮演技术和智库角色，帮助我们快速健康发展。智谱AI CEO张鹏说到，智源从NGO型研究机构发展到今天，已成为国际人工智能领域的一面旗帜。面壁智能CEO李大海认为，大模型领域变化快，有些事情商业公司无法独立完成，建议在智源的撮合和带领下，搭建更好的平台，共同协作，解决行业问题。智源研究院院长王仲远认为，当前的人工智能研究已进入到资源消耗型模式，创新算法的验证也需要大规模算力支撑，对于新型研发机构来说负担非常重，建议各方能给予更多算力支持。

（二）持续推动语言、多模态、具身等大模型前沿及关键技术研发，提升语言大模型训练性能，探索多个模态统一的原生多模态模型研发路径，推动具身通用机器人发展。北京大学助理教授贺笛建议，要加快大模型架构创新，优化Transformer架构性能，探索Transformer之外的新架构创新，提升语言大模型规模增长效率。浙江大学求是讲席教授沈春华建议推动多模态统一的算法创新，研发国际领先的原生多模态模型。北京大学助理教授、智源学者王鹤建议要推动研发具身智能大模型，发展具身智能“大脑”“小脑”，提升具身机器人的感知、决策及行动能力。持续研发触觉感知、力觉感知灵巧手，提升本体感知能力。加强大规模高质量的具身多模态数据集建设，特别是真实数据的采集，夯实通用机器人发展数据支撑。

（三）突破数据、算力、系统软件等发展瓶颈，提升数据要素支撑能力，推动国产AI芯片生态发展，打造满足大模型时代发展的AI系统软件。

数据方面，北京智源人工智能研究院理事长、北京大学教授黄铁军建议创新数据流通及交易机制，通过 “先使用后付费”的数据流转模式，在模型训练机构使用前对数据进行确权，当模型训练机构获得收益后按比例分红，推动数据飞轮实现，加速“数据+智能”正反馈。中国移动集团首席科学家冯俊兰建议建设多行业数据汇聚基座，推动跨场景、跨任务、跨功能的数据流通和共享。算力及系统软件方面，清华大学长聘教授翟季冬建议推动建设支持异构AI芯片、万卡集群互联的高效AI系统软件（AI Infra），加快AI算子库及编译器建设，推动国产AI芯片的规模化发展。

（四）重视AI安全研究布局，由优势机构联合建设国家级AI安全研究所，代表中国参与国际AI安全科研合作及标准规范制订。

会上，姚期智、张亚勤等院士呼吁尽快设立 “中国人工智能安全研究所”，推动开展人工智能模型的安全对齐理论与方法、人工智能安全测试方法与技术、人工智能安全与传统安全的交互融合、人工智能中的数据安全保护等AI安全技术研究，为我国AI安全的长期发展提供有力支撑。同时，积极参与国际AI安全研究所网络建设，强化前沿AI系统研究合作，共同打造国际AI安全评判标准，支撑全球人工智能的健康发展。 

本次会议发表“如何从生成式人工智能转移到通用人工智能轨道上来”文章：

如何从生成式人工智能（GAI）转移到

通用人工智能(AGI)轨道上来

陆首群 2024.07.02

大模型（LLM）生成式人工智能(GAI)在智能发展上的突破加速了通用人工智能(AGI)的到来。

所谓生成式人工智能是基于机器学习/深度学习的大模型，当其资料库中依托统计技术增长的参数达到2000亿左右时,在大模型中突然涌现出一股推理性质的涌流，推理是生成的关键，推理赋能大模型（或机器）被动生成自然语言，从而实现了人机对话。

所谓通用人工智能是大模型（或机器）通过自我学习、交互，建立自主系统的人工智能。

大模型的生成机制，实现了文本生成文本，或图像或视频，…。在文本生成视频时，在输入端的提示指导下完成由固定的视频升级为动态的短时间影视的任务。2022年底,Open AI开发了 Q*(Q-star) 模型和文本生成视频Sora （世界模拟器），是生成式大模型研发进入通用人工智能的标志。

通用人工智能的演化路径可能是：（生成式）语言大模型→多模态大模型→具身(embodiment)大模型→世界模型→通用人工智能。

通用人工智能产生自主系统表明：该系统具有增长、积累知识的功能（人工智能拥有的知识，最终可能会超过人类），也开始产生思维／意识（有缺陷类似不同于人类的思维／意识）。

令人担心的是：通用人工智能建立起来高度自主智能系统在无可能超越人类？一旦超越将给人类带来什么样的后果？

目前人们对通用人工智能能否超越人类有如下几种观点：

①人工智能如果没有人类在后台帮助就不会超越人类；

②人类可以为人工智能发展划出一道红线，限制人工智能相互拷贝、交流、学习，就可限制人工智能超越人类；

③如果人工智能自主系统高度发展，或人类放松对人工智能的监控，使其可在人工智能同类间进行相互学习、交流、拷贝，迅速超越人类；从而给 人类带来巨大的安全风险，这是我们所不能允许出现的！

对于上述第③种观点涉及的情况，人类别无他途，只能在人工智能尚未超越人类之前，赶紧采取预防性措施：

1)抓紧研发人工智能安全保障技术;

2)应用人工智能安全保障技术与实行人工智能安全监管同时并举；

3)建立人工智能安全治理体系:

①制定全球统一有效的安全标准、法律规范、审计程序、建立独立的安全测试机构，采取统一的安全测试规范；

②建立全球与各国的人工智能安全研究中心和安全研究网络；

③建立人工智能治理体系（全球发放供参考的人工智能治理指南，以及推动各国制定人工智能治理方案，包括技术、经济、培训、宣传、法律及其他相关的）。

会议听取了华为、中科方德和中科创达的合规检查的汇报。

华为早在2008年就持续进行开展检查，他们创造了很多了很多经验，如在产品生命周期内严格执行集成产品开发流程(IPD),为成功实行合规管理创造条件。希望华为与OSI联系执行AI开源的修改的许可证，并学习、执行模型开放性框架（MOF）。

中科方德认真进行合规检查培训，制定了安全开发流程、编码规范、漏洞快速发现、快速回复规范，并正在执行、识别、规范、管理合规流程。

中科创达根据客户对工具安全和很高的需求设计合规检查流程，在全生命周期内对工具选型，对商业模式要求分析，形成安全标准（包括开闭源代码、漏洞、检查工具等）。
参会人员：陆首群、章文嵩、刘翼、荆琦、张侃、陈道清、陈道新、钟文林、孟迎霞、安泱、宋可为、邹鹏程、鞠东颖、刘澎(线上)、陈钟(线上)、刘明(线上)、anna.ai胡宇(线上)、陈伟(线上)、韩宪平(线上)。