开源通讯

COPU会议纪要2024.07.09

2024-07-09 14:00:02 436

图片关键词

7月9日陆主席主持召开COPU例会。

本次例会传达了北京智源大会成功举办对人工智能的讨论,摘要如下:

一、大模型技术突破,加速了通用人工智能(AGI)的到来,“语言大模型-多模态大模型-具身大模型-世界模型-AGI”成为AGI可能的技术演化路径。

专家们提出:语言大模型的发展已经具备了通用人工智能非常核心的理解和推理能力,并且形成了一条以语言大模型为核心的对齐和映射其他模态的技术路线,从而让模型具备了初步的多模态理解和生成能力。大模型将以数字智能体的形态与智能硬件融合,以具身智能的形态从数字世界进入物理世界。不断趋近通用人工智能的目标。

二、Scaling Law(规律增长定律)

所谓Scaling Law,指潜藏在复杂系统(如大模型)下的简单性规律或法则(如模型参数规模);Scaling Law的特点有:①复杂系统背后存在一个简单的潜在规则,②规则是从统计过程和自然选择内在的历史偶然中发生的,③复杂系统与涌流、自组织概念密切相关。

专家们认为,Scaling Law是当前阶段驱动大模型发展的重要理论基础,通过更多算力和数据不断增大大模型性能的Scaling Law仍在推进中,在未来(至少5年内)Scaling Law仍是产业发展的主要推动力。

三、人工智能大模型已进入工业大生产阶段。专家们认为从TOC起步更有机会,第一步是生产力工具,包括信息获取,第二步可能是娱乐音乐、游戏,第三步是搜索,再下一步可能是电商、社交、短视频、020的定用。

四、随着大模型参数量和计算量迅速增长,模型架构创新、数据优化等工作将成为提升模型性能的核心策略。

有的专家提出,Transformer是大模型的核心架构,但Transformer在处理长序列数据时效率较低,目前国内外许多研究者致力于开发高效Transformer。有的专家提出,高效Transformer在解决复杂推理问题时表现不如标准Transformer,交替使用的混合模型还有是一条可行的技术路径。还有专家提出,他们在探索Transformer之外新架构的工作已有典型成果,例如新型架构RWKV可以高效处理长文本和实时数据,展现了优越的扩要性;新架构构Mamba通过递归机制和状态空间模型 ( SSM-RNN)优化计算复杂度,并利用固定内存机制减少信息增长从而提升效率。

专家们还讨论了如何提升大模型推理能力问题,关键在于数据质量优化。谈到目前语言大模型使用的数据主要来自互联网和过去的电子记录,这些数据仅占人类生成文本总量的1~5%,理论上还有20~100倍数据空间可用,合成数据的应用和研究越来越重要。

五、开发多模态

一位OpenAI的研究员认为,多模态本质上是某个时间点同步发生的不同信号。有关专家介绍了构建统一多模态模型的探索(已研究出原生模态模型Emu3),但在构建统一多模态模型时会遇到紧凑-无损-离散“不可能三角”的挑战,三者无法同时满足(所谓紧凑性,即用较少的token来表达图像或视频;无损性,即能够完美重建图像或视频;离散,即使用离散的token表示。目前只能同时满足其中两个,实现所有三个目标仍然有技术瓶颈)。

六、发展具身智能

具身智能尚在起步阶段,仍有漫长的发展周期。瓶颈是数据采集及硬件成本较高,未来本体增加触觉感知能力非常重要。零一万物CEO李开复认为,具身智能可以很好的结合大模型多模态能力,一旦“具身”后就可以产生数据,形成数据飞轮闭环,有很大的想象空间,但在短期内要做好,难度很大,具身智能要走的路还很长。目前具身智能技术研发可用的数据主要来自仿真模拟数据及实际操作真实数据,训练数据不够多维限制了具身智能的发展。来自新加坡的一位专家提到,机器人数据采集非常昂贵,我们需要成熟的数据集或规模适中的技能库供机器人使用,目前挑战在于基础技能库不足以支持机器人在大模型中广泛应用。他还认为,目前机器人本体的高成本也是限制仿生人工智能发展的主要瓶颈之一,我们还没有足够的低成本机器人可以广泛部署到各个领域。有关专家认为,机器人本体增加触觉感知能力非常关键,另一位专家补充说,机器人触觉非常重要,如果没有触觉,就你是在玩一切虚拟游戏,而不是与真实世界进行交互。

七、数据的自动化获取和处理行业发展大势可趋

八、国产AI系统(AI Infra)软件栈生态建设不完善,国产AI算力利用率偏低

有关专家认为,当前国产算力资源利用率不充分,核心挑战是底层的算力软件生态。智能算力大约有10个非常关键的软件,包括调度器、管理内存、容错系统、并行软件、编程语言、编译器、多模通信、编程框架等,这些软件国产化均存在瓶颈(英伟达及其生态伙伴处于垄断地位)。也有专家认为,我国AI系统软件生态当前面临的困境是:①AI芯片厂商的自有体系生态隔离,互不兼容,存在明显的孤岛效应,不同芯片算力集群间的混训难以实现,②由于生态隔离,供软件发展只能由厂商自行投入,耗时耗力,更新迭代速度不及预期,③分散的生态也增加了模型训练机构的负担,需要对不同芯片进行多次适配,成本较高且影响模型迭代速度。

九、伴随通用人工智能到来,人类或将面临“生存风险”,此时加强AI安全研究迫在眉睫。AI安全研究是AI新兴的研究方向。加州大学伯克利分校斯图尔特·罗素教授认为,我们思考的是AI一旦实现了AGI,如果AI这时还不安全,可能就太晚了!为此我们要思考“如何构建安全的AI”?发展安全技术,采用安全监管方式,在严格的安全规定和安全标准下进行安全部署。在部署前为验证前沿AI模型要进行独立的安全测试。但AI的特点在于经过大量测试后可能仍未被发现,这些测试制度仍不能提供严格的、可量化的安全保证。专家们认为,AI安全研究是AI新兴研究方向,当前尚缺乏基础理论的指导和框架、工具的配套,姚期智院士认为,可能需要建立一套基础科学工具。专家们还提出,AI安全技术研究必须与安全监管齐头并进,期望中国建立国家级安全技术研究所并与国际AI安全网络联网,参加国标AI安全研发的工作,加强AI安全的全球合作和协同。

陈钟副主席下载并翻译了英伟达创始人兼CEO黄仁勋7月5日报告《加速计算与生成式 AI 重塑行业,推进绿色新工业革命和可持续发展》,秘书处将全文在公共栏目上发布并打印成活页下发,在本次例会上发表其摘要:

报告的主题是:以生成式AI方式重塑“加速计算”行业,有助于推进绿色新工业革命和可持续发展。

黄仁勋谈到:“加速计算”产业的主要标志是制造具有“加速计算技术的超级计算机”,这是打造工业数字化的主力,将拥抱第四次工业革命。

他阐述了“加速计算”技术的创新形成机制,基于高低相关的两阶社会(全能宇宙Omniverse)的互动:设想在现实的低阶现实社会(real society) 之上构建一个虚拟(Virtual society)的高阶信息社会,为了便于考察和试验,在虚拟社会中选取一个数字空间(Cyber Spa 的算力引擎+AI,向物理空间注入待变的经典计算单元,将先进的算力引擎+AI作用于在降维空间中的经典计算单元,促其产生0→1智能化变化,形成“加速计算”平台。

NVIDIA具有“加速计算”技术的超级计算机在全球超级计算机 Green500 榜单Top10排名中占据7席。科学家利用这些超级计算机可以揭开宇宙奥秘,解码基因序列,预测气候模式,NVIDIA“加速计算”可节约能源、降低成本,支持经济持续高效发展。

数据处理和管理是一个价值1000亿美元的市场,也是企业的主要工作负载。NVIDIA CUDA GPU可以加速普遍应用的Apache Spark数据处理引擎,由其加速的Spark可将数据处理的碳足迹减少80%。

Pandas是世界领先的数据分析库,过去只能在CPU上运行,在处理大型数据集时速度缓慢。NVIDIA已将Pandas加速了150倍,惠及全球1000万用户。

训练AI基础模型需要大量算力,会耗费大量能源,NVIDIA加速计算正在降低训练这些基础AI模型所需的成本和能耗。全新的Blackwell平台就是一个完美的例子,它正在帮助世界各地的机构在万亿参数语言模型上构建并部署实时生成式AI,在模型处理方面的成本和能耗也比其前身降低了一个数量级。

评估AI成本和能耗的正确方法是纵向评估,不仅聚焦训练,还要着眼于整个生命周期和所创AI模型的下游影响,复合效益可能是巨大的。

生成式AI作为新的计算堆栈从根本上改变了计算机的工作方式,使计算机从指令驱动型转变为意图驱动型,生成式AI改变了我们使用计算机的方式,从搜索、检索既有的内容转变为与每个上下文独有的实时生成信息进行交互,生成式AI正在将生产软件的计算机行业转变为生产数字智能的行业。

黄仁勋还说,每次工业革命都开创生产力飞跃并持续发展的新时代,第一次工业革命作为推动生产力飞跃发展的标志是蒸汽机,第二次工业革命是电力,第三次工业革命是软件(生产),第四次工业革命已经开始,推动生产力飞跃发展的将是数字智能。而NVIDIA创造的“加速计算”平台体现数字智能。

NVID1A正在建设全球的数据中心,先前实现现代化的全球数据中心由最万台通用服务器组成,耗资达数万亿美元,采用“加速计算”技术后,采购的通用服务器将减少一个数量级。

本次会议听取了中兴通讯项署明汇报合规检查情况:

我们向运营商和客户提供合规可信的产品和解决方案,快速应对新增合规和安全风险,消除和降低用户使用风险。

我们实施开源战略,开源中也有合规问题,中兴在作国际化时,与第三方安全测评机构(如英国、德国测评机构)签订协议,请他们作为第三方进行合规检查。

我们将合规检查纳入开源的治理模式。

中兴建立了完整的合规管控体系,包括:

① 各国出口管制

② 各国个人信息保护

③ 开源许可证

产品安全


陆主席谈本次会议对中兴通讯主动、全面、规范进行合规检查及第三方测评机构合作,比较满意。

参会人员:陆首群、章文嵩、叶毓睿、项署明、张侃、谭中意、陈越、宋可为、安泱、孟迎霞、陈伟、鞠东颖、刘澎(线上)、韩宪平(线上)、刘明(线上)、胡宇(线上)、黄文鸿(线上)、王令泰(线上)

图片关键词


首页
秘书处
开源通讯
开源活动