COPU会议纪要丨2024.12.24
12月24日陆主席主持召开COPU例会。本次会议发布如下一文供大家讨论:
为什么要发展开源的人工智能
陆首群
2024年12月21日
生成式人工智能语言大模型发展现状
自从OpenAI的山姆·奥特曼(Sam Altman)研究团队于2022年11月研发语言大模型(LLM) ChatGPT以来,生成式人工智能语言大模型火遍全球、全国。语言大模型让机器能够理解人类语言,让机器能够产生并增强推理能力,推理是生成的基础,让机器能够生成人类语言,以实现人机对话,表现出拟人的智能。大模型在某些任务上已胜过人类(如图像分类、英语理解等方面),但并非所有任务上已超越人类(如在竞赛级数学、视觉常识推理和规划等复杂任务上依然落后于人类)。
两年来全球涌现出1330个模型,美中领先:美国占44%(580个),中国占36%(380个)。这些模型中大多数都是跟风而起的,存活时间可能不会太长,这是对语言大模型发展的重大挑战。
语言大模型的成长和发展离不开训练(从预训练发展到后训练),只有进行持续增大的训练才能提高、稳定模型的性能,但训练需要强大的算力支撑,而强大的算力更需要巨大的投资(约3000亿~4万亿美元)和能源(约5000~8000MW)的支撑。建设一座10万张卡的集成算力服务中心,即使由头部企业来兴建也勉为其难,而租赁这样的服务中心进行训练,收费也高得惊人!GPT-4的训练成本高达7800万美元,谷歌的Gemini Ultra的训练成本更高达1.91亿美元。
有人认为中美两国开发的语言大模型在数量上相差不大,在技术上差距还是悬殊的。前Google CEO埃里克·施密特(Eric Schmidt)认为,美中开发大模型在技术上的差距大概只有几年。我认为美中双方在技术上的差距主要在于美方敢于先行突破大模型的前沿技术,而中方多是跟进!
2024年6月25日奥特曼(以极端意识形态划线)宣布对中国等一些国家用户关停大模型GPT-4o API的政策,2024年7月2日,谷歌、Meta严厉批评奥特曼愚蠢的决定,指出由于OpenAI一声吆喝,惊起中外同行的一滩鸥鹭,一批中国优秀的大模型公司马上自主开发对GPT-4o API实行完全对标、平替。
生成式大模型也带来负面风险,如生成内容错误、幻觉、偏见、伦理风险、网络安全风险和知识产权风险等,提出了严重的挑战。
人工智能发展路径
奥特曼研发人工智能从研发生成式语言大模型起步,他研发的目标主要指向通用人工智能(AGI),以后他又补充指向超级人工智能(ASI)。
他研究人工智能的发展路径为:
生成式语言大模型(LLM):
多数人工智能大师确认的人工智能发展路径为:
生成式语言大模型(LLM) → 多模态大模型 → 具身大模型 → 世界模型 → 通用人工智能(AGI) → 超级人工智能(ASI)。
人工智能的发展一旦超越人类的智能,必然会给人类带来十分严重的安全风险。为了人类的安全,在此之前人类必须采取预防这一情景发生的全球多重统一的措施。对人工智能研究者而言,这时正是他们面临巨大的风险和不可思议的机遇交叉的时刻。
其中,具身智能(Embodiment Intelligence)是将智能算法(科学理论)与机器的感知、行动和环境的交互(实践经验)结合起来,以完成各种任务。具身智能是比生成式大模型更高级的多模态智能。人工智能下一个浪潮是具身智能。
世界模型是一个智能体(或智能代理)网络(Agents)。
我们需要学习一个具备常识推理与预测能力的世界模型,获得基于自监督语言模型无法获得真实世界的知识。
人工智能大师杨立昆(Yann LeCun)说,人工智能系统要推理、规划、理解物理世界(而具身+世界模型就提供物理世界的信息),而做到这点需要几年以至十年的时间(在短期内建成通用人工智能完全是胡说八道)。
发展基于开源的人工智能
开源已成为现代的创新引擎,具有“互联网+基于知识社会的创新2.0”的创新机制,开源具有开放、共享、协同的特征,将使开源与人工智能的结合有助于人工智能的研发和运作,使人工智能产品更快地创新、更好地适配,并可降低成本(这是闭源做不到的)。生成式人工智能语言大模型的崛起,如果与闭源捆绑在一起,其对外表现将是一个不透明的“黑盒子”,严重影响大模型功能的发挥,并难以抑制其负面的表现。只有基于开源、与开源相结合,才能使其内部工作状况、训练数据、模型架构和开发过程的详细信息增加透明度,有利于大模型发挥作用,避免陷入潜在的错误、幻觉、偏见的陷阱之中,避免陷于安全、伦理、知识产权的风险之中。可查看根据COPU要求由LFAI发表的MOF。
发展智能操作系统
早在前年,COPU已解决了业内“缺芯少魂”的短板问题。当时开发了30款操作系统(包括嵌入式)及其生态系统。为了解决操作系统碎片化问题,我们在业内发行了两种版本,即开源社区创新发行版和开源产品商业发行版。一个开源产品商业发行版将在包容几个开源社区创新发行版基础上统一发展起来,解决好衔接问题。
面临人工智能时代,我们组织业内讨论并鼓励开发智能操作系统(包括结合国外开发的智能操作系统)。我们研制的智能操作系统(AIOS)分两类,一类是从应用入手,在传统OS中加入智能模块,目前业内多数企业已进行开发和投产;另一类是从框架或内核入手,全面构建和研发AIOS,目前还处于论证阶段。
我认为,开发新一代智能操作系统必须遵循如下思路,提出来供大家参考:
1.将IT时代的操作系统转变为人工智能时代的操作系统(可参见OSI的新定义),以及贯彻MOF(LF AI发表),以扩大透明度,反对“洗涤开源”。
2.从内核、架构出发,开发全面智能化的AIOS。
3.改变传统操作系统,通过编程语言、检索和管理文件,与计算机沟通的方式,采用通过提示词直接提问的方式。
4.相当多的智能操作系统应从单一参数量巨大的模型转变设计不同类型、不同应用领域和不同专长的系统。
本次会议发表近日黄仁勋与Lauren Goode的访谈如下:
12月中旬,英伟达CEO黄仁勋接受美国《连线》杂志高级撰稿人Lauren Goode专访,他谈到:“我们的工作仍是继续专注于创新和推动技术进步,更好地满足客户需求。这些都在我们的控制范围内。”
他在谈到美国对中国出口管制时如是说道:“当下,我们第一次大规模制造智能。人工智能(AI)将成为变革社会的根本力量,AI是对人类过去60年所知计算方式的重塑。AI的力量如此令人难以置信,你无法与之抗衡,要么你赶上这股浪潮,要么你只能错过。”
“过去两年来,随着市场对AI大模型技术持续追捧,英伟达负责提供AI算力的GPU也受到科技公司青睐”,“今年第三季度,英伟达营收351亿美元,同比增长94%,净利润193亿美元,同比增长109%。截止发稿时,英伟达股价今年已飙升167%,市值为3.2万亿美元,是英特尔的36倍”。“从去年以来,全球多国对英伟达的反垄断呼声不断。一周多前,中国也宣布对英伟达进行反垄断立案调查,如英伟达违法事实成立,监管机构最高有可能对公司罚款超过50亿美元。”
他回应了近期的诸多热点:如与特朗普政府的关系,英伟达CPU的困境,台积电的作用,新产品Blackwell等。
Lauren:对我们说说 Sovereign AI(主权AI)吧!
黄仁勋: 现在的情况是,国家意识到AI不可思议的能力,以及AI对国家的重要性,意识到他们的数据像能源、通信基础设施一样是自然资源的一部分,为了教育、学习、研究和创业,建设一些AI工厂和数据中心是必要的。迄今为止,我们在全球建立了大约56家AI创新企业。
Lauren : 听起来你好像将这个时代的生成式AI归类为基础设施,我想知道这对于AI模型发展有何含义?
黄仁勋: 社会中的不同分工都需要用到AI,大学、研究人员、创业公司都需要,大公司也需要。而当社会像这样的方方面面都需要一种东西时,它就是基础设施。
我认为AI将基于互联网重构一套新的操作系统,我们使用计算机的方式将会改变,过去我们通过编程语言、检索文件和管理文件等方式与计算机沟通,未来则是通过提示词直接提问,要求它为我们做一些事情。这一变化的关键在于,搭载多个大语言模型的AI系统代替了传统的操作系统,并且各国都可以创建自己的大语言模型和AI系统。这些AI系统并非依靠单一的、参数量巨大的模型,而是集成不同类型、领域的模型,其中有些擅长推理,有些用于AI工具,有些负责信息检索,还有防护措施、合成数据生成、奖励和反思等模型。
Lauren: 多令人着迷啊!最近AI Agent(AI智能体)的概念在AI领域非常流行,不过具体的定义似乎还不够清晰,你认为AI Agent是什么?能做什么?为什么有些人称它是下一代生成式AI呢?
黄仁勋:从2012年开始,第一代是感知AI(Perception AI),第二代是生成式AI(Generative AI),再到AI Agent。时至今日,AI Agent可能实际上是一个机器人、一个AI系统或者其他形态。我认为这些关于AI Agent的描述,在不同的上下文语境中有时可以互换,不过其核心是不变的,即结合感知、推理和计划能力,这也是AI的基石。目前AI可以基于思维链(Chain of Thought, CoT)或其他架构的推理模型,把我们交给它的任务拆解成多步骤完成。除此之外,AI也可以生成图像、音乐、文档等。这些意味着未来你可以用各种各样的方式找到解决的方法,你可以用智能体在你的电脑上执行任务,从而腾出时间。
Lauren: 你使用了哪些AI Agent来帮助你提升工作效率?
黄仁勋: 我现在用了多种AI大模型,如Gemini和ChatGPT,我经常用AI来写一些东西,如让它来完善我发言的初稿。
Lauren: 你身处当前(美国政府)政策变动、严苛的商业环境,你感到不安吗?
黄仁勋: 这周一,美国商务部扩大出口管制,管控范围不仅限于半导体产业,与之相关企业的上下游供应链也会受到一定影响,而英伟达的GPU是其中一环。在你看来,出口管制的理由是否合理?
Lauren:对市场的竞争对手会如何应对?
黄仁勋: 我们的工作是尽最大努力了解和告知半导体行业的动态,以及英伟达如何在全球市场运营,并向政府解释这些事情,是否制定最好的政策取决于他们。我们的工作仍是继续专注于创新和推动技术进步。
Lauren: 即将上任的特朗普政府经常提到了台积电(TSMC),说台积电抢走了美国的部分芯片业务,英伟达正与台积电长期合作,你认为这会对你们的关系有影响吗?
黄仁勋: 台积电的重要性是不言而喻的,我们很重视与他们合作,同时全球供应链对台积电的依赖仍会持续很长一段时间。
Lauren: 你会与特朗普当选总统交流吗?
黄仁勋: 当然。我们从事的AI行业是制造智能的,需要能源、大量工厂,对一个国家的社会、工业、经济和技术进步有重大影响。我很确定新政府和特朗普总统会对这个行业有很大的兴趣。
Lauren: 了解到英伟达的新产品Blackwell已经开始交付,其中有很多大客户吧!
黄仁勋: 我们在全世界都安装了Blackwell系统,这是一个完整的系统,有一堆开关、网络、计算机,一大堆软件,Blackwell已在全面生产,一切顺利。
Lauren: 你认为Blackwell的亮点是什么?
黄仁勋: 它给训练模型带来了质的提升,可把处理训练模型数据的时间从几个月压缩到1/3到1/4。在推理方面,我们发现推理过程遵循的不是Zero-Shot Learning(零样本学习)或One-Shot Learning(单样本学习),而是长期思考的模式,这是一种新的标准化(Scaling)方式,使Blackwell的推理能效提升了30倍,并且速度也更快了
参会人员:陆首群、章文嵩、任紫东、王佳、张家驹、袁怿、陈道清、安泱、朱晓红、陈越、刘夏、鞠东颖、刘澎(线上)、陈伟(线上)、孟迎霞(线上)、王劲男(线上)、胡宇(线上)、韩宪平(线上)、Anna.AI(线上)。