COPU会议纪要2024.05.07

5月7日陆主席主持召开COPU例会。

在会上宣布两则有关我国科技进展的消息：

①中国建成了全球首个量子卫星通信网络，

②中国科学院研制成功全球首款光芯片（可绕过光刻机，比英伟达A100芯片强100倍）。

本次会议继续讨论如何看待大模型LLM（人工智能）的发展问题。

大模型LLM即知识模型，近几年红遍全球。人工智能专家们认为，大模型LLM掀起了一场技术革命，正在改变人们的生活、工作和未来，为人类带来希望，但马斯克、奥特曼等专家也认为，人工智能发展超越人类可能对人类构成生存威胁，值得警惕！

迄今为止，人工智能专家对大模型LLM发展中出现的问题也有不同认识，我们本来想自己动手建立大模型，检查、复核、分析其中的问题，可惜由于训练成本过高，暂时作罢，只能对大模型在别人研究的基础上进行分析(并保留一些大师相互矛盾的观点)：

1）奥特曼说，Open AI 研究大模型（人工智能）的初心是期望实现生成式人工智能（AIGC）的目标，但自研究GPT5、6之后将直接瞄准通用人工智能（AGI）。

所谓通用人工智能如辛顿大师指出的那样，是具有自动产生自主性的人工智能，而所谓生成式人工智能如奥特曼正在作业的那样，是指由人类赋能机器被动产生生成式人工智能。这样，通用人工智能有可能超越人类。

2）谈到COPU长期坚持的基于开源的人工智能，据斯坦福大学发布的“斯坦福2024 AI 指数”表明，AI以开源迈出更大步伐：2021年全球开源占比33.3%，2022年占比44.4%，2023年占比65.7%，但自后来奥特曼走上闭源之路后，他不断受到其他AI专家的质问，如特斯拉（作为与他同是Open AI的创始人）质问他违背初心（并向旧金山法院告奥氏），辛顿大师强调要“谨慎处理开源大模型问题”，LF AI 的大师们引入“模型开放型框架（MOF）”作响应，MIT校长科恩·布鲁斯问奥特曼一个“扎心”的问题，你为什么要实行Open AI的闭源政策，奥氏只能含糊带过，并说我们已提供免费的AI（开源）工具了（GPT-3.5）。看来奥氏放弃开源推行闭源不能算完！

3）辛顿大师的观点是：“数字智能必然超越生物智能”，“人工智能将来会产生不依赖人类的致命的自主性”，“未来20年会出现比人类更聪明的人工智能”。张钹院士的观点似乎与之相反，他说：“计算机不断迭代最后超过人，这是不可能的，因为它不能自己迭代，所有迭代都是人类在后台帮助的”。

3月18日，辛顿和姚期智等数十位中外人工智能资深专家签署了“北京共识”，提出了AI红线，要求任何AI系统都不应该在人类没有明确批准和协助情况下自主地复制和改造自己。

4）如何评价大模型LLM正负面效应？

李飞飞团队发布《2024年AI指数报告》的十大趋势中谈到，得益于AI，科学进步加速，人工智能让劳动者提高生产力、工作质量更高。张钹团队提出大模型LLM存在“三个天花板”：①由外部提词、用概率的方法完全质量不可控，②由生成的激活，有对有错，③输出受到歧义的影响，不可信。

5）奥特曼在与MIT校长科恩·布鲁斯的对话中谈到：引进RLHF，通过人类反馈进行强化学习后，可消除AI 发展中可能出现的偏见和缺陷，在GPT-5、6发布时就无心理缺陷。

6）关于职业取代问题。奥氏谈到人工智能取代人类的工作时说，可能白领居多、蓝领为少，未来不再需要掌握编码语言。李飞飞在回答英伟达首席科学家Bill Dally的提问：“人们对AI的一个担忧它会扰乱就业市场，你认为什么样的人类工作，AI或机器人永远无法取代?”时，她说：“如果工作是人性的一部分，是我们创造力的一部分，具有独立性、意图、同情心，以及我们与他人的情感联系，我们对社会的独特贡献，永远不会被完全取代。”在《解读斯坦福 2024 AI 指数》中提到，因企业使用AI作为工具的比例在增加（如：2017年占20%。2022年占50%，2023年占55%），将改变取代工作。

当然人们对人工智能取代人类工作的潜在影响也产生了焦虑：据市场研究公司IPSOS调查显示，认为AI在未来3~5年内极大地影响他们生活的人比例从60%上升到66%；来自美国皮尤研究中心（Pew）数据显示，52%的美国人对AI的担忧多余兴奋（比2022年的38%有所上升）。

7）大模型在发展中还将遇到的挑战。无论在建设集成服务的培训中心，或者是在个体研发中，都会遇到大参数、大算力、大能源、大投资的“四大”挑战（尤其是能源与投资的挑战。大参数（token将从几万亿增加到几百万亿）、大算力（在研发GPT-5之后，在建设sora集成服务培训中心时，由Open AI 和英伟达联合提出的方案中，需要集成7000多张H100芯片，在开发GPT-6之后，在建设“星际之门”集成服务培训中心时，在他们提出的方案中，需要集成10万张H100芯片，由此提出的算力可达10^8~10^16 TFLOPS）、大能源（星际之门需要5000MW电力）、大投资（从几千亿-几万亿美元）。作为个体研发，如ChatGPT，每天消耗能源50万KWH,也是一个很大的数字。

“四大”的挑战最终可能也会影响奥特曼关于“开源”与“闭源”的选择。

8）中国在全球开发人工智能中所占什么地位？这里仅以开发大模型LLM为例作出说明，据《斯坦福2024 AI 指数》公布的数据来看，中国在全球开发人工智能中占全球第二位。

2023年全球发布149个LLM新模型，美国发布61个占第一位，中国发布15个占第二位，英国发布10个（？）占第三位，法国发布8个，德国发布5个，加拿大发布4个，......

9）不同行业界别开发大模型LLM情况。

全球大模型LLM开发的新模型呈指数式增长，2023年全球发布的新模型149个，由于大模型训练成本巨大增长（如谷歌的Gemini Ultra训练成本1.91亿美元，Open AI 的GPT-4训练成本7800万美元），在开发大模型中，工业界别在开发中起主导作用，学术界别的开发有点落后。

在工业界别中号称“AI四大天王”的企业：谷歌、Meta、微软、Open AI在2023年分别开发的新模型数量为18、11、9、7个,合计45个（约占全球新模型点数30%）。

企业把AI 作为工具使用的比率在增长，在2023年达55%，如此加强了工业界别在开发、使用大模型中的主导作用，也改变了大模型取代人类工作的情况。

下面由COPU常务副秘书长梁志辉对上次例会未及参加的企业进行合规检查（自检）进行动员。陆主席并强调在合规检查中贯彻LF-AI大师们制定的“模型开放性框架（MOF）”。

参会人员：陆首群、刘澎、梁志辉、宋可为、谭中意、张侃、安泱、邹鹏程、杨丽蕴、王珊、朱晓红、王令泰、陈伟（线上）、陈道清（线上）、杜超（线上）。