COPU会议纪要2024.06.04

6月4日陆主席主持召开COPU例会。

本次会议重申陆主席提出的“学习和讨论AI问题8条”。

编者的话：

我们曾多次提出：一年多来，人工智能大发展，尤其是知识大模型（LLM）在全球走红，但人们对人工智能的认识，包括大师在内也存在一些差异，我们归纳为如下八个问题，尚待人工智能科学家今后研究解决，也提供给大家学习讨论：

1）当前人工智能是否还未臻成熟？

（Gartner指出一条技术成熟度曲线，提出大模型处于“期望膨胀阶段”（Peak of inflated expectations））

2）生成式人工智能(GAI)与通用人工智能(AGI)的主要区别在哪里？生成式人工智能能否顺利地转移到通用人工智能的轨道上去？进而人工智能是否会发展为超级人工智能（ASI）?超级人工智能有哪些特征和发展需求？

3）人工智能的发展最终是否可能超越人类？从而可能给人类带来威胁？如何消除对人类的威胁？

（人工智能可能自主发展超越人类？也可能受到人类划出红线的限制？或没有人类在后台帮助人工智能不会超过人类？）

4）人类能否为限制人工智能超越人类划出红线？为什么说没有人类在后台帮助计算机就不可能迭代？

（2024年3月10-11日，Yoshua Bengio、Geoffery Hinton、 姚期智等21位AI专家签署发表《北京AI安全国际共识》，提出了AI红线，要求任何AI 系统都不应该在人类没有明确批准和协助情况下自主地复制和改进自己。这管用吗？）

5）如何看待大模型存在的缺陷？人类如何帮助人工智能面对人类兴利除弊？

（奥特曼为什么说：引进RLHF，通过人类反馈进行强化学习后，可消除人工智能在发展中出现的偏见和缺陷，在GPT5,6发布时就无心理缺陷？）

6）为何要基于开源发展人工智能？奥特曼在摒弃开源初心实行闭源策略后，为何一路上受到众多人工智能专家们的质疑？

7）加入人工智能理论的算力为什么需要具有数学模型作的根基？为什么不提倡单纯靠拚算力的技术来发展人工智能？

8）你认为人工智能最佳的（或现实的）发展途径在哪里？

本次会议讨论了LLMOS 与 HarmonyOS的问题，讨论了HarmonyOS与Open Harmony三方商业发行版共享统一的“鸿蒙生态”问题。

会上展开了热烈讨论，大家认为LLMOS与HarmonyOS不是同一层面上的问题，LLMOS采用人工智能OS，对HarmonyOS的发展有启发。

操作系统要考虑稳定与发展平衡问题，为适应人工智能、通信发展的应用场景（或用户需求），以及硬件变化快的情况下，对HarmonyOS发展有影响，如要考虑分布式、智能化因素，为适应人工智能OS，现代设计不能只考虑物理空间，还要考虑虚拟空间或数字空间（Cyber）及两者间的交互作用。要分析端侧（更个性化）和云侧（更通用化）。

COPU支持有关方面共享“鸿蒙生态”。

本次会议还讨论陆主席的下述文章：

2022年底，OpenAI推出生成式人工智能的知识大模型ChatGPT,赋能机器生成自然语言，促使人机对话。2023年底-2024年初，OpenAI开发了Q*（Q-star）模型和文本生成视频Sora(世界模拟器)，是大模型研发开始进入通用人工智能（AGI）的标志。

所谓生成式大模型是在机器涌现推理能力的基础上，人类赋能机器生成自然语言促进人际对话的人工智能。

所谓通用人工智能是机器通过自我学习、交互，建立高度自主系统的人工智能。

生成式人工智能在发展中存在三个“天花板”的挑战：

①由外部提示，用概率的方法，使其完成任务，其质量不可控；

②在生成的激活下，其生成内容可能产生错误和幻觉，这时机器的答复就会出现有对有错；

③在输出受到歧义值影响后，人机对话的结论变得不可信。

为此各国需要制定相应的政策、标准、法律、条例等支撑措施作其补充，如：监管政策、安全标准、道法伦理规范、知识产权保护等，需要人机合力迎接挑战，剔除生成式人工智能的负面风险。

通用人工智能运作机制：

①机器通过自主学习、相互交流、自我改进，增强学习和记忆知识能力，建立自主进化的系统；

②让机器是有常识，懂得推理，学会创作。让人机能比较自然方式互动，通过与周围环境的结合。表现出拟人（或超人）的智慧，使其自主进化的系统能对开发、应用AGI最大挑战进行理解、应对和创新；

③建立指导性文本或算法；

④训练：建立去噪扩散模型（Donoising、 Diffusion Transformer Model）+条件注入：条件编码（Condition Encoder）+.......

观察通用人工智能，机器自主产生的智能是否可能超越人类（辛顿语），或受到人类设置的红线是否可能限制机器智能超越人类（北京AI安全国际共识），再者，由人类训练的人工智能难以超越人类（杨立昆语），或没有人类在后台的帮助机器不可能迭代（张钹语），凡此种种，是当代全球人工智能科学家尚未形成的共识。也有人在探索，在通用人工智能演化中还有超级人工智能（ASI）,到那时机器智能是否就有可能超越人类。

这些都是后话，本文暂不作讨论。

我们于5月21日在COPU例会上发表阿里巴巴达摩院“首次在全球对胰腺癌进行高效安全成功的早期筛检”的报告半个月后，国际顶级医学杂志《Nature Medicine》也发表了达摩院“在全球对胰腺癌进行高效安全成功的早期筛检”报告。

本次会议再次发布COPU关于合规检查通知：

①已有多少单位列入合规自检名单？

②COPU是否已向这些单位发放培训资料？

③这些单位是否已确定合规自检负责人，谁？

④这些单位是否已开展合规培训？

⑤这些单位是否已制定合规自检计划？

⑥这些单位是否已开展合规自检行动？

⑦这些单位是否在每月月底上报本单位合规检查情况?

⑧清查遗漏单位和拖拉合规程序抓紧进行补课

⑨ 希望各单位重视合规检查（作为本行业的常规检查）。

⑩希望COPU内部负责合规检查的有关人员切实负起责任，抓紧抓好本行业的合规检查。

参会人员：陆首群、刘澎、章文嵩、谭中意、任革林、齐宝玮、陈道清、安泱、张侃、陈伟、顾雨婷、王珊、朱晓红、陈越、王令泰、鞠东颖、王成录(线上)、陈钟(线上)、韩宪平(线上)、胡宇(线上)、刘明(线上)、孟迎霞(线上)、隆云滔(线上)。