COPU会议纪要丨2024.09.10
9月10日 陆主席主持召开COPU例会。
先传达一则信息(9月5日讯)：
美国橡树林国家实验室与澳大利亚、德国的初创公司合作，研制“超级计算机+量子加速器”的混合计算，专称世界超级计算的革命性突破。
橡树林研制的超级计算机号称目前世界第一超算，其运算速度为200亿亿次/秒，浮点峰值运算速度FLOPS)，量子加速器目前还不是量子全功能计算机，（由于量子位缺位、量子纠缠技术复杂之故），但它能在常温下运行，行使加速特定硬件任务（如模拟优化，密码处理等)，可作为超级计算的有力助手(以实行超算与量子经典的混合计算)。
该“超级计算机+量子加速器”的混合计算目前已走出实际应用的第一步：分子模拟科学研究，药物开发，优化与人工智能等。
今天会议讨论人工智能操作系统的研制问题。
在当前人工智能时代，国内外关于人工智能操作系统的研制犹如井喷，我们要与日俱进，跟上时代的步伐。国内外研制AIOS分两类：一类是准AIOS(feature AIOS),以应用入手,在传统OS中加智能模块，另一类是全功能OS（All AIOS）从框架式内核入手，结合AI模型全面构建和研发AIOS。研制单位也有两类：一类是企业界，另一类是学术界，在企业界中也有桌面和手机等两个层次。
这次会议我们请清华大学计算机系陈渝老师介绍国内外研制AIOS的情况，还请电子系汪玉教授团队的核心成员颜深根老师介绍他们研制情况；这次讨论会，我们邀请正在研制的十几家单位的代表参加讨论（学术界2为代表、企业界9位代表)，今天先做简短的一般性讨论，以后还要深入研究讨论（包括如何组织开发问题）。
另外简要地谈一下我的看法供大家参考：
目前 AI与OS的结合，有两种设计思路：①是在传统OS中加入AI应用模块②是叫全AIOS或All AIOS将是AI 模型与OS（包括内核、框架)全面融合创新。
关于LLMOS图片所示，属于准AIOS,或简易专用的，支持有限的9项主要应用，不是通用的OS。
我曾请陈渝评论，陈渝：陆主席，您的判断是对的，那个仅仅是示意图，在Kernel层面基本上是传统的OS。
下面请清华大学计算机系陈渝教授发言：
目前AI与OS的结合有两种思路方向：
1）产业界思路：OS for AI，从应用入手，自顶向下，形成AI实用+以大模型为基础的框架结构+网络+传统操作系统，这种方式对传统OS和网络几乎没有改动，适会企业尽快进入AI应用领域，并逐步向下修改OS本身。从发展现状来看，AI应用的推广可能首先出现在以AI手机为代表的智能移动终端领域，以及自动驾驶汽车为代表的新能源智能网联汽车领域。同时在传统领域，如桌面、服务器也会巡视引入各种AI应用，而未来的工业/服务智能机器人将会把各种AI应用综合在一种硬件平台上。
2）学术界思路：AI for OS，从框架或内核入手，自底向上，把AI核型或深度学习模型直接引入OS内核和框架的构建研发中来，这种方式会对OS内核和框架产生较大的改变，有很多技术挑战，难度较大，需要在面向AI的计算理论和模型、AI加速硬件优化、编程语言、软件工程、系统架构、优化技术、软硬协同优化等多个层面形成突破。由于这方面难以迅速突破，所以基于全新革命性的自底向上的研究需要时间和技术积累，产业落地周期长，一级企业难以采用这种方式。
无论哪种思路，都会向着一个趋势发展，即AI应用的强大需求，会进一步推动面向AI加速的芯片、网联、计算基础设施等的快速发展，并推动各种系统软件支撑、编程与SDK接口、服务框架的发展。从而推动计算机领域新的一个跳跃式发展。
请清华大学电子系颜深根教授介绍研制AIOS的情况：
大模型带来的变化：1）任务负载的变化。对计算资源、存储资源、带宽资源消耗更多。2）人工智能能力的变化，从识别到理解+生成。理解了之后，可以给出下一步的操作，可以转化成具体的指令。
对操作系统的影响：1）对应第一点，OS for AI，为了应对AI的负载，需要在OS层面做一些改变，比如计算效率要更高，支持更高带宽的存储。从以CPU为中心到以协处理器为中心。2）对应第二点，AI for OS，通过AI的能力，增强OS本来的一些功能。比如OS人机交互界面的更新，从触摸屏升级到语音、图像交互。OS自带文件检索功能，OS运行日志的自动整理等。
目前大模型+OS层面需要解决的问题：1）云侧系统太过复杂，尤其在中国，底层芯片种类非常多，如何兼容各种不同的芯片。如何稳定的运行。尤其是国产芯片性能比不过英伟达的芯片，需要更大的并行规模，带来了效率和稳定性方面的双重挑战。2）在端侧目前大模型运行有三个方面的挑战，一个是算力，第二个是功耗，第三个是存储空间。算力和功耗目前主要是通过芯片工艺改进、针对性的芯片设计、计算指令优化来解决。存储分为两个方面，一方面是存储带宽，这个目前有存内计算、近存计算等思路。存储的第二个方面是存储容量，更大容量的存储导致成本上升，这个目前没有太好的解法。
关于AI+OS的建议：个人感觉AI+OS在云侧目前投入已经很多了，主要是端侧目前投入还比较少，希望能够有一个机制，把端侧相关的应用公司、系统公司、芯片公司拉到一起，大家商量怎么样统一接口，从试点开始，逐步增加AI+OS的应用，通过应用带动系统发展。
COPU副主席、北京大学教授陈钟：谈到 AIOS, 我建议更多关注苹果公司 Apple-16, iOS，因为苹果公司是一个从硬件芯片到整机到软件全链条的生态。特别是其对结合大模型能力集成的理解具有标杆性，并且能够根据AI需要将芯片功能模块级、操作系统级和应用级完整设计和集成。9月10日iPhone16正式发布，苹果公司推出产品级的设计成熟而稳定，甚至比微软更具有全球前沿性和引领性。
统信软件产品经理顾雨婷介绍：统信软件正在将AI能力变成操作系统的基础服务之一：1）在人机交互方面，统信软件推出的UOS AI智能助手通过全新升级的自然语言处理技术，能更好地理解用户需求，提供智能搜索、推荐系统、自动化办公助手等个性化服务；2）在应用生态方面，60余款应用已接入UOS AI生态，通过本地/在线模型，向各应用提供AI能力支持；3）在开发赋能方面，统信软件打造的UOSAIAPI是国内首个系统级AI应用开发框架，为AI应用开发提供系统级AI接口，赋能生态伙伴应用开发。
开源鸿蒙PMC主席任革林谈到:鸿蒙操作系统原生支持端侧 AI，包括支持 AI基础能力和利用 AI自主改造的能力。AI基础能力主要包括对 AI硬件的管理、内置 AI开发框架和AI推理模型等，方便用户程序高效利用系统的 AI资源。操作系统利用AI自主改造的能力主要体现在利用预置的 AI能力进一步提升当前操作系统智能化水平。譬如通过周边环境感知、运行上下文感知等 AI技术让系统资源的管理更加高效；通过语音识别，机器视觉，用户操作习惯学习等AI能力，让交互操作个性化、更自然；通过 AI能力将传统 UI控件改造为智能 UI 控件，支持智能抠图、图像分割、图像理解、文字提取、文本朗读和智能纠错等；通过AI对分布式能力进行改造，提供智能搜索和智能协同等体验。
中兴通讯技术规划部标准规划总工高峰表示：算力基础设施是AIOS的一个重要考虑方向，通过OS实现算力+网络+存储资源的分配、调度和优化，为AI提供基础服务能力
OPPO技术总监罗升阳谈了几点：1）大模型的端侧部署问题，一是功耗，二是内存带宽，三个计算生态。2）功耗问题：当前的旗舰平台手机运行7B模型需要的功耗还比较大，功耗和玩重度游戏差不多，会有发热发烫的问题，影响用户体验。3）内存带宽问题：一个7B模型，经过量化压缩之后，大概还占4GB左右的内存。由于大模型自回归推理的特点，导致每输出一个token都需要加载一遍参数到NPU计算。以20 tokens/秒的推理速度计算，需要80GB/秒的内存带宽。这对移动平台的芯片设计是一个很大的挑战。4）计算生态问题：当前移动芯片平台主要有高通和mtk两个大玩家，但是他们都是各玩各的，导致手机厂商开发商在部署模型时，面临碎片化问题。需要有一套统一的计算生态API，它既是统一的，又像CUDA一样强大。
麒麟软件副总李震宁介绍到：当前，国外一些大模型热度减退，用户更加关注新技术能给自己带来的价值。人工智能的客户场景在哪里成为行业关注点。麒麟软件是国内自主创新领域应用量最大，应用程度最深的国产操作系统。针对政务和关基行业的用户需求。推出的AIPCOS从几个层面去帮助用户提升效率，拥抱AI未来：1）与传统桌面操作系统相比，融入了“AI子系统”，该系统实现了模型和硬件、应用和模型的双重解耦。2）针对办公和行业应用场景，让AI和办公场景更深结合，实现智能搜索、AI助手、记忆地图等增值功能。3）对于数据安全要求较高的行业，用户可以自由切换到本地大模型，摆脱网络依赖。
COPU专家委员会副主任委员章文嵩表示：关于LLM OS，从设计理念来看，应该保存每个模块的简单高效，不要把什么东西往内核里装。我们过去为了高性能更多地把内核的功能往用户态搬，网络有DPDK，存储有SPDK，例如DPDK版本的LVS在高性能网卡上性能大幅高于内核版本的LVS，我们很多分布式存储系统用SPDK越过内核直接管理存储设备。LLM应该是用户态的服务，为所有应用程序共享，它是OS的一部分。
有两个建议：1）大家共建LLM服务的API标准，这样不同的手机上APP不用适配各家的LLM服务，让整个生态更有效率。2）针对ARM+NPU开源共建一套类似CUDA的计算框架，可以基于AMD的ROCM开源框架来做，若华为把CANN开源出来，一起做面向ARM+NPU的开源计算框架。
COPU常务副秘书长谭中意认为: 一方面在IDC的服务器集群内，如何支持大模型的高效训练; 一方面在端侧，如何支持大模型的高效推理。两个方面的迭代，方向不同，要求不同，都应该是AIOS的范围。
陆主席小结说：
①有能力的企业研发AIOS是否考虑两条线：一是以立用入手，二是对OS（向内核、框架到全部)以AI进行全面创新。②对应用入手的AIOS，从应用场景需求出发，联合制定应用规范，供国内研发单位研发采用。
请大家考虑。
参会人员：陆首群、陈钟、章文嵩、罗升阳、李震宁、宋可为、武力、张侃、陈渝、颜深根、顾雨婷、任革林、齐宝玮、高峰、谭中意、荆琦、安泱、鞠东颖，陈伟（线上）、刘楠（线上）、韩宪平（线上）、Anna.AI（线上）。