COPU会议纪要2023.07.25
7月25日(周二)陆主席主持召开COPU例会。
在会上听取了蚂蚁集团开源办公室负责人边思康的汇报,与Apache(中国)负责人姜宁交流即将召开的Apache(中国)会议的情况,讨论Meta发布的开源大模型 Llama 2,会议还讨论神经拟态计算系统。
会议对蚂蚁集团的报告进行讨论:
希望蚂蚁集团解决好支付清算业务接受国家金融部门监管问题,支持该集团拥抱开源的做法,但要分清业务开源与安全保密工作的界限,该集团作为实行普惠金融服务于小微企业,在制定数字化丶全球化战略基础上抓紧进行数字化基础设施改造,抓紧实施联合国倡议的ESG战略,解决好开源治理问题。
会议对召开Apache(中国)会议事宜与姜宁、谭中意交换意见:
对Apache(中国)近年来在艰苦发展历程中作出较大的贡献表示敬意!希望该组织抓紧当前国内开源大发展的形势培养高素质的开源人才,背靠强大的Apache母体开发高质量的开源成果,开拓思路(包括借力打力)改进筹措组织发展资金。
会议对开源大模型Llama2大语言模型讨论如下:
(主要摘录OpenTEKr开源社区狄安为本讨论专题远程来信)
Meta提出的Llama2大语言模型与OpenAl、Google、Apple+Eron Mask成立的Ajax同处于AIGC竞赛道上。
Llama2是基座模型,强大到超越GPT3(1750亿参数),Llama-Chat是经微调的聊天模型,可与ChatGPT3.5(约2000亿参数)媲美;
Llama1执行GPLv3开源许可证,实行OSI定义的开源,免费,
Llama2执行自定义的商业开源许可证(获YunnLeCun大师支持),实行开源、免费、可商用,这是商业公司的开源策略。自定义开源不同于OSl开源,在实行开源时是有限制条件的,如不得用于月活MAU大于7亿的产品或服务平台,不适用于除英语以外的语言中使用。
会议讨论了神经拟态(形态)计算系统:
近日从CCF ODC报道中获知,由中科院研究团队开发了旨在模仿大脑行为的神经拟态计算芯片“文曲星”值得祝贺!早在2017年起,国内外就相继开发了人工智能神经拟态计算芯片。
2018~2020年相继制成神经拟态计算机原型机,COPU也从2017年起不断报道国内外的研究成果,COPU专家还与这些研究团队的成员进行讨论,并做出评论。
英特尔研究团队2017年开发的Loihi第一代神经拟态芯片:14nm;
2021年开发的Loihi第二代芯片:7nm,单颗芯片100万个神经元;
2020年由768颗芯片集成的pohoiki springs神经网络,支撑1亿个神经元组网,发展成大规模神经拟态计算系统,2019年制成原型机。经过训练,计算速度比传统计算机快1000倍,能耗低1万倍。
曼彻斯特大学研究团队
2016年开发第一代Spin Naker-1神经拟态芯片,单颗芯片支持1.6万个神经元,Spin Naker-1由3万颗芯片集成支持4.6亿个神经元组网,由2018年开发的第二代Spin Naker-2芯片集成支持10亿个神经元组网,发展成大规模神经拟态计算系统。2018年11月制成Spin Naker类脑计算机原型机。
浙江大学研究团队2015年浙大研发达尔文-1芯片,2019年研发达尔文-2芯片。每颗芯片支持15万个神经元。2019年,浙大联合之江实验室发布由792颗芯片集成的神经网络。支持1.2亿个神经元,近千亿个突触组网,2020年9月制成了Darwin Mouse类脑计算机原型机。
COPU评论(2020)
一、神经拟态计算将引领下一代人工智能的主流计算模式。
二、基于异步脉冲神经网络(SNN)的神经拟态计算运行方式:
①计算(神经元)、存储(突触)一体化,训练、推理一体化,
②存在三维广泛连通性
③基于脉冲事件驱动的随机计算,
④大规模并行通信方式,
⑤信息源主要是神经电脉冲信号和化学信号,
⑥编码方式是采用稀疏脉冲时序编码机制,
⑦异步脉冲传输机制,
⑧打破冯-诺依曼的传统的计算架构,采用非诺的神经拟态计算架构
三、人工神经网络(Artificial Neural Network,ANN)
ANN最初目标是以与人脑相同的方式解决问题,后来导致与生物学背离,目前主要用于计算机视觉、语音识别、机器翻译、棋盘游戏、医疗诊断等。
参会人员:陆首群、梁志辉、田忠、谭中意、姜宁、边思康、孟迎霞、张家驹、安泱、张侃、鞠东颖、陈伟(线上)、隆云滔(线上)