COPU会议纪要2023.10.26

10月26日，陆主席主持COPU例会。

本次会议主要与全球著名语音科学大师、受聘任小米集团首席语音科学家Daniel Povey博士讨论语音识别模型Kaldi与大模型ChatGPT的发展问题。

大模型ChatGPT是否对Kaldi提出了挑战？如何提升Kaldi的智能化水平。

Daniel 认为，GPT大模型存在的问题在结构上是单一的大系统，而包括Kaldi在内的未来智能体在结构上是由很多小系统协作组成的大系统。这时一旦发现错误或缺陷，后者在某个小系统上纠错完善比较方便，不会影响到“健康”的整体其他部分。大模型GPT有很多正面效应，但也存在一些负面效应，减少错误是今天大模型GPT需要改进的方向。
下面是大模型GPT VS Kaldi出错率/成本曲线示范图：

图中，大语言模型的成果主要落在曲线的右下角，为了取得更低的出错率，需要付出大量的成本。而新一代Kaldi项目则着眼于使整个曲线向下平移。过去一年，新一代 Kaldi 团队研发了一系列技术，包括神经网络结构优化方案和训练策略、神经网络梯度值矫正优化技术等。基于这些技术，新一代Kaldi项目在不同数据规模的语音识别任务上都取得了业界领先的效果。同时，部分技术也被用于小米大模型的训练过程中，在达到同等模型效果的前提下，可以有效节省训练成本。
陆主席说：最近一段时期大量中国人开发、维护、应用大模型（在全球仅次于美国），我也写了一篇研究文章：大模型发展的起步、路径和未来（以自然语言处理NLP为起步，以新知识工程或大模型为发展路径，从深度学习出发到认知智能建模或到通用人工智能/AGI建模，未来引入开源，解决好人工智能安全问题）。
陆主席指出，大模型的发展关键在于突然涌现出推理能力，而推理能力赋予机器生成自然语言，为实现人机对话创造条件，同时开通了走向通用人工智能/AGI的路径。关于突然涌现推理能力，奥特曼（Altman）和马斯克（Elon Mask）均感到令人费解（其实这是在语料库中参数增加到一定程度后，由伴随深度学习神经网络的统计方法起作用）。
我赞成两年前Daniel博士对我说的Kaldi不同于大规模语义网络（即大模型），但我想大模型突破推理机制是否会对Kaldi的发展提供启示呢？或者说Kaldi未来如何发展呢？
Daniel答：Kaldi考虑与大模型两个模型结合在一起，高效协同以达到最优性能。

最后，陆主席说，在已经取得丰硕成果的科学家里，Daniel 博士正处于年富力强的阶段，很看好他和Kaldi项目的未来，希望新一代 Kaldi 团队能够再接再厉，坚定不移，持续产出更多新成果。

Daniel向陆主席表示，他们将努力工作，争取第三次向陆主席汇报Kaldi新成果。

参会人员：陆首群、刘澎、Daniel Povey、覃左言、郭理勇、杨笑宇、孟伟、宋可为、安泱、张侃、鞠东颖