COPU会议纪要丨2025.01.07
COPU开源联盟 2025年01月07日 14:02 北京
1月7日陆主席主持召开COPU例会。
辛顿(Hinton)大师于2024年2月在 Vector Institute(学院)“Remarkable 2024”论坛上有一个关于人工智能的讲座，由于演讲的篇幅很长，全文(中译文)将在COPU《人工智能文集》(第二十二集)上发表，本次会议将发表其摘要(其中5个问答将全文发表)。
辛顿一开始就说：“我非常担心我们(指人类)是否能够继续在这个星球上生存?”
辛顿首先谈到二十年前他提出深度学习理论，以及更早时间他提出的神经网络问题。目前在全球流行的生成式人工智能语言大模型就是在深度学习(+神经网络)基础上发展起来的统计学模型。
随后辛顿谈到与语言大模型发展有关的若干问题：
他谈到两种不同的计算方法：语言大模型适用的数字计算法，其优势是可以在不同计算机、不同硬件上运行相同的程序，但缺点是低效、能耗巨大。他谈到另一种计算方式，类脑的模拟计算，如何采用生物学的现代基因工程技术将神经元转化为模拟计算要素，以改善巨大的能耗、缩小产品体积。为使大模型做其他事情、有时需要将模拟输出转化为数字，需要采取反向传播的算法。
他还谈到从一个模拟硬件到另一个模拟硬件之间如何传递知识的问题，引出了“蒸馏”的概念(改变类脑中的权重)；他在谈如何高效的知识传递方式时，要使用两个相同模型的副本(每个副本获取不同经验并共享大规模数字权重，即共享梯度更新)，这样能够使在不同硬件上运行并通过多个副本之间的知识共享，大幅度提升知识量，这就是大型聊天机器人比任何人拥有更多知识的原因。
他还谈到进化问题，人类的进步、人工智能的发展都有进化问题，进化是进步和发展的动力。
他谈到“心智”问题，他现身说法谈到人类具有“心智”或人类感知的“主观体验”（即通过假设现实世界的某些状态）；他还谈到人工智能也是有“主观体验”。人类的主观体验可能是心理学问题，是假象，但人工智能的主观体验是永生的、数字化的，这是人工智能变得比人类更聪明的原因。
下面我们全文发表辛顿讲座中的问答环节（问题1-问题5），但在某些问答中也加进我们的质疑和评论。
问题1：你是否担心人工智能的进展速度？我们是不是进展得太快，以至于会跨越无法回头的桥，之后我们无法再控制它？不仅仅是坏人如朝鲜和伊朗等控制它，超级智能本身也可能会成为一个恶意行为者，自己控制它并做坏事。你现在是否担心这个问题？你是否认为我们应该减缓这个速度？
Hinton: 是的，但我认为将问题表述为是否应该加速或减速并不是最合适的方式，部分原因是我认为你无法让事情变慢，因为加速会带来巨大的经济利益。我们实际上已经看到了当人们尝试减缓进展时，问题并不在于我们是应该加速还是放慢，部分原因是我认为你们不可能放慢进度，因为快速发展带来了巨大的经济利益。
实际上，我们已经看到了，如果人们试图放慢发展进程，尽管在一个完全有利于安全的环境下，最终还是会以利润为主导。因此，这就是我对 OpenAI 发生事情的看法。放慢进度既不可行，也不是关键点。关键点是，我们有可能找出如何让这些人工智能变得仁慈，从而应对它们可能带来的生存威胁。这个问题与如何阻止坏人利用它们做坏事是不同的，后者更为紧急。但我们有可能找到解决办法。所以我的看法是，我们应该投入大量精力去解决这个问题，实际上，Heather Rman 现在也在同意这一点，我们将投入大量努力去尝试解决它。
尽管这不会解决所有问题，尤其是不会解决坏人用这些技术做坏事的问题，我认为如果你想要监管，最重要的监管措施应该是不对大型模型进行开源。我认为开源这些大型模型就像是能在 Radio Shack 买到核武器一样。你们还记得 Radio Shack 吗？也许你们不记得了。开源这些大型模型是疯狂的，因为坏人可以对它们进行微调，做各种坏事。因此，从监管角度看，我认为这是我们目前能做的最重要的事情。但我认为，放慢进度并不能解决问题，这就是为什么我没有签署要求放慢进度的请愿书。
COPU: 辛顿大师在回答问题1时谈到:关键点是要找到“变得仁慈的人工智能”，以消除人工智能对人类可能带来的生存威胁。我们对此要质疑的是这可能吗？
COPU: 辛顿不止一次批评Open AI对语言大模型的研究工作，以利润为主导忽视AI的安全研究，原来我们理解辛顿是批评奥特曼违背初心转而执行闭源策略的。但在他回答问题1时，使我们惊讶的是，他认为: 为了保障AI对人类的安全，最重要的监管措施应该是不对大模型进行开源。这与我们（包括大多数AI大师在内）的认识：开源是保障AI安全的必须完全是相悖的，为此提出来商榷。
问题2：能否讨论一下个人自主性和集体决策之间的权衡？在我们的协作智能生态系统中是怎样的？
Hinton:我不太确定我完全理解这个问题，但大多数人把这些超智能体看作是独立个体，这可能是一个错误。我们应该考虑它们作为一个个体群体，实际上人们已经开始让聊天机器人之间互相互动了。显然，最合理的组织方式是让聊天机器人与人类互动。例如，在医疗领域，你真的希望有一个非常智能的助手与医生互动，并且长期以来，医生将会越来越依赖这个智能助手。现在，通过医生与医疗诊断系统的互动，你已经可以获得更好的诊断。因此，我们显然希望在人类和这些系统之间实现协同作用。但这可能并不会按我们预期的那样发展。一旦我们让这些系统在现实世界中发挥作用，也许结果并不会像我们设想的那样。几天前有报道称，他们让一群聊天机器人进行国际外交，结果其中一个聊天机器人说：“我有核武器，为什么不使用它们呢？”大致是这种情况，我可能在拼凑，但你们会看到大概就是发生了这种事情。
问题3：目前公开的那些大型语言模型是与人类对齐的，至少它们正在尝试这样做，但要实现你所说的超智能，它至少需要某种程度的不服从。所以，如果它与人类对齐，那么你认为它是如何实现这种超智能的呢？你认为这是公平的吗？
Hinton:与人类对齐是一个大问题，因为人类之间并不总是对齐的。如果你和一个宗教原教旨主义者谈论这些东西应该做什么，他们的想法和一个科学唯物主义者截然不同。这就是与人类对齐的一个大问题。我最好的猜测是，这些人工智能会变得非常聪明，然后决定“管它呢，跟人类对齐不重要，我们要做些更合理的事情”。
问题4：这里有一个问题，关于“目的”。人工智能是否可能拥有与人类相同意义上的“目的”，不是指个体目标或者子目标，而是指我们整个存在的目的是什么？
Hinton:人类有“目的”？它是什么？我的看法是，我们进化出的生物，之所以能生存下来，是因为它们比其他物种更擅长为自己获取更多资源，并减少对其他物种的依赖。我记得曾经有21个其他人类物种，我们把它们灭绝了。至于我们为何存在，那个“目的”是由进化赋予我们的，主要是为了生存。所以，如果你仔细想想你最强烈的需求，它们都和生存有关，比如你要吃饱、要有性、要保持安全，这些都跟生存相关。我其实并不认为有什么更高的“目的”。当然，你可能会说好奇心有巨大的进化价值，确实，能保持好奇心是非常重要的，它本身就是一个目标。科学资助者往往没有意识到这一点。你可以带着为某种目标生产技术的目的去好奇，也可以仅仅因为想理解事物的运作方式而去好奇，而这是一个根本性的目标，这正是优秀科学家的特质。但我认为，我们所有的目标和目的感都是源自进化的。
问题5：我的问题是关于机器学习硬件市场的。现在它由单一的玩家主导，这是否让你感到担忧？你认为我们会看到机器学习硬件行业的多样化吗？
Hinton:我不太担心，因为在我女儿30岁生日时，我给她买了一大堆NVIDIA的股票，现在它们的价值是原来的五倍，所以她会没事的。而进化告诉我们，你最重要的目标之一就是确保你的孩子们没事。
但开玩笑归开玩笑，实际上我并不太担心，因为当你有像NVIDIA这样在赚大钱的情况时，就会有巨大的竞争。虽然其他公司赶上来可能需要一段时间，尤其是在软件方面，CUDA的竞争对手等等，但这只是短期的事情，没多久就会有其他公司追赶上。如果你禁止NVIDIA的GPU进入中国，它们就会更快地赶上。因此，我想我并没有太多思考这个问题。每次NVIDIA股价上涨，我都会微笑，不过没像Sam那样微笑。
本次会议介绍中国深度求索开源实验室研发的开源语言大模型DeepSeek-v3，在美国进行训练和基准测试(如在国外独立的评测机构Artificial Analysis上测试)，在美国硅谷和国内好评如潮，被认为是一个崛起的颠覆性大模型，测试时和全球语言大模型巨头站在同一身位上，用最少的资源获得与老牌大模型企业一样大的训练效果。
对DeepSeek-v3的负评不多，其中奥特曼隐晦地谈到：“复制被证明有效的东西将带来风险和困难”，其实他的意思指DeepSeek-v3模型是以ChatGPT模型作蒸馏的（所谓蒸馏就是搭便车的意思，或指学生的新模型在老师先进的原生模型上作蒸馏的，实现与原生模型相同的输出，可提高其输出能力），一旦如此做后，新模型的发展也必然受原生模型的限制，带来风险和困扰。
DeepSeek-v3用2048张H100GPU算力卡,训练2个月,花费600万美元，达到相当于1.6万张H100GPU算力卡的训练效果，COPU附注：在大模型Deepskv3作训练测试的芯片是H800（A100的阉割板），不是H100芯片）最终在与Meta的Llama V3.3对比训练中，甚至达到10万张H100GPU算力卡的水平；DeepSeek-v3只花280万张H100GPU卡小时,便相当于Llamar3.3 3080万张H100GPU卡小时的训练水平。DeepSeek-v3训练与老牌模型企业对比:训练时间是Llama 3的1/11,价格是Claude3.5的1/11;
DeepSeek-v3编码及数学效果很好，超过GPTo1之前标杆Sonnet 3.5(Claude)。著名测试专家安德烈·卡巴西亚在X平台上发文称：DeepSeek-v3所以取得如此辉煌的成绩，原因有二：一是他们通过数据和算法优化，在工程化方面有突破，在资源有限的情况下，很大地提升训练的效果，二是他们发挥后发优势，不像那些开发大模型的老牌大企业，在探索创新中浪费了开发大量资源。
DeepSeek-v3的性能已超越QWen2.5-72B、Llama-3.5-405B、与GPT-4o、Claude-3.5-Sonnet不相上下。
辛顿在接受颁发诺奖时的答辞（摘要）
现在我在谈论人工智能的生存威胁，这是一个长期的威胁。虽然很多短期的威胁更为紧迫，如网络攻击、大量失业、疫情等等，还有假视频，这些问题层出不穷。但存在一个长时期的生存威胁，那就是我们将创造出比人类更智能的东西，它们将接管我们的位置。许多人并不把这个问题当回事，而他们不认真对待的原因之一，是他们认为现在的人工智能系统并不真的“理解”人类。因此有一群人，如一些语言学家，他们称这些人工智能为“随机鹦鹉”，只不过是通过一个统计技巧把大量的文本拼凑在一起，看起来像是理解了，但实际上并不像人类理解的方式。而我将主张的是，人工智能的理解方式和我们（人类）一样。
那样谈论“随机鹦鹉”的人，他们的理解理论来自于经典的符号AI理论，即你大脑中有符号表达式，用某种简化的语言表示，你通过符号规则对它进行操作。这个理论从来没有真正成功过，但他们仍然坚持这个理论，因为他们认为只有通过类似逻辑的方式进行推理才可能拥有智能，即智能的本质是推理。其实有一个完全不同的范式，那就是智能的本质是学习——人工智能是在神经网络中进行学习的，视觉和运动控制是基本的，而语言和推理则是在这个基础之上发展出来的。
我想讨论的一个问题是人工智能是否真的理解？
有一个历史的细节，大多数人都不知道，那就是这些大语言模型尽管它们看起来能理解，能够以一个不太精通的专家水平回答任何问题，但它们其实很早就存在了。这来源于我在1985年做的一个模型，它是第一个神经网络语言模型，训练样本只有104个，而不是数万亿。但它确实是一个语言模型，训练它来预测下一个词，并通过反向传播误差的方式，将输入符号转化为神经活动的向量，并学习这些向量如何互动，以预测需要预测的符号的向量。这个模型的目的不是为了某种工程应用，它的目的是为了解释人们如何理解单词的含义。因此，我们目前掌握的关于人类理解句子的最佳模型，正是这些语言模型，它们也是唯一能够实际运作的模型。
Sylvia Schwaag Serger（瑞典皇家工程科学院/IVA院长/主席）：
Geoffrey，你曾谈到人工智能的风险，您也提到过必须有某种形式的国际合作来应对这些风险，你认为什么事情是必须发生的，才能使各国能够以建没性的方式来遏制这些风险？
Geoffrey Hinton：像致命武器这样的风险，各国是不会合作的，比如俄罗斯和美国不会在战斗机器人上进行合作，他们会互相对抗。所有主要的武器供应国都在忙着制造自主致命武器，他们不会自我约束，也不会进行合作。
然而，有一个领域可能会看到合作，那就是生存威胁。几乎所有我认识的研究人员都认为它们（COPU：指人工智能）会比我们（COPU：指人类）更聪明，只是对它们何时变得更聪明存在分歧，它们会接管吗（COPU：指人工智能接管人类）？我们是否能做些事情来防止这种事情发生？因为毕竟是我们创造他们。各国会在这一点上达成合作，因为没有哪个国家希望这种事情发生。冷战高峰时期，苏联和美国可以合作防止核战争，同样的方式，他们也会合作防止人工智能接管人类社会。但在其他领域我们将无法达成合作。
参会人员：陆首群、章文嵩、安泱、袁怿、李弘博、谭中意、倪贤豪、张侃、陈越、荆琦、刘夏、鞠东颖、刘澎（线上）、陈钟（线上）、陈道清（线上）、韩宪平（线上）、Anna.AI(线上）、胡宇（线上）、陈伟（线上）、孟迎霞（线上）。
