当今的人工智能有一个非常重要的问题：它太昂贵了。训练现代计算机视觉模型Resnet-152的成本约为100亿浮点运算，与现代语言模型相比，这是微不足道的。培训OpenAI的最新自然语言模型GPT-3预计将花费3000万亿浮点运算，其中商用GPU的成本至少为500万美元。相比之下，人脑只需喝一杯咖啡就能识别人脸，回答问题并驾驶汽车。我们该怎么做呢？我们取得了长足的进步。第一批计算机具有特殊用途。 1822年，英国数学家查尔斯·巴贝奇（Charles Babbage）发明了一种“差动引擎”。为了计算多项式函数。 1958年，康奈尔大学教授弗兰克·罗森布拉特（Frank Rosenblatt）创建了“ MarkI”，它是用于机器视觉任务的单层感知器的物理形式。早期，硬件和算法是一回事。冯·诺依曼架构的出现改变了硬件和算法的统一，该架构具有由计算处理单元和存储数据和程序指令的存储单元组成的芯片设计。这种模式上的转变使得有可能制造出可以针对任何任务进行编程的通用机器。冯·诺依曼体系结构已成为现代数字计算机的蓝图。但是这里有一个矛盾。数据密集型程序需要存储单元和计算单元之间进行大量通信，这会降低计算速度。这种“冯·诺依曼瓶颈”是指是人工智能早期尝试失败的原因。标准CPU在大规模矩阵乘法（深度神经网络的核心计算操作）中效率不高。由于现有硬件的瓶颈，早期的神经网络技术搁浅并表现不佳。有趣的是，解决该问题的方法不是来自学术界，而是来自游戏行业。在1970年代，开发了GPU以加速视频游戏的开发，使具有数千个计算核心的数据密集型操作并行化。这种并行化是解决冯·诺依曼瓶颈的有效方法。 GPU使训练更深的神经网络成为可能，并已成为现代人工智能技术中当前使用的硬件。硬件彩票人工智能研究的成功有很大的运气。谷歌研究员萨拉·胡克（Sara Hooker）称其为“硬件彩票”：早期的AI研究人员非常不幸，因为他们被缓慢的CPU所困。当GPU出现``获胜''时，恰好在AI领域的研究人员硬件彩票。他们可以利用GPU的高效加速功能来训练神经网络，从而快速进步。硬件彩票的问题在于，一旦整个领域的每个人都成为赢家，就很难探索新事物。硬件开发的缓慢步伐要求芯片制造商进行大量的早期投资，而回报却不确定。一种保险方法是优化矩阵乘法，这已成为现状。但是，从长远来看，对硬件和算法的特定组合的关注将限制我们的选择。让我们回到第一个问题。为什么今天的人工智能这么贵？答案可能是我们没有合适的硬件。硬件彩票的存在和商业激励机制使我们很难从经济上摆脱现状。一个很好的例子是Geoffrey Hinton的胶囊神经网络-一种新颖的计算机视觉方法。 Google研究人员PaulBarham和Michael Isard发现该方法在CPU上非常有效，但在GPU和TPU上效果不佳。这背后的原因是什么？加速器的优化针对最常见的操作，例如标准矩阵乘法，但是缺少胶囊卷积的优化。他们的结论（也是论文的标题）是：机器学习系统遇到了麻烦。人工智能研究人员可能会“过度安装”现有硬件，从长远来看，这将阻碍该领域的创新。前进的道路“实现下一个突破可能需要与过去不同的观点：将硬件，软件和算法结合起来，为世界建模。”在人脑中，记忆和计算不是两个独立的部分。相反，它们发生在同一位置：在神经元中。记忆来自神经元通过突触连接在一起的方式，而计算来自神经元触发并传递来自感觉输入的信息的方式。就像早期的计算机一样，硬件和算法是同一回事。这与我们今天构建人工智能的方式不同。尽管深度神经网络驱动