（原标题：GPU和TPU，有何不同）

如果您希望可以时常见面，欢迎标星收藏哦~

来源：内容由半导体行业观察（ID：icbank）编译自analyticsinsight，谢谢。

硬件选择在很大程度上决定了人工智能模型的训练和部署效率和速度。其中最突出的是图形处理单元和张量处理单元。尽管 GPU 最初设计用于处理图形渲染，但多年来它们已发展成为适用于各种计算任务（包括 AI 和深度学习）的强大工具。

另一方面，TPU 是 Google 开发的专用处理器，专门用于机器学习工作负载。本文对比了 Google TPU 与 NVIDIA GPU 在性能和成本问题上的差异，以及对不同基于 AI 的应用程序的适用性。

什么是 GPU？

GPU 是为 PC 和游戏机中的绘图和成像而开发的增强型协处理器。GPU 以线性方式解决问题，而 GPU 可以将问题分解为小的子问题，然后一次性解决这些子问题。这种图形并行处理能力随后在许多计算应用中变得至关重要，例如在创建 AI 模型时。

NVIDIA GPU 最初是在 20 世纪 80 年代作为图形处理器发明的，用于提高图像绘制速度，由 NVIDIA 和 ATI（现为 AMD）发明。由于可编程着色器的出现，它们在 20 世纪 90 年代后期和 21 世纪初期受到了更多关注，允许将并行处理用于非渲染目的。这种能力使得 GPU 被用于一般用途。计算还可以使用算法，例如使用 NVIDIA 的 CUDA 和 AMD 的 Stream SDK 进行科学模拟和数据分析等。

最初，GPU 用于渲染 3D 图形；然而，随着人工智能和深度学习的进步，这些设备在训练和部署深度学习模型方面发挥着关键作用，因为它们能够处理大数据和并行计算。TensorFlow 和 PyTorch 等深度学习框架使用 GPU 进行加速，以便世界上越来越多的研究人员和开发人员能够获得更好的深度学习体验。

TPU 是 Google 为满足机器学习算法日益增长的计算需求而设计的 ASIC。TPU 并非基于与 GPU 相同的原理构建，最初设计为图形处理器，但后来被重新用于机器学习。

Google TPU 专为张量计算而设计，现代深度学习算法就是基于此构建的。它们的架构专为矩阵乘法而设计，这些运算对于神经网络的工作至关重要，使它们能够处理大量数据以及复杂的神经网络。由于这种专业化，TPU 对 AI 非常有用，并促进了机器学习的研究和部署。

Google TPU 与 NVIDIA GPU对比

1

计算架构

GPU 包含数百万个小型、高效的处理核心，适合大规模并行处理。它们非常适合那些可以轻松分解为独立子任务的任务，这些任务通常以并行性的形式进行讨论，例如渲染、游戏和以矩阵计算形式出现的 AI。这种架构使 GPU 既通用又可用于各种需要处理大型数据集或大量计算的 AI 任务。

TPU 收集张量计算，以便在需要使用大量张量的任务（例如深度学习）中表现出色。虽然 TPU 包含的内核通常比 GPU 少，但这些芯片的设计是针对张量计算量身定制的，在某些 AI 任务上可以超越 GPU。

2

性能：速度和效率

GPU 在所有 AI 驱动的任务中都是多用途的，无论是在训练阶段还是在推理阶段。例如，使用BERT 模型，在 NVIDIA V100 GPU 上需要 3.8 毫秒。尽管如此，TPU 是为张量处理量身定制的，有时可以在与深度学习相关的各种计算任务中超越 GPU。使用相同的 BERT 模型批次，在 TPU v3 上仅需要 1.7 毫秒。例如，在 NVIDIA Tesla V100 GPU 上，在 CIFAR-10 数据集上训练 ResNet-50 模型十个 epoch 大约需要 40 分钟，但在 Google Cloud TPU v3 上只需 15 分钟。

3

成本和可用性

至于成本和可获得性，GPU 甚至更容易获得。它们可以单独购买，也可以在所谓的云端订购订阅服务，每台起价为 8,000 至 15,000 美元。这意味着，要在云端使用类似于 NVIDIA Tesla V100 和 A100 的 GPU，每小时需要分别花费约 2.48 美元和 2.93 美元。

TPU 仅限于云端，主要在 GCP 中提供。通常，TPU 的小时使用成本相对较高，TPU v3 为 4 美元。所有 CU 变体都比 TPU 便宜，TPU 每小时约 2.50 美元，TPU v4 每小时约 8.00 美元。尽管设置了更高的小时费率，但 TPU 的速度在兆瓦级机器学习操作中创造了整体成本效益。

4

生态系统和开发工具

TPU 与 Google 开源机器学习框架 TensorFlow 高度耦合。它们还支持 JAX，这是一个用于高性能数值计算的库。XLA 编译器来自 TensorFlow，它编译 TPU 的计算以简化处理器的使用。

GPU 存在于不同的行业中，可以容纳更多框架，例如 TensorFlow、PyTorch、Keras、MXNet 和 Caffe。它们都不太复杂，而且很容易集成到 ML 和/或数据科学中，因为它们利用了广泛的库，例如 CUDA、cuDNN 和 RAPIDS。

5

社区支持和资源

GPU 得到了 NVIDIA 和 AMD 等公司提供的密集社区论坛、代码教程和全方位文档的良好支持。

TPU 在 Google 领域内得到更集中的支持，GCP 文档、论坛和支持中提供了参考和资源。尽管官方资源（例如 TensorFlow 文档）可以提供很多帮助，但 TPU 社区的支持可能不如 GPU 那么大。

6

能源效率和环境影响

总体而言，Google TPU 与 NVIDIA GPU 相比，TPU 据称比 GPU 更节能。例如，Google Cloud TPU v3 每芯片约 120-150W，而 Tesla V100 为 250W，A100 为 400W。

GPU 采用了诸如电源门控和动态电压和频率调节 (DVFS) 等特性来提高能源效率。虽然 GPU 的能源效率不如 TPU，但它们采用了减少大规模 AI 流程中能源消耗的措施。

7

企业应用程序的可扩展性

TPU 为大多数行业的大型 AI 项目和连接流程提供了出色的解决方案，GCP 与 AI 应用程序部署中的按需基础设施和托管服务相关联。

GPU 非常灵活，可用于本地和云模型，可从 Amazon Web Services 和 Microsoft Azure 等主要云服务提供商处获得。它可以处理大数据并调整大多数机器学习算法所需的计算资源。

8

以下情况请选择 GPU：

您需要一系列不同的计算能力，例如计算机图形/显示以及科学计算。

这些选项让您可以精确控制性能调整和优化。

您需要在不同环境中灵活地部署应用程序。

9

以下情况请选择 TPU：

您的项目通过 TensorFlow 得到提升，并且在与 TensorFlow 交互时具有高性能。

需要确保高吞吐量的训练时间和非常快的推理时间。

关于技术的选择，能源效率和低功耗是参数。

您需要一个能够轻松访问所需 TPU 资源的通用托管云服务提供商。

开发者体验：Google TPU 与 NVIDIA GPU 在 AI 开发计算中的比较

比较 TPU 和 GPU 的使用：开发人员对设备的体验可能因与 ML 框架的兼容性、SW 工具/库的可用性等而异。

张量处理单元 (TPU) 针对 TensorFlow 进行了进一步优化，TensorFlow 是 Google 的开源机器学习框架。TensorFlow 包含非常灵活且高效的接口来管理神经网络的高级操作，因为开发人员无需编写低级代码即可利用 TPU。此外，Google 还提供了有关如何使用 TPU 和 TensorFlow 的详细文档和指导材料，这可能有助于开发人员克服学习曲线。

除了 TensorFlow，TPU 还可以与另一个 Google 机器学习库 JAX 配合使用。JAX 具有构建和训练神经网络的接口，并且支持通过梯度进行区分和 GPU/TPU 计算，这是在 AI 开发中使用 TPU 的另一种方式。

GPU 支持更广泛的机器学习框架，例如 TensorFlow、PyTorch、Caffe 等，这让开发人员可以选择最合适的框架进行部署。著名的 GPU 生产商是 NVIDIA；他们提供 CUDA，这是使用 GPU 进行并行计算的软件开发工具包。这可以让人们对计算进行更精细的控制，但它需要对硬件有深入的了解。

NVIDIA 还提供了文档和课程，详细介绍了如何将 GPU 与不同的机器学习库结合使用，以及一套用于测量和诊断 GPU 增强程序的工具。这些资源对于那些有兴趣增强 AI 解决方案以利用 GPU 硬件的开发人员非常有用。

TPU 和 GPU 都与云环境兼容。Google 的 Cloud TPU 与 Google Cloud 兼容，因此初创公司或大型企业可以轻松提升其 AI 使用率。同样，NVIDIA GPU 可以通过许多云提供商访问，包括 Amazon Web Service、Microsoft Azure 或 Google Cloud。此外，通过与NVIDIA的竞争和与英特尔的合作，AMD 已成为 AI 加速市场的一股主要力量，这推动了 AI 和大数据分析领域竞争优势的进一步发展。

行业中 Google TPU 与 NVIDIA GPU 的集成可改善 AI 开发

TPU 和 GPU 在 AI 行业的广泛使用表明它们在促进不同类型的 AI 任务方面发挥着巨大作用。许多组织部署这些技术来改善其 AI 运营。

例如，开发了 TPU 的谷歌在其解决方案和产品中大量使用这些处理器。TPU 的用例是人工智能模型，即谷歌搜索、谷歌照片和谷歌翻译，它们需要大吞吐量和低延迟的人工智能推理。这使得谷歌每天能够管理数十亿次搜索查询，分析数百万张照片，并翻译数百万篇文本。

OpenAI 是一家致力于推动 AI 发展的组织，它使用 GPU来训练其大规模 AI 模型。最重要的标准之一是需要训练的参数，而最大的语言模型之一 GPT-3 的训练包含 1750 亿个参数。如此大的模型的训练需要大量的计算资源，在这种情况下，GPU 可以满足这些资源的需求。

如今，Alphabet 旗下 Waymo 正在使用张量处理单元，该公司专注于控制自动驾驶汽车。这些算法涉及处理来自各种传感系统的大量输入，并具有实时处理和决策功能；因此，TPU 是最好的，因为它们经过优化以支持 AI 推理。

最著名的 GPU 硬件制造商是 NVIDIA，该公司将制造的硬件应用于其 AI 研发。NVIDIA 使用 GPU 设计 AI 解决方案、调整算法使用的数学配方以及比较其软件和硬件。该公司还将 GPU 纳入其人工智能产品；自动驾驶汽车中心和视频分析系统。

微软还为集成人工智能及其机器学习等组件的发展做出了贡献。它不断应用上述基础设施来支持公司生产力工具和云服务中分析和人工智能的集成。

这些例子描述了 TPU 和 GPU 在 AI 行业中的广泛实际用途，展示了这些设备在提供大规模 Web 服务、训练高度发达的 AI 模型以及创造更多独特的 AI 相关技术方面的重要性和作用。

结论

在AI 开发中，选择 Google TPU 还是 NVIDIA GPU需要考虑很多因素，比如项目本身、成本以及要使用到的全球基础设施。因此，尽管 GPU 也具有很高的兼容性，并且几乎所有框架都支持，但 TPU 更擅长基于 TensorFlow 的商业化项目，并且能效更高。

了解这些差异对开发人员和组织很有用，因为他们可以组织任务流程来完成人工智能项目，从而提高效率和降低成本。值得注意的是，这两种选择都有各自的优点，并被积极用于推动机器学习和人工智能的发展。

2. 截至发稿，德国DAX指数跌0.50%，英国富时100指数跌0.45%，法国CAC40指数跌0.43%，欧洲斯托克50指数跌0.28%。

https://www.analyticsinsight.net/artificial-intelligence/google-tpus-vs-nvidia-gpus-for-ai-development

点这里加关注，锁定更多原创内容

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3847内容，欢迎关注。

『半导体第一垂直媒体』

实时 专业 原创 深度

公众号ID：icbank

喜欢我们的内容就点“在看”分享给小伙伴哦炒股加杠杆平台