【Google I-O 2017】Google 第二代 TPU 既能推理又能训练_时评关注_申博官网手机版下截

当前位置:主页 > 时评关注 >【Google I-O 2017】Google 第二代 TPU 既能推理又能训练 >

【Google I-O 2017】Google 第二代 TPU 既能推理又能训练

2020-06-12

浏览量:283

点赞:262

【Google I/O 2017】Google 第二代 TPU 既能推理又能训练

5月18日凌晨,Google CEO Sundar Pichai 在 I/O 大会上正式公布了第二代 TPU,又称 Cloud TPU 或 TPU 2.0,这一採用云端计运算的硬体和软体系统,将继续支撑 Google 最前沿的人工智慧技术。

第一代 TPU 于 2016 年发表,它被做为一种特定目的晶片而专为机器学习设计,并用在 AlphaGo 的人工智慧系统上,是其预测和决策等技术的基础。随后,Google 还将这一晶片用在了其服务的各方面,比如每一次搜寻都有用到 TPU 的计算能力,最近还用在了 Google 翻译、相簿等软体背后的机器学习模型中。

今天凌晨,Google 宣布第二代的 TPU 系统已经全面投入使用,并且已经部署在 Google Compute Engine 平台上。它可用于图像和语音辨识、机器翻译和机器人等领域。

新的 TPU 包括了 4 个晶片,每秒可处理 180 万亿次浮点运算。Google 还找到一种方法,使用新的电脑网路将 64 个 TPU 组合到一起,升级为所谓的TPU Pods,可提供大约 11,500 万亿次浮点运算能力。

【Google I/O 2017】Google 第二代 TPU 既能推理又能训练

强大的运算能力为 Google 提供了优于竞争对手的速度,和做实验的自由度。Google 表示,公司新的大型翻译模型如果在 32 块性能最好的 GPU 上训练,需要一整天的时间,而八分之一个 TPU Pod 就能在 6 个小时内完成同样的任务。之所以开发新晶片,部分也是因为 Google 的机器翻译模型太大,无法如想要的那幺快进行训练。

除了速度,第二代 TPU 最大的特色,是相比初代 TPU 它既可以用于训练神经网路,又可以用于推理。初代的 TPU 只能做推理,要依靠 Google 云来即时收集资料并产生结果,而训练过程还需要额外的资源。

机器学习的能力已经逐渐在消费级产品中体现出来,比如 Google 翻译几乎可以即时将英语句子变成中文,AlphaGo 能以超人的熟练度玩围棋。所有这一切都要靠训练神经网路来完成,而这又需要计算能力。所以硬体越强大,得到的结果就越快。如果将每个实验的时间从几周缩短到几天或几个小时,就可以提高每个机器学习者快速反覆运算,并进行更多实验的能力。由于新一代 TPU 可以同时进行推理和训练,研究人员能比以前更快地部署 AI 实验。

【Google I/O 2017】Google 第二代 TPU 既能推理又能训练

过去十多年来,Google 已经开发出很多新的资料中心硬体,其中包括伺服器和网路设备,主要目的是扩张自己的线上帝国。而过去几年中,在 AI 方面 Google 也选择开发自己的硬体,为其软体做优化。神经网路是複杂的数学系统,通过分析大量资料来学习,这种系统从根本上改变了技术的构建和运行方式,影响範围也包括硬体。

在某种程度上,初代的 TPU 被设计来是为了更好地支援 TensorFlow 机器学习框架。而归功于 Google 在软硬体上的进步与集成,TensorFlow 已经成为构建 AI 软体的领先平台之一。这种优化,再加上 Google 大脑及其 DeepMind 子公司的内部人才,正是 Google 在 AI 领域保持领先的部分原因。

晶片厂商 Nvidia 的 GPU 几乎主宰了机器学习的市场,而现在,Google 想透过专门设计用于训练神经网路的晶片,来改变市场提升格局。

【Google I/O 2017】Google 第二代 TPU 既能推理又能训练

亚马逊和微软透过自己的云端服务提供 GPU 处理,但他们不提供客製的 AI 晶片。

不过 Google 也不能因此而高枕无忧,因为短期内竞争就会加剧。目前已经有几家公司,包括晶片巨擘英特尔和一大批新创公司,正在开发专门的 AI 晶片,它们都可能替代 Google TPU。

首先开发出新的晶片并不能保证 Google 成功,要使用 TPU 2.0,开发者要学习一种构建和运行神经网路的新方法。它不仅仅是一个新的晶片,TPU 2.0 也是专门为 TensorFlow 设计。虽然 Tensorflow 是开源软体,但也有许多研究人员使用 Torch 和 Caffe 等类似的软体。新硬体需要新的软体优化,这需要不少时间。

在 Google 推出 TPU 2.0 的几周之前,Facebook 的 AI 研究主管 Yann LeCun 质疑称,市场可能不需要新的 AI 专用晶片,因为研究者已经对使用 GPU 所需的工具非常熟悉了。新的硬体意味着新的生态系统。

另外,Google 云端服务的成功不仅取决于晶片的速度,以及使用的容易程度,还要考虑成本。所以,如果 Google 以比现有 GPU 服务更低的成本提供 TPU 服务,会得到更广泛的用户基础。

Google 自己当然会使用新 TPU 系统,但也会将它的能力开放给其他公司使用。Google 表示,不会将晶片直接出售,而是会透过其新的云端服务(年底前公布)提供,任何开发者都可以使用新处理器带来的计算能力。

Google 也重申了其对开源模式的承诺,表示会向同意发布研究结果的研究人员提供 TPU 资源,甚至可能开原始程式码。他甚至呼吁开发者加入 TensorFlow Research Cloud 计画,它会免费提供一组 1,000 台 TPU。

新 TPU 的速度优势肯定会吸引不少研究人员,毕竟 AI 研究要在大量硬体上广泛试错。就此而言,Google 愿意免费提供计算资源对全世界的 AI 研究者来说都是有好处的,当然,这对 Google 来说也是有好处的。

相关阅读