深度进修是一种低效的动力耗费。它须要海量的数据和充分的计划资源，这启发了其耗电量呈爆炸性延长。在来日的几年里，该范围的完全接洽趋向使这一题目更加重要。宏大的比率模子须要对数十亿数据点进行很多天的演练，但这些模子越来越时髦，而且短功夫很大概不会消逝。

少许接洽职员急于探求新的目的，比方不妨用更少量据进行演练的算法，大概不妨更快运转这些算法的硬件。IBM 的接洽职员提出了一个不同的计划。他们将减少表白数据所需的位（即 1 和 0）的数目，从暂时的行业规范 16 位减少到 4 位。

接洽职员在最大的年度人为智能接洽聚集 NeurIPS 上海展览中心现了这项处事，它大概会让演练深度进修的速率加速 7 倍，并将动力本钱贬低 7 倍以上。它还大概让在智高手提式无线电话机和其余袖珍摆设上演练宏大人为智能模子这一办法成为大概，这将有助于把部分消息存在在当地摆设上，进而更好地保护秘密。并且，这将使资源充分的大型科学技术公司除外的接洽职员更简单实行深度进修这一进程。

位是怎样处事的

你往日大概传闻过电脑用二进制数 1 和 0 保存数据。这些基础的消息单元被称为比特，或位。当位 “翻开” 时，它对应 1；当它 “封闭” 时，就产生 0。换句话说，每一个位只能保存两种消息。

但一旦把它们串在所有，不妨编码的消息量就会呈指数延长。2 位不妨表白 4 条消息，由于有 2 的二次方，也即是 4 种拉拢：00、01、10 和 11。4 位不妨表白 2 的四次方，也即是 16 条消息。8 位不妨表白 2 的 8 次方，也即是 256 条消息。

位的精确拉拢不妨表白数字、字母和脸色等数据典型，或加法、减法和比拟等操纵典型。此刻，大学一年级致条记本电脑都是 32 位或 64 位，但这并不虞味着计划机所有只能编码 232 或 264 条消息。（那这台电脑就太废物了。）这表白它不妨运用这么多搀杂度的位来对每一段数据或单个操纵进行编码。

4 位深度进修

4 位演练是什么道理？开始，咱们有一台 4 位计划机，所以搀杂度是 4 位。咱们不妨如许想：咱们在演练进程中运用的每一个数字都必需是 - 8 到 7 之间的 16 个整数中的一个，由于计划机只能表白这些数字。咱们输出神经搜集的数据点，用来表白神经搜集的数字，以及咱们在演练功夫须要保存的中央数字都是如许。

接下来要如何做呢？咱们先要商量演练数据。设想一下，摆在咱们眼前的是第一次全国代表大会堆辱骂像片。第一步：咱们须要把这些图像变换成数字，如许计划机本领领会它们。为此，咱们按照灰度值来表白每个像素 ——0 表白黑色，1 表白白色，少量点表白灰色的深浅度。此刻，咱们的图像是一个范畴从 0 到 1 的数字列表。但在 4 位域中，咱们须要把范畴扩充到从 - 8 到 7。这边的本领是把数字列表线性缩放，以是 0 产生 - 8，1 产生 7，少量点映照到中央的整数。如下图所示：

图｜您不妨将数字列表从 0 到 1 扩充到 - 8 到 7，而后将大肆少量四舍五入到整数。

这个进程并不完备。比方说，即使你从 0.3 发端，你会获得缩放后的数字 - 3.5。但是咱们的 4 位计划机只能表白整数，以是你必需四舍五入到 - 4。如许最后会遗失图像中的少许灰色暗影，也即是精度。咱们不妨鄙人面包车型的士图片中看到它的格式。

图｜位数越低，像片的细节就越少。这即是精度丢失。

这个本领对于演练数据来说并不算难用。但当咱们把它再次运用到神经搜集本人时，工作就变得有点搀杂了。

图｜一个神经搜集

神经搜集常常被绘制成有节点和贯穿起来的货色，就像上海图书馆。但是对于计划机来说，这些城市产生一系列数字。每个节点都有一个激活值，常常取值范畴为 0 到 1，每个贯穿都有一个权值，常常取值范畴为 - 1 到 1。

咱们同样不妨用途置像素的本领来缩放它们，但激活值和权值也会跟着每一轮演练而变换。比方，偶尔一轮演练的激活值范畴是从 0.2 到 0.9，但在另一轮演练中是从 0.1 到 0.7。所以，IBM 共青团和少先队在 2018 年想出了一个新本领：每轮演练从新安排这些范畴，使其在 - 8 到 7 之间 (如下图所示)，这灵验地遏止了丢失太多精度。

图｜IBM 的接洽职员为每一轮演练从新安排神经搜集的激活值和权值，以遏止丢失太多精度。

但咱们还须要进行结果一个限制：怎样用 4 位表白演练进程中遽然展现的中央值。与咱们处置图像，权值和激活值的数字不同，这些值不妨超过几个数目级。它们大概很小，比方 0.001，也大概很大，比方 1000。考查将其线性缩放到 - 8 到 7 之间会遗失缩放范畴最小端的一切粒度。

图｜超过几个数目级的线性缩放数字在极小的一端遗失了一切的粒度。正如这张图所示，任何小于 100 的数城市被缩放成 - 8 或 - 7。透彻度的贬低会感化人为智能模子的最后本能。

过程两年的接洽，接洽职员毕竟处置了这个挑拨：他们抄袭了别人的办法，将这些中央数字按对数比率缩放。底下这个对数缩放大概能让你领会我在说什么，以 10 为 “基数”，只运用了 4 位搀杂度。（接洽职员转而运用 4 为基数，由于重复考查表白这种本领功效最佳。）你不妨看到它是如安在位牵制内编码少量字保卫世界和平大会数字的。

图｜以 10 为基数的对数缩放。

这篇最新的论文展现了怎样把一切这些成分贯串在所有。IBM 的接洽职员进行了几个试验，他们在计划机视觉、语音和天然谈话处置的百般深度进修模子上模仿 4 位演练。截止表白，与 16 位深度进修比拟，模子的完全本能丢失了有限的精确性，但所有进程也快了 7 倍多，而且会节约能源 7 倍多。

将来的接洽

在 4 位深度进修成为本质运用之前还须要很多接洽。本文仅模仿这类演练的截止。想运用在实际寰球还须要新的 4 位硬件。2019 年，IBM 接洽院创造了人为智能硬件重心，以加速开拓和消费此类摆设的过程。遏制这项处事的 IBM 高档司理凯拉斯・戈帕拉克里希南表白，他估计三到四年内， 将展现不妨为深度进修演练所用的 4 位硬件。

斯坦福大学熏染鲍里斯・穆尔曼没有介入这项接洽，但他称这些截止令人激动。他说:“这项超过为在资源有限的情景中进行演练翻开了大门。” 它纷歧定会让国民党的新生活运动用展现，但它会让现有运用的速率更快，更省电，“它有很大的上风”。比方，苹果和谷歌更加探求怎样将人为智能模子（如语音转文本和自动矫正体例）的演练进程从云霄变化到用户手提式无线电话机上。经过将用户的数据存在在部分手提式无线电话机上，能保护用户秘密，并普及摆设的人为智能本领。

但穆尔曼也指出，还须要更多接洽来考证这种本领的真实性。2016 年，他的共青团和少先队公布了一篇论文，展现了 5 位演练法。但这种本领多年来并没有生效。“因为神经搜集变得更加敏锐，咱们之前所用的大略本领仍旧无法运用了，” 他说，“以是还不领会如许的本领能否能接受住功夫的检验。”

固然如许，他说，这篇论文 “将督促其余人更加刻意地接洽这一题目，并激励新的办法。这是一个特出受欢送的超过。”