谷歌大脑团队在线答疑，Hinton 压缩神经网络进展

　　有哪些被人低估但却令你兴奋的机器学习研究项目？

　　doomie：依我拙见，或许被低估的不是某个技术，而是“对训练数据进行智能自动收集”。这个问题尚未被充分研究，尤其是在上面提到的深度强化学习的语境中，但也不限于这个语境。

　　Doug Eck：花大量精力去发现元数据中的系统性问题。机器学习等于设施零件组装加上数据质量再加上算法研发。（这是乐观的说法。实际上机器学习就是靠大量的设施组装和大量的数据。）

　　David Ha：在我看来，进化方法被低估了。让我们感到激动的是构架搜索领域。我们可能已经接近这样的水平：不久之后，我们就能以计算上可行的方式大规模部署进化算法，用以补充传统的深度学习流水线。

　　Greg Corrado：将神经网络视为对程序的参数化表示，而非视为参数化的函数逼近器。

　　机器学习，尤其是深度神经网络，需要大量的训练数据来获得好的结果。虽然谷歌并不缺数据，但是关于到底需要多少数据，在理论上是否有下限？Google Brain 团队是否有兴趣去优化必需的训练数据的量？

　　Greg Corrado：这个问题非常好！（1）现在的机器学习算法需要更多的例子去学习，其数量远远超过人类学习所需的量。从某种程度上来说，这就意味着我们现在的机器学习算法在利用数据方面效率低。找出能让机器学习算法利用更少的数据而学习结果更好的方法，这是一个激动人心的研究领域，对于谷歌和更大的研究圈都是如此。

　　（2）我们必须要知道，ML算法所需的数据量高度取决于它要完成的任务。构建一个能识别手写数字的ML系统需要的数据量远远小于从照片中识别狗的品种的ML系统所需的数据量，而后者又远远少于训练一个ML算法通过看电影来总结情节所需的数据量。对于许多有趣的任务，人们今天很容易提供充足的数据。

　　未来量子计算在机器学习中有什么表现？深度学习呢？

　　Jeff Dean：我个人认为量子计算对深度学习在中短期（比如接下来10年）不会有什么重大影响。更远的，我就不敢说了。我可以非常肯定，真正的大脑不是量子计算机，神经科学也没任何证据可以证明这个说法。

　　对于其他机器学习，如果规模够大、能够用于解决真实世界问题，那么可能会有影响。我认为专用于加速深度学习的处理器（比如谷歌的TPU），对深度学习的影响会更大。不过，我在量子计算方面完全称不上是专家。

　　Vincent Vanhoucke：我个人感觉深度学习是验证量子退火特别好的领域，但没有实际证据支持。我一直在努力关注谷歌量子AI实验室的工作，不过说实话，我认为现在还没有到预测什么东西能够对机器学习产生重大影响的阶段。

　　Greg Corrado：我对此一直有关注（我过去是研究核物理的），我认为量子计算是一个非常令人激动的长期研究领域，但离实用还有很长的距离，因此也不需要去考虑量子计算对机器学习的影响——到量子计算机能够实用之时，机器学习算法估计都已经经历过三次换代了。

　　机器学习和AI被认为是某种“黑箱”。你认为在AI的应用中，这会带来危险吗？

　　Chris Olah：神经网络要理解起来会很困难，开发理解神经网络的技术是一个非常重要的研究领域。这里有很多非常有前景的方向，我们也看到了许多的进展，比如基于优化的特征可视化。

　　我对“黑箱”的说法感情很复杂。从数学的角度来看，我们能看到为什么神经网络会起作用。这一个树木和森林的场景，我们能以一种非常局部的方法理解这个网络，我们也在发展能看到更全全面的图景的方法。但是，我们不能看到人类内部的思考是什么样的，现在，人们对行为的解释一般都是错的。

　　当然，如果能有透明的技术，能给我们相关解释，这很好。但是我认为，公平，或者其他意外风险的问题更值得注意，这里还有很长的路要走。我认为，在透明、风险、公平和隐私上的工作在机器学习中非常重要。我们非常积极地在推动这方面的研究，比如DeepDream。

　　George Dahl：Chris Olah 已经很好地回答了我们在理解机器学习模型如何运行上的努力。从理论上说，我们能监视机器运转的每一个方面，即便数量可能太大，不容易做到。