谷歌大脑团队在线答疑，Hinton 压缩神经网络进展

　　但是，你的问题其实不只针对机器学习，而是任何有效的、大型和复杂的软件系统都会遇到相同的问题。我想说的是，用你的定义来看，世界上绝大多数的软件从某种程度上都是“黑箱”。

　　也就是说，我们希望在如何部署机器学习软件上更有洞见，特别是拿下事关决策的应用，所以我们要监测训练数据的变化，即便代码并没有什么改变。我们的研究走的是一条开放合作的道路，每年，都会有许多教员和研究者来到谷歌，我们会参加所有的大型会议，并发表上百篇论文。我们非常渴望倾听外界的观点。

　　工作方针：没有KPI，好奇心驱使，开源保持技术领先

　　你们做的研究与大学教授的工作有何不同？

　　George Dahl：在学界可以做的那些工作我们都可以做，包括进行基础研究和更具应用性的研究，只要我们觉得合适。（学界的人也做应用研究！）像学界的人一样，我们通过发表论文、参与会议和工作坊并展示作品来与研究社区互动，（有时）还会与来自其他机构的人就研究工作直接进行写作。

　　尽管这么说，我们与学术群体仍然有一些重要区别，这些区别会影响我们对项目的选择和我们实施项目的方式。例如，与大多数学术群体相比，我们有更多的计算资源，包括令人振奋的新硬件（例如谷歌 TPU）。我们可以容易地组建起庞大、多元的团体以为项目工作，如果需要的话团体中可以同时具有几位高级别人员，如果需要的话也可以同时包含研究员和工程师。像大学里一样，我们也在培训许多有实力的初级研究员，他们为团队带来大量新鲜想法和能量。在我的团队中，这些人是谷歌大脑的访问学者（resident）和实习生。此外，我们会大量接触实践上非常重要的问题，并有机会去影响 Alphabet 的产品。另一方面，大学通常拥有另外一些影响社会的方式，这些方式是我们不会太考虑的，例如大学会参与政府项目、训练下一代研究人员。（当然，我们的实习生和访问学者项目里也包含培训成分，所以或许我们与大学的最大区别是我们不会像大学一样培养其他专业的本科生。）

　　由于拥有这些因素，我们希望能发挥我们的优势——去处理那些只有处于我们这样的独特地位时才能处理的大问题。

　　我们的研究不需要整合到产品中去，当然如果能影响产品那当然是件好事。产品团队决定如何做产品，研究者根据他们的科研日程表决定做什么研究。常常我们做的研究在几年后才能变得有用，而且我个人并不是基于产品需求来制定我的研究日程表的。假如我能够以某种方式在自动摘要、NLP 或化学自动化等领域带来新真正的进步，可能就会产生目前尚不存在的全新产品。如果我们能在感兴趣的科研问题上获得实质性进步，我们将创造出全新的业务。

　　Martin Abadi：学术道路和产业界道路并不一定是两条互斥的、全职的、一次定终生的道路。学界确实比产业界规定了更多的最终期限，但按照我的经验（我本人曾做过大学教授），总得来说这不重要。 

　　你们如何对研究方向或总体路线图确定优先顺序或做决策？

　　Jeff Dean：我们努力去发现那些具有重大、开放的研究问题的领域，在这些领域中解决问题将会导向建立明显更加智能的主体和系统。我们有一些登月级的研究领域，在这些领域之下我们研究项目又分属于一些好的主题。例如，其中一个登月级项目是研发能真正理解、总结和回答关于长文本（长文档，包含数百文档的文档集等）的问题的学习算法。当我们做这类工作时，不会去考虑任何具体的产品，尽管如果我们能做成它的话它显然在不同的情境中都会很有用。

　　其他研究则完全由好奇心驱动。因为我们每年都有许多令人振奋的年轻研究员来访——包括年度访问学者和实习生——我们常常会探索一些机器学习社区会感兴趣的研究方向。

　　最后，我们会与在机器学习方面遇到难题的产品团队协作进行一些研究。我们与我们的翻译、机器人和自动驾驶汽车团队都有正在进行的协作。过去，我们也曾与语音团队、搜索排序团队和一些其他团队以类似方式协作。这些协作通常涉及开放的、尚未解决的研究性问题，这些问题的解决将使相关产品获得新的能力。

　　George Dahl：只要我发现任何东西在科学上最有趣（以及我认为我能够做出贡献），我就会为其工作。我猜想谷歌大脑团队的许多研究者也是这么做的。

　　我想知道你们的文化、战略和愿景。能透露一下你们的年度预算吗？可以分享一下团队的KPI吗？谷歌开源文化对你们自身有什么帮助？

　　Vincent Vanhoucke：我一直都强调，在今天这种快速发展的环境中，你的IP（知识产权）并不取决于当下你拥有什么技术，而是更多地在于你的公司或团队技术进步的第一个衍生物——也就是，你进步得越快，你就能做得越好。开源像TensorFlow这样的东西，有助于提升技术更新代的速度，同时保证我们一直处于核心位置。

　　Jeff Dean：我们的使命确实非常宏大。从根本上来说，我们希望能做的研究应该是自己认为有助于我们建立智能机器、进而用这些智能来提升人类的生活的。此外，我们不会详细地透露预算。

　　说到KPI，我查了下字典才知道它是什么意思。我们真的没有任何形式的KPI，此外，我们也没有任何以收入为目的的目标。当然，我们都在努力做一些具有科学价值或者商业价值的研究，但是，只要是好的科学，有没有商业价值其实没那么重要（因为通常在当下是无法确定某一个研究的未来是否有商业价值的）。我们在努力做一些当下或未来对世界有用的工作。我们的研究，加上与谷歌内其他团队的努力，例如语音识别、 谷歌图片、Youtube 、谷歌搜索、GMail、Adwords、AlphaGo等项目，都对世界产生了实质性的影响。看看这些产品所产生的各种各样的价值，我们的工作在整个公司内也有着深远的影响。

　　我们非常坚定地相信开放，因为它给我们带来的利要远远大于弊。通过 TensorFlow，我们能够获得外部参与者的研究，进而一起把系统变得更好。同时，这也使得我们与谷歌外部的研究员合作变得更容易，因为我们能反复地分享代码（例如，实习生如果在实习期结束后想继续扩展研究，他们可以在TensorFlow上完成）。

　　通过公开我们的研究，我们从研究社区内获得了非常有价值的回馈，同时，我们也可以向世界展示我们在做一些非常有意思的工作，进而有助于我们吸引更多希望做类似工作的人才。需要坦白的是，有一些研究工作我们也没必要把所有的细节都公开，比如关于搜索引擎系统和广告系统中与机器学习相关的工作。