谷歌大脑团队在线答疑，Hinton 压缩神经网络进展

　　Dan Mané：学计算机科学之前，我对金融经济很感兴趣。因此，我上大学学的是经济学专业，毕业后实习也是在金融岗位实习。但是，经济学课程上起来枯燥无味，翻来覆去都是那几句，我在金融行业的经历也让我觉得自己该在其他地方工作。所以，我转专业转到了哲学，然后事情变得有趣多了。大学上到一半，我第一次学了计算机科学，超级有趣，但那个时候转专业已经来不及了，所以我说服老师，让我在计算机科学的学分也能抵数，作为哲学在人工智能方面的实践。之后，我做了好几份软件工程的工作，最后在英国在TensorFlow。我到 Google Brain 的经历说起来很巧合，当时他们需要人做 TensorBoard，我之前的一份工作不知怎么的做了很多数据可视化的工作。所以，我虽然没有深厚的背景，但是我有幸加入这个厉害的团队，有了完美的同事和这份完美的工作：）

　　谷歌大脑如何学习深度学习

　　你们如何跟进深度学习方面的海量研究？

　　Jeff Dean：不同的人有不同处理方式。为了促进知识在谷歌大脑团队内的传播，我们每周都有论文阅读小组，在小组中人们会总结和展示一些重要的论文。我们还有一个内部邮件列表，人们会在邮件列表中提供自己认为有趣的论文链接，有时是论文摘要。

　　当有人引用了你的论文时，Google Scholar 将会提醒你。如果你已经就某个话题发表过论文，这有时会帮到你。我喜欢 Hacker News 讨论中 semaphoreP 的这段评论：“我每天早晨都会手动检查我所在领域的 arxiv。这像我浏览 Reddit一样已经形成了习惯，尽管 arxiv 上没这么多可爱动物图片。”

　　Vijay Vasudevan：我会监控 reddit /r/MachineLearning 主题下的信息更新。

　　Maithra Raghu：我在读博和为谷歌工作期间都发现十分有用的一个办法是，一方面专注于一两个研究领域（这意味着精读这些领域的论文），另一方面浏览大量论文的摘要，从而对领域中发生的事具有一般的了解。后者需要过一些时间才会展现效果，但经过几个月后，即使是在阅读你不熟悉的领域的摘要时，你也会对研究的意义有所感觉。

　　George Dahl：Arxiv 群发邮件，Google Scholar 提醒，以及朋友和同事的消息和电邮。

　　doomie：Google Scholar 提醒功能很有用！实际上，Reddit 的这个版面也是个不错的信息源，此外还可以关注推特和 Facebook 上的重要人物 （Hugo Larochelle 的消息推送就特别棒。）这些再加上阅读小组和内部邮件列表，会让一个人有足够多的论文可读。

　　你是什么时候开始学习ML，你的第一个与ML有关的项目是什么？

　　Jeff Dean：在明尼苏达大学，我需要写一篇论文才能毕业，所以我与导师Vipin Kumar合作，我们在学院一台拥有64个处理器的立体机上并行训练神经网络。由于当时神经网络是在计算上的消耗是非常大的，所以并行训练对于想要把这一方法运用到更加实际的问题上的我来说，这是一个非常吸引人的想法。以论文为借口，在为相对中等模型的难题训练模型时，我能够获得比较吸引人的训练速度。神经网络计算模型有很多抽象的层，每一个都是基于另一个之上，当时它们对我们有着强大的吸引力。后来，我进入了研究生学院，我的意图就是学习并行计算，但是最后我又被为高级的物体指向型语言编写编译语言所吸引，并在这一领域完成了我的博士毕业论文。但是，对神经网络的兴趣从未真正消退。在大概5年前，似乎这一领域又值得重新探索一番了，现在，计算能力和目标的数据库都在飞速进步。这也是谷歌大脑得以诞生的原因（最初由我、吴恩达和Greg Corrado发起）。

　　Greg Corrado：实际的与潜在的认知难题确实很难比较：在我的一生中，手持计算器在除法上的运算几乎大部分时间内都会比我快、比我准确。但这是否就意味着，计算机在算术上更加“智能”？我的看法是，我对除法的理解和计算器所运行的函数是一个非常天然的互补，二者之间是无法比较的。

　　对于“智能”还是“复杂性”或计算性能的问题，我们能做公平比较的能力也只是稍微好一点。一个比较常见的争论是，单个生物神经元的计算机能力要有多强大，才能转化到计算机编程单元中，比如FLOPS，专家会通过几个不同维度来进行测量。

　　所以，现在有人说，拥有相同的32比特浮点权重的人工神经元网络，这些神经元网络与一些特定的生物大脑的突触连接很像，可以拥有人类大脑的计算能力。作为一名神经科学家，我必须要站出来反对这些说法。

　　如何加入谷歌大脑

　　Google Brain 团队将会在未来几年如何发展？ 你们现在招人吗？

　　Jeff Dean：要考虑未来几年的发展就必须思考过去几年团队发生的变化。我们 Google Brain

　　在机器学习的许多领域开展研究，包括机器学习算法、新模型、感知、语音、自然语言理解、机器人、AI安全等诸多领域。而且还在多个平台公布我们的研究，如NIPS、ICML、ICLR、CVPR和ICASSP；

设计、建造并开源了TensorFlow，与越来越多的研究者和开发者一起继续完善该系统；

启动了一个机器学习研究的培训项目，希望它能在未来几年茁壮成长，该项目旨在培训下一代机器学习研究人员；

与在谷歌云的同事合作，将TensorFlow作为谷歌云机器学习平台的基础。因此，我们的研究工作会接触到数十亿人（包括RankBrain、Smart Reply、谷歌图片、谷歌语音识别、Google Cloud Vision等工作）；

　　在机器人研究项目中开始使用机器学习

　　努力将机器学习用于医疗领域

　　在接下来的几年中，我希望我们继续发展和扩大我们的团队，以多种形式为世界做贡献：公布我们的研究、开源软件、解决机器学习研究的难题，以便我们能开发出更加智能、强大的系统。我们都在为之努力！

　　我们正在招聘专职研究人员、软件工程师、科研实习生等等，你可以查看我们的网站。