杰弗里·埃弗里斯特·辛顿（Geoffrey Everest Hinton），计算机学家、心理学家，被称为“神经网络之父”、“深度学习鼻祖”。
他研究了使用神经网络进行机器学习、记忆、感知和符号处理的方法，并在这些领域发表了超过200篇论文。他是将（Backpropagation）反向传播算法引入多层神经网络训练的学者之一，他还联合发明了波尔兹曼机（Boltzmann machine）。他对于神经网络的其它贡献包括：分散表示（distributed representation）、时延神经网络、专家混合系统（mixtures of experts）、亥姆霍兹机（Helmholtz machines）等。

杰弗里·辛顿（Geoffrey Hinton），1947年12月6日出生于英国温布尔登，2018年图灵奖得主，英国皇家学会院士，加拿大皇家学会院士，美国国家科学院外籍院士，多伦多大学名誉教授。 [1-2] [7]

杰弗里·辛顿于1970年获得剑桥大学实验心理学学士学位；1976年受聘为苏塞克斯大学认知科学研究项目研究员；1978年获得爱丁堡大学人工智能学博士学位。1978年至1980年担任加州大学圣地亚哥分校认知科学系访问学者；1980年至1982年担任英国剑桥MRC应用心理学部科学管理人员；1982年至1987年历任卡内基梅隆大学计算机科学系助理教授、副教授；1987年受聘为多伦多大学计算机科学系教授；1996年当选为加拿大皇家学会院士；1998年当选为英国皇家学会院士；1998年至2001年担任伦敦大学学院盖茨比计算神经科学部创始主任；2001年至2014年担任多伦多大学计算机科学系教授；
2016年至2023年担任谷歌副总裁兼工程研究员；2023年从谷歌辞职。 [2]

杰弗里·辛顿致力于神经网络、机器学习、分类监督学习、机器学习理论、细胞神经网络、信息系统应用、马尔可夫决策过程、神经网络、认知科学等方面的研究。 [3]

科研综述

 
辛顿与合作者在1986年发表的两篇具有里程碑意义的论文中推广了被称为
“反向传播”的算法，这个术语反映了一个阶段，
在这个阶段中，算法通过神经元反向传播网络猜测产生的误差测量，
从直接连接到输出的神经元开始，
这使得在输入层和输出层之间具有中间“隐藏”神经元的网络能够有效地学习，
克服了Minsky和Papert指出的局限性，
它支撑着如今几乎所有的神经网络，从计算机视觉系统到大型语言模型。 [2]

读到这里才发现，低估了反向传播的意义，它赋予了网络自适用的能力

 
ImageNet Classification with Deep Convolutional Neural Networks

Deep learning

Dropout: a simple way to prevent neural networks from overfitting

A fast learning algorithm for deep belief nets

 
Hinton的学生，深度学习中CNN的崛起离不开的男人——Yann LeCun

纽约大学终身教授，与Geoffrey Hinton、Yoshua Bengio并成为“深度学习三巨头”。前Facebook人工智能研究院负责人，IJCV、PAMI和IEEE Trans 的审稿人，他创建了ICLR(International Conference on Learning Representations)会议并且跟Yoshua Bengio共同担任主席。

1983年在巴黎ESIEE获得电子工程学位，1987年在 Université P&M Curie 获得计算机科学博士学位。1998年开发了LeNet5，并制作了被Hinton称为“机器学习界的果蝇”的经典数据集MNIST。2014年获得了IEEE神经网络领军人物奖，2019荣获图灵奖。

    

 
Deep learning

OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks

Gradient-based learning applied to document recognition
基于梯度的学习在文档识别中的应用

 
Yoshua Bengio：我的一生
https://zhuanlan.zhihu.com/p/588477753
    
2018 年图灵奖获得者、AI 先驱、深度学习三巨头之一、对抗生成网络 GAN、

从最初本科毕业时的“广度优先搜索”，了解到 Hinton 的连接主义， 到探索人脑、初代语言模型、注意力机制等等，以及度过人工智能寒冬，再到现在探索抽象、生成流网络、Ai4Science、HLAI(人类级别智能)、意识先验、System-2、因果推断、元学习、模块化等重要且新颖的领域。Yoshua Bengio 回顾了自己的科研生涯，
他说“Staying Humble”。

 
Theano框架：Bastien F, Lamblin P, Pascanu R, et al. Theano: new features and speed improvements[J]. arXiv preprint arXiv:1211.5590, 2012.

RNN训练问题：Pascanu R, Mikolov T, Bengio Y. On the difficulty of training recurrent neural networks[C]//International conference on machine learning. 2013: 1310-1318.

Maxout激活函数：Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. arXiv preprint arXiv:1302.4389, 2013.