主 题：Beyond Trans-Dimensional Sampling: Generalised Bayesian Model Selection

时 间：11月22日(周日) 10.30-11.30

主讲人：尔江

地 点：信电楼204

记录人：章寅

内 容：

       在过去的十年中，深度学习在许多流行的感知任务（包括视觉）中取得了巨大的成功。对象识别，文本理解和语音识别。这些任务对应于人工智能（AI）系统分别具有查看，阅读和聆听的能力，对于AI有效地感知环境是必不可少的。 但是，为了构建一个实用而全面的AI系统，简单地就能感知是远远不够的。最重要的是，AI系统应该具有思考的能力。

       尔江教授提出了目前贝叶斯机器学习的两个难以解决的问题。我们从机器学习算法获取的不是模型，而是一系列新的数据；其次是数值计算的困难。然后提出了目前该领域最前沿的解决办法，利用先验信息进行估算比寻找最大后验分布；贝叶斯估计。接着尔江教授谈论了研究贝叶斯这一“古老”理论的意义。AI模型必须能够从不断变化的自然中学习数据，这很好地模仿了我们的大脑如何学习和思考自己。并由于数值计算以及计算能力的不断发展迭代，曾经复杂的贝叶斯计算已经逐渐被实现。尔江教授分别列举了三个对于贝叶斯学习发展的里程碑式人物，分别是理论创始人贝叶斯、拉普拉斯，以及在第二次世界大战曼哈顿计划将贝叶斯方法发扬光大的图灵。

       接着尔江教授比较了基于频数观点下的概率与基于贝叶斯观点下的概率的区别。基于频数的古典概率拥有客观性或经验性，我们可以想象到，所求事件是在相同条件下无限期运行的实验结果，当实验的数量趋于无穷大时，事件的概率是事件的频数与事物发生事件比例的极限。而基于贝叶斯观点下的概率是一种主观概率，这种观察概率的另一种方法是作为一个理性人，而确定性与不确定性仅仅取决于当前可信的证据。一个深谙此道的主观主义者，不需要想象无数次扔硬币，只需要观察到硬币有几乎完全相同的正反两面，就可以知道丢硬币得到正面和反面的概率相同，即得到正面的概率为1/2。主观主义者用新的数据来消除事件的不确定性，用当前的后验概率来衡量事件的不确定性。这样的从参数的初始不确定性开始，然后使用样本信息修改此不确定性的统计推断方法称为贝叶斯统计推断，或者贝叶斯学习。贝叶斯学习自然反应了我们的学习方式，首先是贝叶斯学习就像儿童从小开始学习知识，同时科学的获取知识也可以帮助模型更快学习。

       尔江教授还举出了两个在贝叶斯学习中最重要的方法，蒙特卡洛法与马可夫链法。蒙特卡洛法的本质是一种采样的过程，我们不需要获得准确后验密度函数的数值解，但是依旧可以尝试生成符合这个分布的数据点。然后我们通过这些生成的数值来近似后验概率密度函数，进一步可以计算后验均值、方差。

       马可夫链与蒙特卡洛法最大的不同在于采样点之间是否存在关联。尔江教授首先让我们考虑一个人如何在房间里“随机漫步”，马可夫链的采样办法有点类似于这个情景，每个数据点的采样并不是完全随机的，而是取决于采样的上几步，通过这种办法，每次迭代都可以在之前得到的分布中更好的采样，最终收敛到我们所需要的目标分布，而这一点就类似于一个人“温故而知新”的学习过程。从下图可以看出，使用了马可夫链方法的采样在更密集的地方采样得更加频繁，而更快的离开稀疏的地方。

      最后老师热情的回答了与会同学提出的有关于深度学习模型裁剪的问题，并向我们介绍了他近期的一些学术工作。

参加人：研一研二部分学生