Talk预告 ICLR+CVPR双料! CMU博士后沈志强： 标签滑润和常识蒸馏在自监督二值网络使命上的运用

  ”，到时将介绍有关常识蒸馏，标签滑润，自监督学习，二值网络的相关研讨与近期的一些发展和考虑。

  常识蒸馏(knowledge distillation) 和标签滑润(label smoothing) 是两个常用的网络训练方法。之前Müller et al. , (NeurIPS 2019) 提出一个观念即两者无法兼容，在这个Talk中，咱们深度剖析了他们这个定论发生的原因以及不完善的当地。咱们经过一些新的发现从原理上解说了两者是可兼容的。一起是咱们得知两个场景标签滑润会真实失掉效果。最终咱们介绍了将常识蒸馏运用于自监督的二值网络上的一个作业，然后更好地来了解常识蒸馏的作业机理。

  4.介绍咱们CVPR 2021常识蒸馏在自监督学习和二值化网络上面的一个运用：

  在Talk界面下的【沟通区】参加互动！留下你的打call和问题，和更多小伙伴们一起评论，被讲者直接翻牌回答！

  沈志强，CMU的博士后，在Marios Savvides教授的实验室从事计算机视觉、机器学习等研讨作业（最近将参加Eric Xing教授的实验室）。他前期的研讨作业首要聚集于传统的计算机视觉使命，比方方针检测，细粒度分类，视频描绘，包含最早提出和研讨learning object detection from scratch (DSOD)这样的一个问题。最近他还重视于小样本、自监督学习等，一起也重视如何为这些视觉使命经过机器学习算法进行加快和优化，因而最近一些作业更多的是研讨二值化网络，常识蒸馏，网络紧缩等作业机制，一起和相关视觉使命的结合。

  他期望自己的研讨可以使视觉运用在实际场景中更高效的布置和运转，运用更少的数据（few-shot）和更少的标示（self-supervision），一起确保模型精度。他的一作作业发表于TPAMI、IJCV、ICLR、CVPR、ICCV、AAAI等机器学习和计算机视觉范畴尖端期刊和会议，他一起也是这些期刊和会议的审稿人。

  TechBeat(隶属于将门创投，是一个荟聚全世界华人AI精英的生长社区。

  等待这儿能成为你学习AI前沿常识的高地，共享自己最新作业的膏壤，在AI进阶之路上的晋级打怪的根据地！

  更多具体的介绍TechBeat，一个荟聚全世界华人AI精英的学习生长社区