直播 | Facebook人工智能实验室研究工程师吴育昕:Devils in BatchNorm


  将门创业2天前我要分享

  i1.go2yd.comimage.php?url=0MhOfp8nTv

  

  特别提醒

  由于嘉宾时差问题

  本周Talk在周四下午1点!

  本期为将门技术社群第162期线上分享。

  北京时间7月25日(周四)下午1点,在将门技术社群,我们很开心邀请到Facebook人工智能实验室研究工程师吴育昕。

  他与大家分享的主题是“Devils in BatchNorm”,届时将介绍BatchNorm在训练、推理、微调、实现中的多个问题,它们的成因及解决方案。

  活动信息

  

Devils in BatchNorm

  嘉宾:Facebook人工智能实验室 研究工程师 吴育昕

  时间:北京时间 7月25日(周四)13:00

  分享提纲

  

  如今,深度卷积神经网络的成功离不开BatchNorm:它已成为大多数卷积神经网络中不可缺少的组成部分。然而由于BatchNorm的复杂性,在不同场景的使用中容易让人犯下难以察觉的错误。

  解决这些问题需要对BatchNorm做出相应的修改,如Precise BN、Sync BN、Ghost BN、Virtual BN、Frozen BN等。本次分享,我们将介绍BatchNorm在训练、推理、微调、实现中的多个问题,它们的成因及解决方案。

  分享内容大纲:

  BatchNorm回顾

  traintest不一致的好处与坏处

  推理中的坑:移动平均

  训练中的坑:batch大小和分布

  微调中的坑:参数化, 数据分布等

  实现中的坑:一个多功能的BatchNorm实现

  简介GroupNorm等相关工作

  嘉宾介绍

  

  i1.go2yd.comimage.php?url=0MhOfpnW3X

  吴育昕

  Facebook人工智能实验室 研究工程师

  吴育昕是Facebook人工智能实验室(FAIR)研究工程师,目前研究方向为计算机视觉中的检测和识别问题。

  他毕业于清华大学与卡耐基梅隆大学,曾获2018年欧洲计算机视觉会议(ECCV)最佳论文提名。

  了解他更多科研工作,请访问其个人主页>>

  观看直播或加群

  

  长按或扫描下方二维码,关注“将门创投”),后台回复“入群”,获取入群通道及直播地址。

  -The End-

  将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构,旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

  将门创新服务专注于使创新的技术落地于真正的应用场景,激活和实现全新的商业价值,服务于行业领先企业和技术创新型创业公司。

  将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容,使创新成为持续的核心竞争力。

  将门创投基金专注于投资通过技术创新激活商业场景,实现商业价值的初创企业,关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在三年的时间里,将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

  如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

  将门创投

  让创新获得认可!

  

  收藏举报投诉

达到当天最大量