📚融合 BN 加速推理
批归一化（Batch Normalization）因其可以加速神经网络训练、使网络训练更稳定，而且还有一定的正则化效果，所以得到了非常广泛的应用。但是，在推理阶段，BN 层一般是可以完全融合到前面的卷积层的，而且丝毫不影响性能。
参考文章：深度学习推理时融合 BN, 轻松获得约 5% 的提速
代码：keras 的暂时没有找到，有空可以写写
📚BERT 推理加速实践
主要基于 Faster Transformer，参考文章：
📚pytorch C++ 前端推理模型
使用 libtorch C++ 前端来推理复杂模型，可能会用到。
参考文章：嫌 python 慢？来这里用 pytorch C++ 前端推理模型
📚ReZero: 使用加权残差连接加速深度模型收敛
论文标题：ReZero is All You Need: Fast Convergence at Large Depth
论文作者：Thomas Bachlechner, Bodhisattwa Prasad Majumder, Huanru Henry Mao, Garrison W. Cottrell, Julian McAuley
论文链接：https://arxiv.org/abs/2003.04887
代码链接：https://github.com/majumderb/rezero
简单来说对残差进行了加权并初始化权重为 0 来加快网络收敛速度。思路比较清晰，可证明也 work，具体参考文章 ReZero: 使用加权残差连接加速深度模型收敛
