Red Panda

问题描述学校的系统要求同时上交 pdf 和 word 版本的论文。latex 写的只能生成 pdf，就有了转 word 需求。通过搜索，先后尝试了 pandoc 的 tex2docx（可以生成，但是格式太简陋），adobe 的在线 pdf

前言Batch Normalization （BN）层，通过将数据批量归一化（使其分布在N（0，1）），有下列好处： 缓解了梯度传递问题，使模型适应更大的学习率，加速了训练；改善了饱和非线性模型不易训练的问题；还起到了正则化的作用。 可

问题描述跟李沐学 AI，装环境时，发现无论是本地，还是切到 colab，都出现环境问题。甚至还有奇葩的要求装 gpu，但是 conda 返回的是 cpu 版本的 pytorch。conda 的包容易过期，pip 的包由容易污染环境，甚至一声

前言我的研究生方向是图像处理，也用到了深度学习工具，所以这部分相对熟悉一些。在学习过程中，也发现了一些以前没有注意到的知识，比如卷积这个词是怎么从数学转到神经网络的一种操作的。 感受野卷积核是在局部窗口内操作的，所以，卷积核的大小反映了学习

之前我们有大量的从零实现一层网络，现在借用先进的pytorch框架，让很多功能得到封装，可以快捷的组建一个块。 nn.Modulenn.Module是pytorch一切网络的祖宗。例如，可以用nn.Sequential()搭建，也可以新写一

梯度爆炸和梯度消失问题梯度爆炸因为梯度的计算是通过偏导数的链式法则，所以，对于一个很深的网络，反向传播时，计算最后几层的梯度，很可能会超出数值的边界。比如cuda限制了16位的浮点数运算。这时，$1.1^100$超过了数值上界，程序就会报错

终于从前面的单层网络linear-regression和softmax过渡到多层神经网络了。为了对更加复杂的数据进行学习，多层感知机将多个全连接层叠加，并增加激活函数。激活函数是非线性的，因为如果不加激活函数或者激活函数线性，那么多层神经网

回归和分类机器学习（深度学习）的任务纷繁复杂。最基础的是回归和分类。回归是预测连续值，分类是预测离散类别。 分类问题是多输出，因此，训练标签和模型（网络）的输出应该是多维的。独热编码 （one-hot encoding）是一种表示多分类的方

线性回归一句话表示，就是数据的分布是按照如下的线性表达式： $$y=w_1x_1+w_2x_2+…+w_nx_n+b$$ $w_n$就是网络的权重（参数），b 也是一种权重。 代码实现import random import to

这个系列记录我跟随 B 站上李沐的《动手学深度学习》的视频教程。每五个章节的笔记合成一篇 blog。 安装环境我的学习平台时 win11, powershell, anaconda conda create -n d2l-zh python