深度学习的四个学习阶段

阶段1：入门级

数据处理

在入门级使用的数据集很小，可以放入主内存中。只需几行代码即可应用此类操作。在此阶段数据包括Audio、Image、Time-series和Text等类型。

经典机器学习

在深入研究深度学习之前，学习基本机器学习技术是一个不错的选择，其包括回归、聚类、SVM和树模型。

网络

掌握常见的网络层，以及相应的神经网络；GAN、AE、VAE、DNN、CNN、RNN 等等。在入门阶段，可以优先掌握DNN、CNN和RNN。

理论

没有神经网络就没有深度学习，没有（数学）理论就没有神经网络。可以通过了解数学符号来开始学习，可以从矩阵、线性代数和概率论开始你的学习。

阶段2：进阶水平

进阶和入门级之间没有真正的分界，进阶水平能够处理更大的数据集，能够使用高级网络处理自定义项模型：处理更大的数据集，能够自定义模型完成任务，网络模型精度变得更好

数据处理

自己完成任务

自定义网络

模型训练

深度学习理论

掌握深度学习模型的正向传播和反向传播，特别是链式求导法则。掌握激活函数和目标函数的作用，能够选择合适的激活函数和目标函数。

阶段3：熟练水平

数据处理

无监督项目

模型训练

掌握模型调参的方法和常见的日志和可视化工具，如TensorBoard的使用。掌握学习率的调节方法，如余弦退火。掌握多机和混合精度训练。

阶段4：专家级