A 学习教程推荐

吴恩达机器学习 前79讲 深度学习基础知识李沐 动手学深度学习 Pytorch版本 前18讲 前面的深度学习基础知识的代码版本, 动手完成一个简单的demo. 不一定每一讲都要看, 可以选感兴趣的看, 从0开始的入门阶段把握整体脉络比动手更重要

虽然深度学习大多都是用python这一个编程语言,但是这个编程语言有很多不同的框架, 吴恩达用的是Tensorflow, 李沐用的是PyTorch.Tensorflow比较老, 现在PyTorch是绝对的主流. 所以我添加了李沐 动手学深度学习 Pytorch版本.咕泡AI 深度学习保姆级教学 理论到实战、入门到起飞

P1~P13 和吴恩达机器学习前79讲等价, 可以和吴恩达机器学习前79讲同步看

P14~P25 是卷积神经网络(Convolution Neural Network, CNN), 是计算机视觉(Computer Vision, CV)这一方向的奠基性深度学习技术, 在今天仍然有很强的生命力

P26~P31 是循环神经网络(Recurrent Neural Network,RNN), 是自然语言处理(Natural Language Processing, NLP), 时间序列数据(股票, 房价, 天气温度, 音频)处理的奠基性方法, 现在的方法都是在此基础上修改.

P33~最后 是上述三个部分分别的实验.

B 推荐学习顺序

首先学习基础知识: 把吴恩达机器学习前79讲, 和咕泡AI 深度学习保姆级教学 理论到实战、入门到起飞P1~P13结合起来看, 掌握基础知识.

其次, 看完之后如果时间充足, 根据自己的需要做一些实验, 李沐 动手学深度学习 Pytorch版本 和咕泡AI

P33之后的实验选择性做一下. 如果不充足, 不做实验, 直接看下面的知识点.

然后学习两大基础网络: CNN和RNN. 跟着咕泡AI学.

学完上述内容之后, 你应该对于深度学习有一定了解了, 可以自己找资料了,我这里不再列出. 但是即使你没有学完上述内容, 也应当看一看下面的内容, 至少有一定了解.

不用一上来就读论文,可以在zhihu, csdn.net, medium.com等找一些博客和文章读. 我提供论文名只是为了避免读者找错.

AutoEncoder

非常好的无监督处理数据的方法, 很好用, 很常用. 算是基础知识.

LSTM

RNN的改造之路的第一步, 在Transformer之前, 很好用,很常用.

论文: Long Short-term Memory RNN

Transformer

几乎所有GPT大语言模型都是用无数个Transformer结构堆叠起来的. 现在很多诸如图像处理等别的领域也在用.

其中很厉害的Cross Attention 机制单独抽出来也很好用. 是RNN家族的优秀后继者.

如今最火爆的模型, 所有人都在试图超越它,但是目前还没有模型被公认已经超越它

论文 Attention is All You Need

U-Net

一个U形的CNN网络, 简单就是好用, 太好用了,现在CV领域还在用.

论文:Convolutional Networks for Biomedical Image Segmentation.

GAN

用人工智能生成图片的研究从此开始. 思想简单而且精彩, 非常经典, 可惜现在不怎么用了, 因为Diffusion在生成领域超过了它

论文: Generative Adversarial Networks

Diffusion

当今的AI生成图片视频,基本都是这个模型的衍生模型. 他的地位如同Transformer在NLP领域的地位. 思想很简单,但是公式推导不算易懂.

论文: Denoising Diffusion Probabilistic Models

C 初学者应当掌握的工具:

搜索信息的能力:

1.1. 学会读全英文文档和博客, 当然可以使用翻译软件.

1.2. 学会从zhihu, csdn, stackoverflow, github的issue搜索如何解决你遇到的问题. 也可以问chat-gpt 文心一言 kimi等大语言模型, 说不定会有奇效.写作上

2.1. 你应当对markdown和latex语法熟悉

2.2. 养成写博客, 做笔记的习惯代码上:

3.1. 应当学会用Conda或者Pip搭建一个环境, 然后用Pytorch框架写一个简单的小demo. 推荐使用VSCode作为IDE, 因为大家都在用VSCode. 如果你用pycharm, 遇到问题了很难找到解决方法

3.2. 学会从github上下载一个代码在自己的机器上运行.