目录

八股文

1、简述DDPM的算法原理

2、什么是重参数化技巧？Diffusion Models和VAE中的重参数化技巧是如何使用的？

VAE中的重参数化技巧

Diffusion Models中的重参数化技巧

3、什么是马尔可夫过程？DDPM中的马尔可夫链是如何定义的？

马尔可夫过程

DDPM马尔可夫链

4、为什么DDPM前向过程中前期加噪少，后期加噪多？

5、VAE和Diffusion Models中的变分推断是什么？

6、Negative Prompt实现的原理是什么？

7、简述Diffusion Models、VAE之间的区别和联系

相同之处：

不同之处：

8、简述Diffusion Models与GANs之间的区别和联系

区别

联系

9、DDIM是怎样加速采样的(简述DDIM的原理)？

前向过程可以是非马尔科夫过程

子序列加速采样

10、什么是基于分数的生成模型？

11、在Diffusion中常见的条件注入的方法有哪些？

12、Stable Diffusion中是如何注入文本信息的？

13、Latent diffusion相比DDPM有哪些改进？

14、Diffusion是如何添加timestep信息的？

15、什么是noise scheduler (扩散模型中的参数和分别代表什么)？

16、Cos Noise scheduler有什么优点？

17、简述Classifier-free guidance的原理？

分类器指导技术的缺点：

Classifier-free guidance方法：

18、Guidance Scale较大为什么会破坏噪声预测分布？

19、有哪些常见的/经典的Diffusion models加速方法？

20、SD-XL相比于SD有哪些区别和改进？

整体结构

网络结构改进

长宽比和crop信息引入

21、常见的微调SD方法有哪些？并说一下对应的原理

Dreambooth

直接全量微调Dreambooth的问题

Dreambooth解决方案

Lora

Custom

22、ControlNet的原理是什么？

23、ControlNet中的卷积层初始权重为什么是0？

24、VAE生成的图像为什么是模糊的？如何减轻模糊性？

原因一：隐变量采样过程

原因二：重参数化技巧

原因三：KL散度正则化

解决方法一：增加模型复杂度

解决方法二：使用更复杂的先验分布

解决方法三：引入正则化方法

25、为什么Stable Diffusion可能会出现细节信息失真？

Q&A

1、今年计算机视觉秋招回暖了吗？

2、什么样的水平(学历、论文、项目、实习)可以冲AIGC视觉方向？

3、如何准备项目经历？

4、现在Diffusion Models还有哪些方向值得研究(好发论文)？

5、如何选择偏研究的部门和偏业务的部门？

八股文

1、简述DDPM的算法原理

扩散模型包括两个过程：前向过程（forward process）和反向过程（reverse process），其中前向过程又称为扩散过程（diffusion process），如下图所示。无论是前向过程还是反向过程都是一个参数化的马尔可夫链（Markov chain），其中反向过程可以用来生成数据，这里我们将通过变分推断来进行建模和求解。