文本描述生成图像博文一站式导航搜索(Text to Image博文汇总目录帖 T2I博文一站回顾)

东门胤
2023-12-01

1、原理理解

GAN的数学原理(基于李宏毅教授的视频理解)

详解文本生成图像的仿射变换模块(Affine Transformation)和条件批量标准化(CBN)

文本生成图像工作简述1–概念介绍和技术梳理
文本生成图像工作简述2–常用数据集分析与汇总
文本生成图像工作简述3–技术难点、研究意义、应用领域和目前的局限性
文本生成图像工作简述4–扩散模型、自回归模型、生成对抗网络的对比调研

2、综述阅读笔记

1、《Adversarial Text-to-Image Synthesis: A Review》2021年最新综述,文章较长,阅读笔记分了三部分,

Text to Image综述阅读(1.1)介绍与基本原理(基于GAN的文本生成图像)

Text to Image综述阅读(1.2)发展与基本方法(基于GAN的文本生成图像)

Text to Image综述阅读(1.3)度量标准与未来研究方向(基于GAN的文本生成图像)

2、《A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis》,提出了一种分类方法:

Text to image综述阅读(2)用于文本生成图像的对抗性神经网络综述与分类

3、《An Introduction to Image Synthesis with Generative Adversarial Nets》,2018年的一篇综述:
Text to image综述阅读(3)生成对抗网图像合成简介

4、《MISE:多模态图像合成和编辑Multimodal Image Synthesis and Editing: A Survey》

3、论文阅读笔记

1、论文整理和阅读路线整理

⚡️⚡️⚡️2016~2021 文字生成图像 T2I论文整理 阅读路线和阅读指南⚡️⚡️⚡️

2、GAN-CLS和GAN-INT

GAN-CLS和GAN-INT:Generative Adversarial Text to Image Synthesis生成性对抗性文本图像合成(文本生成图像)

3、StackGAN

 StackGAN:Text to Photo-realistic Image Synthesis with Stacked GAN具有堆叠生成对抗网络文本到图像合成

4、StackGAN++
 StackGAN++:Realistic Image Synthesis with Stacked GAN(具有堆叠式生成对抗网络的逼真的图像合成)

5、AttnGAN
AttnGAN: Fine-Grained TexttoImage Generation with Attention(带有注意的生成对抗网络细化文本到图像生成)

6、MirrorGAN
MirrorGAN: Learning Text-to-image Generation by Redescription(通过重新描述学习从文本到图像的生成)

7、DMGAN
⛅️⛅️ DM-GAN: Dynamic Memory Generative Adversarial Networks for t2i 用于文本图像合成的动态记忆生成对抗网络⛅️⛅️⛅️

8、CookGAN
CookGAN: Causality based Text-to-Image Synthesis(基于因果关系的文本图像合成 )

9、CogView
 CogView: Mastering Text-to-Image Generation via Transformers(通过Transformer控制文本生成图像)

10、DF-GAN
 DF-GAN:A Simple and Effective Baseline for Text-to-Image Synthesis一种简单有效的文本生成图像基准模型

11、SSA-GAN
 SSA-GAN:基于语义空间感知的文本图像生成 Text to Image Generation with Semantic-Spatial Aware GAN

12、GR-GAN
GR-GAN:逐步细化文本到图像生成 GRADUAL REFINEMENT TEXT-TO-IMAGE GENERATION

13、RAT-GAN
文本到图像合成中的递归仿射变换 Recurrent Affine Transformation for Text-to-image Synthesis

14、SD-GAN
SD-GAN:文本到图像生成的语义分解Semantics Disentangling for Text-to-Image Generation

15、Adma-GAN
 Adma-GAN:用于文本到图像生成的属性驱动内存增强型GAN

16、PDF-GAN
PDF-GAN:文本生成图像新度量指标SSD Semantic Similarity Distance

17、VLMGAN
VLMGAN:基于生成对抗网络的文本生成图像视觉语言匹配Vision-Language Matching for T2I via GAN

18、DR-GAN
DR-GAN:分布正则化的生成对抗网络 Distribution-Regularization-for-Text-to-Image-Generation

4、实验复现与避坑

1、AttnGAN本机复现
☕️ ☕️ AttnGAN代码复现(详细步骤+避坑指南)文本生成图像☕️ ☕️

2、AttnGAN云服务复现
  利用谷歌colab跑github代码AttnGAN详细步骤 深度学习实验(colab+pytorch+jupyter+github+AttnGAN)  

3、IS定量指标 实验复现
IS指标复现 文本生成图像IS分数定量实验全流程复现 

4、FID定量指标 实验复现
 FID指标复现踩坑避坑 文本生成图像FID定量实验全流程复现 

5、R分数定量指标 实验复现
R分数指标复现踩坑避坑 文本生成图像R_Precision定量实验全流程复现 

6、四步快速配置基准模型
四步快速配置一个简单高效的文本生成图像基准模型 T2I baseline

7、SSA-GAN九天云服务复现
利用九天深度学习平台复现SSA-GAN

8、DF-GAN远程服务器复现
DF-GAN实验复现——复现DFGAN详细步骤 及使用MobaXtem实现远程端口到本机端口的转发查看Tensorboard

5、其他

:文本生成视频Make-A-Video,根据一句话就能一键生成视频

❄️: T2I 文本生成图像定量评价指标总结笔记

⛄️:Transformer做文本生成图像的调查研究笔记

❄️: 科技论文常用词汇的缩写i.e.、etc.、e.g、et al.、viz.等

:一些计算机研究方向的缩写(CNN、RNN、DNN、GNN、GAN、NLP等等)

:2022年T2I文本生成图像 中文期刊论文速览-1

:炼丹师养成计划各种BUG和解决方案

 类似资料: