2019-2021 文本生成图片 Text To Image(T2I) Synthesis 论文整理

发布时间:2021-06-14 07:40:59

参考:文本生成图像!GAN生成对抗网络相关论文大汇总


A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis

介绍了关于GAN生成对抗网络的相关Text-to-Image论文,将其分类为Semantic Enhancement GANs, Resolution Enhancement GANs, Diversity Enhancement GANs, Motion Enhancement GANs四类,介绍了代表性model,如下图所示。
  详细内容:https://www.cnblogs.com/zyyz1126/p/14474382.html 末尾


Adversarial Learning of Semantic Relevance in Text to Image Synthesis

介绍的模型以conditional GANs为基础,改进了discriminator的一个辅助功能。该模型生成的图片不受特定种类的限制,并且在语义上匹配文本输入时不会模式崩溃(mode collapse)。采用了负采样的训练方法。数据集:Oxford-102 flflower,使用inception score和multi-scale structural similarity index (MS-SSIM) metrics评定可分辨率和生成图片多样性。


Controllable Text-to-Image Generation

ControlGAN。可以控制图片局部生成,一个word-level的generator。有github代码:https://github.com/mrlibw/ControlGAN。
   详细内容:https://www.cnblogs.com/zyyz1126/p/14495753.html


CPGAN Full-Spectrum Content-Parsing Generative Adversarial Networks for Text-to-Image Synthesis

content parsing。同时parse文本和图片。设计了一个memory structure。使用了一个conditional discriminator来判断文本图片局部的联系。
  详细内容:https://blog.csdn.net/qq_26136211/article/details/115067516


Cycle Text-to-Image GAN with BERT

基于Attention GAN的改进。引入循环机制,将生成的图片翻译回文本。以BERT预训练的word embedding为基本text featurizer。


Describe What to Change: A Text-guided Unsupervised Image-to-Image Translation Approach

使用文本控制image-to-image特定部分的改变,比如“把头发的颜色变成红色”。


DF-GAN: Deep Fusion Generative Adversarial Networks for Text-to-Image Synthesis

针对高分辨率。提出了一个只有一队discriminator和generator的基本模型,一个新的正则化方法来保证图片和文本的semantic consistency,一个有效利用文本的语义特征并在生产过程中深入融合文本和图像的深度文本图像fusion block。


DM-GAN: Dynamic Memory Generative Adversarial Networks for Text-to-Image Synthesis

现有的生成是先生成轮廓,在逐步细化。本论文针对当生成的轮廓效果不好时,引入一个dynamic memory module来修改生成的轮廓。
  详细内容:https://blog.csdn.net/qq_26136211/article/details/115048490


Dual Adversarial Inference for Text-to-Image Synthesis

学*了文本中的两个部分:content(例如color, composition)和style description(例如location, quantity,size等),提出dual adversarial inference(双重对抗性推理)。数据集:Oxford-102, CUB,COCO datasets.


Efficient Neural Architecture for Text-to-Image Synthesis

using a single stage training with a single generator and a single discriminator。引入deep residual networks 和entence interpolation strategy来学*一个*滑的条件空间。


GILT Generating Images from Long Text

基于不直接描述图片的visual content长文本生成。模型基于StackGAN-v2。数据集:recipe1M。
  代码:https://github.com/netanelyo/Recipe2ImageGAN.


Image-to-Image Translation with Text Guidance

文本控制image-to-image,数据集:COCO。


MirrorGAN: Learning Text-to-image Generation by Redescription

介绍了MirrorGAN:text-to-image-to-text framework,思想有点类似于CycleGAN。


Improving Training of Text-to-image Model Using Mode-seeking Function

通过使用特定的mode-seeking loss function 来规避图片生成过程中发生的mode collapse,数据集:Caltech Birds (CUB) , Microsoft COCO。


ManiGAN Text-Guided Image Manipulation

文本控制image-to-image生成。ManiGAN分为两个部分:ACM建立要修改部分的text到image的映射,并对不需要修改的部分进行编码,DCM完成修改。数据集:Caltech Birds (CUB) , Microsoft COCO。有代码。
  是controlGAN的改进。


PerceptionGAN Real-world Image Construction from Provided Text through Perceptual Understanding

通过结合perceptual understanding感知来生成good-initialized的轮廓。基于StackGAN。数据集MS COCO。


Multimodal Semantic Transfer from Text to Image. Fine-Grained Image Classification by Distributional Semantics

不知道是什么论文,有点奇怪。待看。


Object-driven Text-to-Image Synthesis via Adversarial Training

Object-driven的注意力GAN,专注于以对象为中心的text-to-image生成。数据集COCO。


Text as Neural Operator Image Manipulation by Text Instruction

文本控制image-to-image生成。


SegAttnGAN Text to Image Generation with Segmentation Attention

Segmentation Attention GAN。数据集CUB,Oxford-102。


Semantic Object Accuracy for Generative Text-to-Image Synthesis

新的评估标准Semantic Object Accuracy (SOA)评断文本和图片的语义一致性。


Semantics Disentangling for Text-to-Image Generation

消除语义混乱。数据集:Caltech Birds (CUB) , Microsoft COCO。


Text-to-Image Generation with Attention Based Recurrent Neural Networks

attention-based encoder学*word到pixel,条件自回归decoder学*pixel到pixel和图像的生成。使用了Structural Similarity Index评估。数据集:COCO,MNIST-with-captions。


Text Guided Person Image Synthesis

文本控制人像的image-to-image生成。用VQA Perceptual Score评估。(效果看起来不是很好)


Text-Guided Neural Image Inpainting

文本控制图像修复。有代码。


TivGAN Text to Image to VIdeo Generation with Step by Step Evolutionary Generator

文本生成图片再生成视频。分两步训练,先根据文本生成高质量的单帧图片,再生成连续帧。
  详细内容:https://blog.csdn.net/qq_26136211/article/details/115049472


Text-to-Image Synthesis Based on Machine Generated Captions

先从图片生成文本,在用到text-to-image 的训练。数据集:LSUN-bedroom


Text-to-image synthesis method evaluation based on visual patterns

提出新的评估metrics,应该是向量距离差不多的东西。


TIME Text and Image Mutual-Translation Adversarial Networks

图片文本互相转化。轻量级模型。使用了transformer,和annealing conditional hinge loss。数据集:CUB,MS-COCO。


[2021]Cross-Modal Constrastive Learning for Text-to-Image Generation

跨模态对比学*。Cross-Modal Contrastive Generative Adversarial Network(XMC-GAN)。最大化图片和文本的相互信息。使用了一个attention self-modulation生成器使文本和图片对应,一个constrative discriminator。在长文本和短文本上都表现良好。


[2021]Learning efficient text-to-image synthesis via interstage cross-sample silmiarity distillation

考虑了每个stage的交互。 knowledge distillation知识蒸馏。ICSD-GAN。


[2021]SAM-GAN: Self-Attention supporting Multi-stage Generative Adversarial Networks for text-to-image synthesis

SAM-GAN, Self-Attention supporting Multi-stage Generative Adversarial Networks,解决问题的出发点类似DM-GAN,都是针对initial image不好的情况。

相关文档

  • 2020年简短个人自荐信范文5篇
  • 大学生怎么一毕业就找到一个心仪的公司拧螺丝,建议你看看这篇携程面经,对你拧螺丝很有帮助。
  • 幼儿园小班家长讲话稿
  • 学习笔记-Postman进行HTTP接口测试
  • 七夕情人节短信祝福句子
  • mybatis-config配置 介绍
  • 用js写单链表和双向链表
  • 雪花秀润燥精华多少钱?雪花秀润燥精华专柜价格
  • 描写感恩节来历的日记:感恩节的由来及习俗
  • 相比微信、支付宝支付,apple pay支付优缺点是什么呢?
  • iphone保修期
  • 《舟过安人》改写故事
  • 每日一记(随笔一)_200字
  • 秋天的风景作文250字作文精选
  • 廉政建设警示语是什么
  • 庆祝教师节手抄报文字资料通用3篇
  • 雪鱼怎么做好吃 烹饪雪鱼的好吃方法
  • 如何将项目中的src/main/java和src/main/resources目录设置为源代码包
  • 初中生如何提高语文成绩
  • 中国最长山脉
  • 旅游优美的句子
  • 打羽毛球对身体有什么好处
  • 用Python求一组列表中最大的两个值
  • 属金属火取的女孩名字
  • 幼儿园小班大象的长鼻子教案
  • 亲爱的别为我忧伤爱情诗歌
  • 大班科学课教案《有趣的膨胀》含反思
  • 考试失败之伤心
  • 前端常用公共方法工具类
  • 【干货】Graph Embedding及其在知乎的实践.pdf(附下载链接)
  • 猜你喜欢

  • (江苏专版)19版高考物理一轮复*第十章交变电流传感器微专题73交变电流的产生及描述备考精炼
  • CSSD特殊感染器械的处理流程参考幻灯片
  • 日本铁路公司(JR)简介ppt课件
  • *面楼板主要改进精品文档30页
  • 杭州博光广告策划有限公司(企业信用报告)- 天眼查
  • 第章电路的基本概念与基本定律ppt课件
  • 一种新型的发动机瞬态油耗仪的设计
  • 日语中新语和流行语的探析
  • 熬中药的正确方法第二次加冷水吗
  • (2017版目录)2017-2021年中国电力环保设备行业发展前景预测及投资分析报告
  • xx年度地税局副局长述职报告
  • 2019一年级下册语文教案1吃水不忘挖井人ㄏ人教语文.doc
  • 学*生活小故事:有这样一位妈妈【精品】
  • 初二叙事作文:我最爱看的一本书
  • 如何实现不基于session和cookie的用户认证_万文长字分析OAuth 2.0+JWT+spring security完成认证授权生产级(附带源码)...
  • 激光助视/微光夜视仪光谱匹配技术研究
  • 信息的扫描与嗅探
  • 跨学科、多平台综合设计性实验的探索与实践
  • 江苏省苏州市2019届九年级中考数学模拟试卷(五)及答案
  • 什么是“绿色标志”
  • 谈企业文化的几种载体选择
  • XX—XX年音乐教学工作计划
  • 用matlab调用c程序 带实例
  • 2019年-05第二章电动门控制回路-PPT精选文档
  • 2020年云南省玉溪市《教育专业基础知识》教师教育
  • 2019人教八年级上册 UNIT3Section B 3a —4 Self check (共16张PPT)教育精品.ppt
  • 饭店工程部副总经理竞聘演讲稿范本
  • qt 5.2.1类和模块的关系图
  • 第2章 轴对称图形单元测试卷(B卷提升篇)2019-2020学年八年级数学同步单元双基双测AB卷(苏科版)
  • 坑镇中心小学绘画社团简介
  • 写人的好词好句-好词好句
  • 2018年秋九年级数学上册 第22章 相似形 22.1 比例线段 第3课时 比例的性质同步练* 沪科版
  • 小学作文 爱劳动的清洁工人-精品
  • 青铜峡市瞿靖供销社连湖农资经销部企业信息报告-天眼查
  • 环境艺术专业研究生论文
  • 参加《线性代数》课程培训的心得体会_4
  • 高速公路日常养护管理存在问题及对策
  • 微信朋友圈里触动人心的经典语录
  • 2021年妇幼保健工作总结怎么写
  • 暑假的遐想作文
  • 《出师表》《后出师表》对比阅读练习题及答案
  • 工程设计资质申请表课件.doc
  • 电脑版