文本生成图像的DF-GAN增强模型研究
CSTR:
作者:
作者单位:

(北京信息科技大学 自动化学院, 北京 100192)

作者简介:

通讯作者:

中图分类号:

TP183

基金项目:

国家自然科学基金项目(U1636208).通信作者:魏依然


Deep Fusion-GAN Enhancement Model for Text-to-Image
Author:
Affiliation:

(College of Automation, Beijing Information Science and Technology University, Beijing 100192, CHN)

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对文本生成图像任务中生成图像的语义关联性低、细节较模糊以及结构完整性较差等问题,提出了一种结合自注意力机制的深度融合生成对抗网络(Deep Fusion Generative Adversarial Networks,DF-GAN)增强模型。首先,利用BERT模型挖掘文本上下文语义特征,同时结合语义深度融合模块,实现深层的文本语义与图像区域特征的匹配。其次,在模型架构层面引入一种自注意力模块作为卷积模块的补充,目的是更好地建立长距离、多层次依赖关系。实验结果显示,所提出的增强模型不仅加强了文本与图片之间的语义联系,而且保证了生成图像的细粒度和完整性。

    Abstract:

    A deep fusion generative adversarial network (DF-GAN) enhancement model combined with self-attention mechanism is proposed for low semantic relevance, fuzzy details, and inadequate structural integrity in text-to-image tasks. First, the bidirectional encoder representations from transformers (BERT) model is used to mine the semantic features of text context and combined with the deep text-image fusion block to realize the matching of deep text semantics and image regional features. Second, a self-attention mechanism module is introduced as a supplement to the convolution module at the model architecture level, aiming to enhance the establishment of long-distance and multilevel dependencies. The experimental results demonstrate that the proposed enhancement model not only strengthens the semantic relationship between the text and image but also ensures the inclusion of precise details and the overall integrity of the generated image.

    参考文献
    相似文献
    引证文献
引用本文

魏依然,易军凯,朱柯全,谭玲玲.文本生成图像的DF-GAN增强模型研究[J].半导体光电,2024,45(6):960-965. WEI Yiran, YI Junkai, ZHU Kequan, TAN Lingling. Deep Fusion-GAN Enhancement Model for Text-to-Image[J].,2024,45(6):960-965.

复制
分享
相关视频

文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-05-26
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2025-02-20
  • 出版日期:
文章二维码