http://idi.zju.edu.cn/wp-content/uploads/2020/11/59a1dff68908308effc05fb811f9b0ed.pdf
http://idi.zju.edu.cn/wp-content/uploads/2020/11/59a1dff68908308effc05fb811f9b0ed.pdf淘宝网 - 淘！我喜欢https://alidesign.taobao.com/work.htm#/iframe/wantoo
1.介绍
? ? ? ? 分类，定位，检测以及分割技术发展使得机器可以深入理解素材乃至平面内容设计结构。GAN，字体生成，素材风格迁移，人体姿态迁移，文本内容理解和摘要提取等自然语言技术的应用，能够降低视频匹配字幕的成本。音乐风格迁移，音乐生成以及音效联动技术的探索，可以使音乐的选择、音效的调整更加灵活方便。基于多模态信息的特征学习是得视频内容的理解更加准确，跨媒体关系的建模使得多媒体信息的使用更加便利和广泛。
2.阿里巴巴多媒体内容生成
2.1 分析
????????该环节主要根据参数、脚本等配置信息对原始素材进行解析。是人工智能技术各原子能力应用较多的一个环节。
2.2 处理
? ? ? ? 在历届输入素材的基础上，该环节基于素材的情况及业务需求对其进行必要的处理加工，如图像的美化、修复、抠图，视频的剪切等。从而将原始素材处理成可进一步使用的原子素材。
2.3 生成
? ? ? ? 基于结构化的素材信息，结合GAN。
2.4 渲染
? ? ? ? 本环节根据预设的脚本和参数，有效融合所有可使用的素材信息，使文字，声音，图像，视频流等元素的展示协调一致，生成更富有表现力的广告，视频，页面，动效等产品，达到助力商业的目的。
2.5 评估
? ? ? ? 评价指标既包括图像美学，图像质量等算法指标，也包括商业应用指标，生成结果的用户使用率是比较常用的商业指标之一。评估结果对全流程各环节的优化起到积极作用，而对多媒体内容生产通常没有直接影响。基于对生成的多媒体内容和商业结果数据的分析，开发人员可以对相应模块进行迭代优化以达到更好的商业结果。
上面这个流程基本没什么问题，通常分析和处理被合成一个模块，做素材的预处理和解析，将数据解析成结构化数据，结构化数据是整个合成的核心数据结构，也是渲染中的脚本，生成这一步也是核心，生成其实还是比较复杂的，涉及到如何构建布局，对文案区域或者商品区域进行微调等。至于评估，目前来说，大部分生成图还是没有经过固定的评估模块去审核的，基本还是作为一个结果反馈机制，如果合成图那个地方不好，会根据评估的结果进行改动，尤其是电商图，美学意义上的图像质量评价并不一定在场景上合适。
3.抠图
????????抠图是整个智能创意的基础能力之一。
4.平面智能设计
? ? ? ? 鹿班在平面设计上实现了全流程自动化，不仅是一个平面设计的生产工具，还是一个平面设计的投放工具。基于对淘宝大数据以及用户行为的深入分析，能够基于不同用户的喜好，自动生成包含不同商品的个性化广告并投放给用户。
5.视频智能生成
? ? ? ? 通过分析用户提供的文案，在产品数据库或互联网上搜索匹配的图片或视频，并基于预设模板进行视频合成。
6.页面内容制造
? ? ? ? AI-detail可以通过使用人工智能的技术对现有详情页进行结构化解析，并使用新语言或新风格模板自动批量重构新详情页。当详情图作为输入数据时，AI-detail首先对其进行分割以获得所有与组成元素，包括视频、图像位置、文本和表格等。基于分割出的各种素材，AI-detail可以识别品牌和场景，多角度分析模特姿态，捕捉商品细节。通过ocr技术，AI-detail不仅可以识别详情页的文字，也可以识别图片和视频帧中的文字。对详情页信息的结构化存储是AI-detail的核心功能。
?
????????