SOTA 开源中文多模态大模型来了!清华VisCPM部署教程

在 AIGC 行业迎来爆发性增长的这半年,国内的各个互联网科技企业也都在悄然发力。在此当中,一系列为中文互联网用户而生的 CPM 开源大模型,更是多次登上 GitHub 热榜。

2020 年 12 月发布的 CPM-1 是国内首个中文大模型 ;2022 年 9 月发布的 CPM-Ant 仅微调 0.06% 参数就能超越全参数微调效果;2023 年 5 月发布的 WebCPM 是中文首个基于搜索的问答开源模型。

CPM-Bee 百亿大模型是团队最新发布的基座模型,中文能力登顶权威榜单 ZeroCLUE,英文能力打平 LLaMA。

屡屡作出破壁性成就,CPM 系列大模型一直在引领国产大模型攀登高峰,最近发布的 VisCPM 又一次证明它的强大!

什么是 VisCPM?

VisCPM 是由面壁智能、清华大学 NLP 实验室和知乎联合开源在 OpenBMB 的多模态大模型系列。

其中 VisCPM-Chat 模型支持中英双语的多模态对话能力,VisCPM-Paint 模型支持文到图生成能力,评测显示 VisCPM 在中文多模态开源模型中达到最佳水平

VisCPM 基于百亿参数基座模型 CPM-Bee 训练,融合视觉编码器(Q-Former和视觉解码器(Diffusion-UNet)以支持视觉信号的输入和输出。

得益于 CPM-Bee 底座优秀的双语能力,VisCPM 可以仅通过英文多模态数据预训练,泛化实现优秀的中文多模态能力。

SOTA 开源中文多模态大模型来了!清华VisCPM部署教程

下载地址在本文末

下面,我们来详细看看 VisCPM-Chat 和 VisCPM-Paint 到底牛在哪里。

VisCPM-Chat 支持面向图像进行中英双语多模态对话。该模型使用Q-Former作为视觉编码器,使用 CPM-Bee(10B)作为语言交互基底模型,并通过语言建模训练目标融合视觉和语言模型。模型训练包括预训练和指令精调两阶段。

团队使用约 100M 高质量英文图文对数据 对 VisCPM-Chat 进行了预训练,数据包括 CC3M、CC12M、COCO、Visual Genome、Laion 等。在预训练阶段,语言模型参数保持固定,仅更新Q-Former部分参数,以支持大规模视觉 - 语言表示的高效对齐。

之后团队对 VisCPM-Chat 进行了指令精调,采用 LLaVA-150K 英文指令精调数据,并混合相应翻译后的中文数据对模型进行指令精调,以对齐模型多模态基础能力和用户使用意图。在指令精调阶段,他们更新了全部模型参数,以提升指令精调数据的利用效率。

有趣的是,团队发现即使仅采用英文指令数据进行指令精调,模型也可以理解中文问题,但仅能用英文回答。这表明模型的多语言多模态能力已经得到良好的泛化。在指令精调阶段进一步加入少量中文翻译数据,就可以将模型回复语言和用户问题语言对齐。

团队在 LLaVA 英文测试集和翻译的中文测试集对模型进行了评测,该评测基准考察模型在开放域对话、图像细节描述、复杂推理方面的表现,并使用 GPT-4 进行打分。可以观察到,VisCPM-Chat 在中文多模态能力方面取得了最佳的平均性能,在通用域对话和复杂推理上表现出色,同时也表现出了不错的英文多模态能力。

VisCPM-Chat 提供了两个模型版本,分别为VisCPM-Chat-balanceVisCPM-Chat-zhplus前者在英文和中文两种语言上的能力较为平衡,后者在中文能力上更加突出

两个模型在指令精调阶段使用的数据相同,VisCPM-Chat-zhplus在预训练阶段额外加入了 20M 清洗后的原生中文图文对数据和 120M 翻译到中文的图文对数据。

SOTA 开源中文多模态大模型来了!清华VisCPM部署教程

下面是 VisCPM-Chat 的多模态对话能力展示,不仅能识别具体地区的地图,还能读懂涂鸦画和电影海报,甚至认识星巴克的 logo。而且中英文双语都很溜!

SOTA 开源中文多模态大模型来了!清华VisCPM部署教程

再来看 VisCPM-Paint ,它支持中英双语的文到图生成。该模型使用 CPM-Bee(10B)作为文本编码器,使用UNet作为图像解码器,并通过扩散模型训练目标融合语言和视觉模型。

在训练过程中,语言模型参数始终保持固定。使用 Stable Diffusion 2.1 的 UNet 参数初始化视觉解码器,并通过逐步解冻其中关键的桥接参数将其与语言模型融合:首先训练文本表示映射到视觉模型的线性层,然后进一步解冻UNet的交叉注意力层。该模型在 Laion 2B 英文图文对数据上进行了训练。

与 VisCPM-Paint 类似,得益于基座模型 CPM-Bee 的双语能力,VisCPM-Paint 可以仅通过英文图文对训练,泛化实现良好的中文文到图生成能力,达到中文开源模型的最佳效果

通过进一步加入 20M 清洗后的原生中文图文对数据,以及 120M 翻译到中文的图文对数据,模型的中文文到图生成能力获得进一步提升。同样,VisCPM-Paint 有 balance 和 zhplus 两个不同的版本。

他们在标准图像生成测试集 MSCOCO 上采样了 3 万张图片,计算了常用评估图像生成指标 FID (Fréchet Inception Distance) 评估生成图片的质量。

SOTA 开源中文多模态大模型来了!清华VisCPM部署教程

VisCPM-Paint 模型中分别输入 “海上生明月,天涯共此时,唯美风格,抽象风格”“人闲桂花落,月静春山空” 两条 prompts,会生成以下两张图片:

SOTA 开源中文多模态大模型来了!清华VisCPM部署教程(生成效果稳定性仍有提升空间)

相当惊艳,可以说精准把握了古诗词的意境,以后读不懂诗句就直接生成个图片来理解!如果应用在设计上,可以节省一大笔人力。

不仅能 “作画”,用上 VisCPM-Chat,还能 “吟诗”:用图片反向检索诗句。

比如能用李白的诗描绘黄河的景象并作解读,在面对中秋月夜时还能用苏轼的《水调歌头》借景抒情。

SOTA 开源中文多模态大模型来了!清华VisCPM部署教程SOTA 开源中文多模态大模型来了!清华VisCPM部署教程

VisCPM 不仅生成效果好,下载版本设计考虑周到,安装和使用也十分简易。

SOTA 开源中文多模态大模型来了!清华VisCPM部署教程SOTA 开源中文多模态大模型来了!清华VisCPM部署教程

VisCPM 提供不同中英文能力的模型版本供大家下载选择,安装步骤简单,在使用中可以通过几行代码实现多模态对话,还在代码中默认开启了对输入文本和输出图片的安全检查(具体教程可见 README)。

未来团队还会将 VisCPM 整合到 huggingface 代码框架中,并且会陆续完善安全模型、 支持快速网页部署、 支持模型量化功能、支持模型微调等功能,坐等更新!

值得一提的是,VisCPM 系列模型非常欢迎个人使用和研究用途。如需将模型用于商业用途,可联系 cpm@modelbest.cn 获取商业授权。

传统模型专注处理单一模态数据,现实世界中的信息往往是多模态的,多模态大模型提升了人工智能系统的感知交互能力,为 AI 解决现实世界中复杂的感知和理解任务带来了新的机遇。

不得不说,清华系大模型公司面壁智能研发能力强大,联合发布的多模态大模型 VisCPM 实力强大、表现惊艳,期待他们后续的成果发布!

最后再放上该模型的 GitHub 开源地址,大家感兴趣可以玩一下。

下载地址:

免责说明

本站资源部分来自网友投稿,如有侵犯你的权益请联系管理员或给邮箱发送邮件PubwinSoft@foxmail.com 我们会第一时间进行审核删除。
站内资源为网友个人学习或测试研究使用,未经原版权作者许可,禁止用于任何商业途径!请在下载24小时内删除!


如果遇到评论下载的文章,评论后刷新页面点击对应的蓝字按钮即可跳转到下载页面
本站资源少部分采用7z压缩,为防止有人压缩软件不支持7z格式,7z解压,建议下载7-zip,zip、rar解压,建议下载WinRAR

温馨提示:本站部分付费下载资源收取的费用为资源收集整理费用,并非资源费用,不对下载的资源提供任何技术支持及售后服务。

给TA打赏
共{{data.count}}人
人已打赏
人工智能实用工具

微软重磅更新:Win正式上线Copilot,内置在系统的AI助手

2023-7-3 8:21:08

人工智能

Midjourney注册教程保姆级全系列课程合集免下载

2023-7-5 12:59:31

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
有新私信 私信列表
搜索