数字人:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

简介: Fay是一个完整的开源项目,包含Fay控制器及数字人模型,可灵活组合出不同的应用场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。开源项目,非产品试用!!!

数字人:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

Fay开源项目提供了控制器和数字人模型,我们可以根据需要,灵活组合出不同的数字人模型;
比如虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her
01
控制器用途
控制器是Fay的核心组件。
利用控制器,我们可以驱动不同的模型,比如 真人照片,三位数字人,二次元模型等,满足我们不同的直播需求。
同时控制器,也可以根据需要,设置为不同的模式,比如设置为带货模式,测评模式,助理模式等。
而且还支持各种终端平台,比如手机,PC,眼镜、手表等,满足不同设备的直播需求以及接入多种终端。

数字人:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

控制器还支持 远程音频接入,在Fay提供的控制面板进行设置即可。

数字人:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

02
核心控制逻辑
作为技术人员,我们最为关心的还是其内部是怎么实现的。
如下图所示,Fay 由各个模块组成,如语音输入模块,音频转文本模块,NLP模块等。
其中各个模块都可以根据需要,替换成自己想要使用的。

数字人:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

下图是Fay工程的代码目录,感兴趣的同学,可以研究下其开源的代码,分析其具体实现。

数字人:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

03
安装使用
Fay 安装依赖Python 3.8.0 +  和 Chrome 浏览器。
Chrome 浏览器 主要用于直播,如果不是直播,可以不安装。
安装使用
安装python相关依赖
pip install -r requirements.txt
配置相关密钥

Fay 的控制器运行,依赖多项第三方AI服务,比如,阿里云实时语音识别微软文本转情绪语音讯飞情感分析及自然语言处理ChatGPT等,因此需要做相关的配置:

数字人:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

启动控制器

启动控制器:python main.py

04
使用说明
Fay 控制器提供了设置面板,可以根据不同的使用场景,进行相应的设置。
比如,开启 抖音虚拟主播 时,需要启动bin/Release_2.85/2.85.exe + fay控制器,同时在控制面板开启抖音输入源,关闭展板播放,同时开启数字人和抖音伴侣

数字人:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

 

更多使用方法,比如现场推销货,商品导购,数字人互动,人设,语音指令等设置方法可以Github观看。

数字人:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

下载地址:

免责说明

本站资源部分来自网友投稿,如有侵犯你的权益请联系管理员或给邮箱发送邮件PubwinSoft@foxmail.com 我们会第一时间进行审核删除。
站内资源为网友个人学习或测试研究使用,未经原版权作者许可,禁止用于任何商业途径!请在下载24小时内删除!


如果遇到评论下载的文章,评论后刷新页面点击对应的蓝字按钮即可跳转到下载页面
本站资源少部分采用7z压缩,为防止有人压缩软件不支持7z格式,7z解压,建议下载7-zip,zip、rar解压,建议下载WinRAR

给TA打赏
共{{data.count}}人
人已打赏
Code开源推荐开源源码

轻松制作AI数字替身:让人物口型完美匹配音频的AI魔法!

2023-5-25 9:27:08

ChatGPTCode开源推荐开源源码

提升大型语言模型(LLMs)的训练速度:推理提升30%,内存降低一倍,仅需一行代码!

2023-5-25 13:00:14

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
有新私信 私信列表
搜索