首页 软件下载 应用场景 联系我们 帮助文档 用户中心
vTubeKit (XFaceKit)是一款具有领先水平的人工智能换脸解决方案集合,兼具了易用性和专业性。
在易用性方面:相比于DeepFaceLab等命令行操作更加简便,对于新手小白或者普通用户更友好,附带的多项辅助功能也更加人性化。 在功能性方面:模型训练增加了新的模型架构和训练方式, Live加入了脸型调整、人脸身份筛选等功能也更加贴近实际应用。
开发包含四部分:一. Lab( 素材处理 ) 二 .Trainer(模型训练) 三.Live(实时直播) 四. Blend(视频合成)

VtubeKit_Lab(素材处理)
1.采集源额外增加了视频截屏,这样可以直接在视频播放器中直接采集了。
2.人脸检测引擎可选,可以根据自己的要求和精度选择,建议使用默认即可.
3. 增加了人脸身份筛选功能可以过滤掉非目标人脸,减少人脸筛选工作量
4.设置了人脸尺寸过滤,在提取阶段就去掉过小的人脸避免素材模糊
5.人脸提取阶段就计算了特征点和遮罩并保存到图片信息中,后续不再需要再次计算人脸遮罩
6.可以单帧采集(适合网页中人工采集),也可以自动连续采集(适合视频或者直播画面采集),可以设置自动采集间隔时间
7.提取和保存有快捷键功能,可以实现快速的人工采集,避免重复鼠标点击
VtubeKit_Train
模型训练器(Trainer)
1. 图形化的训练界面,创建新模型或者加载已有模型训练,直接选路径就可以了 2.读取模型参数并显示 3. 开始训练模型前不用再一遍又一遍的输入参数了,点选参数后直接运行训练就可以了 4. 增加了学习率、损失函数中结构相似性、像素值差异,以及嘴眼优先等超参数的调节 5.素材加载增加了是否加载子目录的选择 6. 训练画面预览(全部采用5列预览图的布局,包括256以上的模型,训练大模型的时候也可以预览多列了) 7。新增了效果测试。以往训练的时候只能看到训练集图片的预测结果。trainer 可以在训练的过程中直接测试真实环境中的图片换脸效果。 素材可以是图片,也可以实时截屏。而且效果是merge之后的效果,分3列显示 8.定期对loss比较高的素材多增加次数,可以导出Loss列表 9. 训练单次迭代时间缩短,增加训练效率

VtubeKit_Live
1.在图象输入方面:增加了实时屏幕和窗口界面采集,这样可以在看电影的时候或者浏览网页的时候直接实时预览处理后的画面了。而不需要像以前一样需要先录制视频,然后再播放视频文件才能预览结果,提高了方便性。
2.在人脸检测步骤中,通过原位检测以及对原画面缩小后检测、再重新计算特征点的方式,大大的改善了人脸检测步骤的耗时,提高了人脸检测的帧率,整个过程的帧率也得到较大的提升.
3. 增加了人脸身份筛选功能:这样画面中如果同时有多个人的时候,可以保证换脸对象不会来回切换跳转,保证修改的人脸为同一人.
4.增加了人脸轮廓调整功能:当目标对象和源对象的脸型有较大差异的时候,以前的原始程序无法改变人脸轮廓,会导致看起来不像。我们通过在换脸前引入多点瘦脸等常规美颜功能,保持替换目标和源目标之间的相似性。
5.人脸分割增加了用实时分割模型来计算,对于遮挡物轮廓分割有更加精确的准确性。
6.画面输出方式原画面、融合画面可以选择横排和竖排。 另外当画面中没有检测到人脸的时候输出选择也有原画面和冻结画面的选择、供用户在实际场景中自由选择。
7.增加了视频录制、图像保存等便捷功能。尤其是视频录制中增加了声音录制的功能。 8.采用了vtfm的模型格式,模型中可以写入权限验证信息,使用时需要输入激活验证码,以保护模型作者的劳动成果

沪ICP备14036317号
地址:上海市宝山区沪太路2999号国际研发总部基地