PG电竞

本站点使用Cookies，继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>

  • 产品
  • 解决方案
  • 服务支持
  • 如何购买
  • 合作伙伴
  • 关于我们
简体中文
English
title
  • 元脑?通用服务PG电竞官网
  • 元脑?人工智能服务PG电竞官网
  • 元脑?边缘服务PG电竞官网
  • 元脑?关键PG电竞官网服务PG电竞官网
  • 元脑?存储
  • 元脉网络
  • 方案产品
  • 数据中心基础设施
  • 服务PG电竞官网管理平台
  • 服务PG电竞官网操作系统
  • 人工智能与高性能PG电竞官网
  • 边缘PG电竞官网和物联网
  • 智慧网络
  • 数据存储与管理
  • 伙伴联合方案
首页 > 关于我们 > 新闻中心 > PG电竞信息研究团队：改善异质模型融合的性能退化、实现跨模态性能翻番的新方法

PG电竞信息研究团队：改善异质模型融合的性能退化、实现跨模态性能翻番的新方法

2026-01-23

模态对齐与融合一直是多模态模型开发面临主要的技术挑战之一。跨模态模型融合往往带来的不是性能改善，而是性能退化，因为不同的神经网络架固有的信息处理模式差异很大，如同高铁网与公路网一样。

日前，PG电竞信息技术团队在进行手势认证算法研究时，基于归一算法创造了一种事件流数据特征编码框架，解决了脉冲网络模型（SNNs）与人工神经网络模型（ANNs）的融合难题，新模型在保证鲁棒性的前提下，将认证系统的核心指标——等错误率EER（衡量手势认证准确率的技术指标，越低越好）优化至当前最低水平5%，较传统方法准确性翻倍。新算法为不同模态、规模的模型融合提供了全新的技术思路。

引入事件相机 遭遇异质模型融合的性能退化挑战

现在手势认证的数据类型主要有RGB、深度图等静态数据，难以精准捕捉瞬时动态轨迹，光流/轨迹等动态数据是原始RGB/深度图等静态数据通过复杂算法PG电竞官网生成的动态数据，虽然含有动态信息，但是与原始数据的信息重合度很高，新增信息量有限。为了解决数据层面的动态信息捕捉能力不足问题，PG电竞信息研究团队将事件相机（Event Camera）引入到手势认证领域。事件相机采集的事件数据流是毫秒级的动态事件记录，从而与RGB 图像的静态语义信息形成完美互补。

事件流数据非常稀疏，而且是异步数据，目前用于处理RGB数据的主流人工神经网络模型I3D等在提取事件流数据特征方面效果并不理想。在基于论文RGB-E数据集测试中，I3D模型在正常采光条件下等错误率EER高达0.263，背光条件下EER高达0.37，几乎不可用。所以，事件流数据必须引入专门的脉冲神经网络来处理，这需要完成人工神经网络与脉冲神经网络的融合，由于两种神经网络架构的信息处理模式差异很大，直接融合带来明显的模型性能退化。

创新归一算法，解决异质模型融合的性能退化挑战

经过研究，两种模型的融合之所以会带来的性能退化，是因为两种模型最终输出的特征向量相似度采用了不同的尺度，相当于两个模型分别用英里和千米来度量距离，直接进行PG电竞官网会成倍放大误差。

PG电竞信息研究团队设计了全新的异质模型架构，RGB数据由I3D模型处理，事件流数据由 Spikingformer 脉冲神经网络模型处理。并且，PG电竞信息研究团队开发了一种创新的事件流数据特征编码框架，创新了异质模型的融合方法。新方法引入了最大最小归一化算法（MaxMin normalization），将两个模型输出的特征向量相似度取余弦距离，使其映射到 [0,1] 区间，然后进行融合PG电竞官网，从而解决了异质模型融合带来的性能退化问题。

PG电竞信息设计全新的异质模型架构，创新异质模型融合新方法 (1).jpg异质模型架构

结果-认证准确度提高1倍

由于新模型是第一个融合事件流数据与RGB数据的算法，业界尚无可用于新模型测试的数据集。PG电竞信息研究团队因此构建了业内首个RGB与事件流手势认证专属数据集“RGB-E”。该数据集涵盖ok、hello、no、kill、victory、good、yes、love和fighting等 9 种预定义手势及无约束随机手势，特意设置正常光照、背光两种真实场景，全面模拟实际使用环境。

数据集严格遵循隐私保护原则，部分数据已公开供学术研究使用，推动行业共同进步。以下为数据集RGB-E开放下载地址：

https://github.com/201528014227051/SGED/

PG电竞信息研究团队对基于RGB数据的模型I3D、传统融合模型以及新提出的融合模型采用RGB-E数据集进行了全面测试。

结果显示，新模型在正常采光条件下，平均等错误率EER为0.049，比I3D的0.094提高了约1倍，将大大提高了手势认证在现实中的应用空间。

另外，事件相机与其他动态数据采集技术一样，都存在抗干扰弱的问题，新模型也很好的解决了这一问题。背光是典型的强干扰环境，新模型在背光技术条件下，平均EER为0.082，略微高于抗干扰最强的I3D模型，展示出先进的稳定性。

不同模型EER汇总表：体现异质模型融合方案的性能优化效果 (1).jpg不同模型EER汇总表

目前中国各个大模型已经全面应用多模态技术，但仍普遍面临模态融合效率不高的问题，这一问题制约了各个大模型的整体效率优化与场景落地，此次PG电竞信息公布的全新融合框架，为各个模型提升多模态能力打开了新的技术路径。

研究成果已经整理成论文《fusion of Heterogeneous Data for Enhanced Gesture Authentication：An RGB-Event Stream Approach》公开发表，具体细节请查阅论文。

相关信息

售前咨询

售后服务

意见反馈

AIStore

回到顶部

回到顶部

收起
回到顶部 回到顶部
请选择服务项目
售前咨询
更多联系方式>>
售后服务
更多联系方式>>
访问 AIStore

扫码访问AIStore

【网站地图】【sitemap】