基于音频辨别的对比学习在连续语音中的可定制关键词检测
报告题目：Contrastive Learning With Audio Discrimination For Customizable Keyword Spotting In Continuous Speech
完整版：https://umtue.xetlk.com/s/1MJAmK
报告摘要：
连续语音中的可定制关键词检测因其在现实世界中的应用潜力而受到越来越多的关注。虽然对比学习已被广泛用于提取关键词表征，但以往的对比学习方法都是对预先分割的孤立词进行操作，并且只采用音频-文本表征匹配策略。然而，对于连续语音中的关检测监测，共同发音和流式单词分割很容易产生不同文本的相似音频模式，从而引发误报。为了解决这个问题，我们提出了一种新颖的带音频辨别的对比学习策略，用于学习具有音频-文本匹配和音频-音频辨别能力的关键词表示。在此，我们在训练过程中的每个滑动窗口都采用了 InfoNCE 损失，该损失同时考虑了音频-音频和音频-文本的数据对。我们在开源 LibriPhrase 数据集上进行的评估表明，与之前的方法相比，使用滑动窗口级别的 InfoNCE 损失可获得相当的性能。此外，在连续语音数据集 LibriSpeech 上进行的实验表明，通过结合音频的区分性，提出的CLAD 比没有音频判别的 CL 性能有显著提高。同时，与两阶段语音唤醒方法相比，采用 CLAD 的端到端唤醒系统不仅性能更好，而且推理速度也显著提高。
语音之家
发消息
助力AI语音开发者的社区，前沿AI资讯聚合，全平台同名。
回归搜索的本质！没有广告，直达结果！
ICASSP2024论文预讲会
（27/40）
自动连播
9002播放
简介
订阅合集
通过扬声器提示调优和适配器表示的双参数高效微调【香港理工大学】
02:40
非对称干净片段引导的自监督学习用于声纹识别
01:42
【ICASSP2024】基于记忆感知和Seq2Seq架构的说话人日志系统
02:48
利用基于熵的融合以及基于剪枝的网络架构优化改进多模态情感识别
02:33
自适应过滤器的元学习初始化背后是什么？-是一种加速自适应多通道主动噪声控制收敛的简单方法
02:09
基于无监督学习的端到端无分层生成固定滤波器主动噪声控制
03:06
基于多通道时空特征和知识蒸馏的鲁棒目标说话人提取研究
02:09
一种端到端脑电图通道选择的脑辅助语音增强方法
03:21
具有频率和时间激励网络的双通道异常声音检测框架
01:42
说话人日志与语音识别的多层联合推理
02:59
利用基于帧级跨模态注意力的音视频Confomer的鲁棒音视频唤醒词识别
02:33
SlideSpeech：大规模幻灯片丰富的语音-视频语料库
02:23
VoxBlink:短视频上的大规模说话人验证数据集
03:32
基于多目标渐进聚类的半监督说话人识别域自适应
01:28
利用唤醒词参考语音的高效个人语音活动检测
01:21
基于平行语料的可逆变声
02:40
TF-SepNet：一种用于低复杂度声学场景分类的卷积神经网络中的高效一维核设计
01:50
通过特征解纠缠技术进行跨城市和设备的声学场景分类
02:14
自动音频字幕的图形注意事项
02:15
利用元数据辅助音频生成估计未知异常的无监督异常声音检测
01:27
域移下异常声音检测的分层元数据信息约束自监督学习
01:50
ReFlow-TTS：一个用于高保真的文本到语音的校正流模型
02:22
MISP 2023挑战中视听目标扬声器提取的XMUSPEECH系统
01:57
面向通用语音离散标记：ASR和TTS的一个案例研究
01:36
VoiceFlow:高效的文本到语音的纠正流量匹配
02:23
一个使用单事件声音的详细的音频-文本数据模拟管道
02:49
基于音频辨别的对比学习在连续语音中的可定制关键词检测
01:46
TDT-KWS：基于标记和持续时间转换器的快速精准关键词检测系统
01:48
一次性敏感度感知混合稀疏性剪枝技术在大规模语言模型中的应用
02:33
基于多级域适配器的鲁棒跨域说话人验证技术
02:09
PromptVC：基于自然语言提示的潜在空间灵活风格语音转换
01:30
DualVC 2：用于统一流式与非流式语音转换的动态掩码卷积
01:35
SponTTS：自发风格建模与迁移的文本到语音合成
03:01
MISP 2023挑战赛中基于音频质量的多策略目标说话人提取
01:36
MLCA-AVSR：基于多层交叉注意力融合的视听语音识别
02:22
RaD-Net：一种用于语音信号改善的修复与降噪网络
02:06
BS-PLCNet：基于多任务学习和多判别器的频带分解丢包隐藏网络
02:45
跨多种阵列拓扑结构的多通道语音识别自动通道选择与空间特征集成
01:27
SELM：基于离散标记和语言模型的语音增强方法
02:11
【ICASSP2024 】 SponTTS: 面向自发风格的语音合成与风格迁移 西北工业大学
01:29
顶部