基于多模态生理信号的耳机舒适度研究

01. 项目背景与挑战

随着2024年开放式耳机出货量激增212.0%，用户对“佩戴舒适度”的需求日益升级。然而，舒适度是一个极具个体差异的主观感受，难以在设计阶段被量化。

核心目标： 突破传统主观问卷的局限，利用脑电(EEG)、肌电(EMG)、心电(ECG)及眼动数据，构建一套客观的舒适度预测算法，建立“生理信号-主观感受”的映射模型。

02. 研究方法与技术栈

🧠 脑电 (EEG) 使用 ANT Neuro 32通道系统，监测认知负荷与应激反应（α/β/γ波功率谱密度）。

💪 肌电/心电 (EMG/ECG) Biopac MP160 采集耳前/耳后肌电及心率变异性(HRV)，量化精神压力与局部肌肉紧张。

👁️ 眼动追踪 Tobii Pro Spectrum 记录瞳孔直径变化，作为认知负荷的生理“标尺”。

😐 面部表情 FaceReader 9.1 分析微表情，辅助判断情绪效价。

实验设计

招募10名被试，采用2x2被试内设计（不同佩戴时长 x 耳机款式）。实验包含“静息态”与“听觉探测任务态”，模拟真实办公与使用场景。

图1：包含静息态与任务态的标准化实验流程

03. 工程实现：数据流与AI建模

作为核心技术负责人，我负责了从异构数据清洗到深度学习模型构建的全流程。

A. 多模态数据对齐 (Data Pipeline)

编写 Python 脚本处理异构数据流，以 EXP_Start 时间戳为基准，将 FaceReader(视频)、Tobii(TSV)、Biopac(ACQ) 和 ANT Neuro(CNT) 数据进行毫秒级对齐与切片。

B. 深度学习模型架构 (Model Architecture)

构建了一个多分支深度学习网络，融合四种异构数据源进行舒适度二分类预测：

# 伪代码展示模型核心结构 (基于 PyTorch)
class MultimodalComfortNet(nn.Module):
    def __init__(self):
        super().__init__()
        
        # 分支1: EEG处理 (时空特征) - 结合 Inception 与 ResNet 
        self.eeg_branch = nn.Sequential(
            Conv2d(in_channels=32, ...),
            ResNetBlock(planes=64),  # 深度捕捉脑电动态
            InceptionModule(...)
        )
        
        # 分支2-4: 生理/眼动/情绪处理 (时序特征)
        self.physio_branch = nn.Sequential(
            Conv1d(kernel_size=3, ...), # 一维卷积提取时序变化
            BatchNorm1d(...)
        )

    def forward(self, eeg, physio, emotion):
        x1 = self.eeg_branch(eeg)
        x2 = self.physio_branch(physio)
        x3 = self.cnn_1d(emotion)
        
        # 特征融合层
        combined = torch.cat((x1, x2, x3), dim=1)
        output = self.classifier(combined) # Sigmoid 输出预测概率
        return output

04. 关键结果与发现

A. 模型性能

被试内预测模型在“整体舒适度”和“疼痛感”预测上取得了极高的准确率。例如在耳挂式耳机的测试中，模型AUC达到 0.9995，证明了个体生理反应与主观舒适度存在强映射关系。

表1：深度学习模型在各类舒适度指标上的预测表现（AUC > 0.99）

B. 人因工程洞察

适应性差异： 耳挂式耳机在耳后部位(C点)表现出“先不适，后适应”的趋势（疼痛感先升后降）；而耳夹式耳机的压迫感则随时间呈累积趋势。
结构影响： 耳挂式耳机的稳固性较好，但长时间佩戴适配性下降较快；耳夹式则在整体舒适度上保持相对稳定。

总结

本项目成功验证了利用多模态生理信号进行舒适度量化的可行性。通过构建高精度的个性化预测模型（ResNet+CNN），我们为工业设计提供了一种客观的评估工具，能够辅助研发人员在早期设计阶段识别潜在的佩戴不适问题。