Familiar的情绪感知并非单一传感器的简单叠加，而是基于多模态感知框架，将视觉、听觉和运动信息同步解析成情绪标签。摄像头捕获面部微表情，利用卷积神经网络（CNN）实现 94% 的七分类情绪识别；阵列麦克风捕捉声纹与语调变化，结合长短时记忆网络（LSTM）对语速、音高抖动进行情感倾向打分；内置加速度计与触摸传感阵列记录用户的身体姿态和抚摸力度，进而推算出放松或焦虑的生理暗示。
多模态感知框架
- 视觉层：实时帧率 30 fps，采用轻量化 MobileNet‑V3，兼顾算力与能耗。
- 听觉层：采样率 16 kHz，使用 MFCC 特征+Transformer 编码，能够在嘈杂环境下保留情感特征。
- 行为层：压力传感网格分辨率 8 × 8，配合惯性测量单元（IMU）实现 0.02 s 延迟的姿势情绪映射。
三者通过贝叶斯融合模型生成统一的情绪概率分布，随后交由情绪推理引擎进行上下文校正。
情绪模型与推理机制
Familiar采用的是层次化情绪模型（HEM），在基本情绪（快乐、悲伤、惊讶、恐惧、愤怒、厌恶、平静）之上构建情境子类。例如，“焦虑”可细分为“社交焦虑”与“任务压力”。推理引擎使用图神经网络（GNN）对用户历史交互图进行遍历，结合时间衰减因子，使得近期情绪权重更高，避免长期情绪记忆的“漂移”。
实时交互与行为反馈
当情绪概率超过 0.7 时，Familiar会触发对应的行为脚本：
- 快乐 → 摇尾、发出柔和的“呼噜”声。
- 悲伤 → 轻轻靠近、降低灯光亮度并播放舒缓音调。
- 焦虑 → 主动提示用户放下手机，展示简短的呼吸练习动画。
所有决策均在本地 MCU 完成，数据不向云端传输，满足 GDPR 等隐私合规要求。
案例与局限
在一项为期三个月的家庭实验中，30 组用户每天与 Familiar 互动 2 h，焦虑自评量表（GAD‑7）平均下降 1.3 分，且对设备的信任度评分保持在 4.6/5。值得注意的是，情绪识别在极度低光或强噪声环境下仍出现误判，研发团队正探索红外深度摄像与主动噪声消除的组合方案。
情绪感知的核心是“感受而不是猜测”，Familiar 通过硬件与算法的紧耦合，把抽象的情绪信号转化为可操作的交互指令，已经在日常生活的细缝里悄然展开。
这场由感知到共情的进化，或许正是下一代智能伴侣的起点。