项目背景
项目背景与问题
物理实验中的运动轨迹与声音数据常由不同设备分别记录，时间难以对齐，空间关系也不直观。本项目使用浏览器单调时钟融合视觉与音频记录，并在第二台摄像头不可用时自动降级到单摄二维模式。
核心功能
- 双摄像头枚举、选择与实时预览，第二路不可用时自动降级
- 框选目标区域并自动估算 HSV 阈值，结合形态学去噪与连通域追踪
- 提取 RMS、dBFS、主频、频谱质心与过零率等音频特征
- 以 performance.now() 单调时钟进行视觉—音频最邻近时间匹配
- 二维轨迹、声场散点与可旋转缩放的三维轨迹同步展示
- 导出视觉、音频与融合 CSV、完整 JSON 会话及 PNG 轨迹截图
教学与实验价值
- 把运动学轨迹与声学测量放入同一可追溯实验链路
- 帮助学生理解多传感器数据的时间同步与融合
- 支持比较单摄二维记录与双摄三维重构的能力边界
- 为 dBFS、主频、频谱特征和空间标定讨论提供真实数据
典型使用场景
- 运动物体与发声过程同步研究
- 空间声场与轨迹关系探究
- 双摄视觉测量与三维重构教学
- 多模态实验数据采集与导出
技术特点
- Vite、TypeScript 与纯浏览器静态部署
- MediaDevices 与 Web Audio API
- Web Worker 图像处理与指数平滑
- 统一单调时钟与容差匹配
- 交互式 Canvas 二维/三维可视化
后续规划
- 01补充双摄几何标定与真实长度单位换算
- 02在固定增益和标准声源条件下建立 dB SPL 校准流程
- 03继续验证不同浏览器和多摄像头设备的兼容性