06共 23 讲11 分钟含交互实验

从整段录音到一串可比较的数,中间要走哪几步?

上一课把「该算什么」分成了五个维度,其中信号域那一维分了三档:时域、频域、时频。这一课讲前两档各自的完整流水线——从 ADC 出来的一串数字开始,到最后交给程序的那几个数为止,中间每一步是什么、为什么少不了。两条流水线的前半段是一样的(都要先切段),分岔发生在频域那条上:它多了「加窗」这一步。 而加窗又会带出一个新问题,逼出「帧必须重叠」这个结论。

第 6 课属于第 2 组「把录音变成可计算片段」,本组共 5 课

时域这条流水线

先看最简单的那条。第 04 课讲过,麦克风送出的连续电压要先经过一个部件才变成一串数字,那个部件叫 ADC。这一课就从这串数字开始。

从它出发到最后得到特征,中间四步:这串数字 → 切成小段 → 每段算一个数 → 把这些数汇总。四步各有名字:

ADC分帧逐帧计算聚合

  • ADC:第 04 课讲完了,输出是一串数字。
  • 分帧:把这一长串切成许多小段。每一小段叫一,切这个动作就叫分帧
  • 逐帧计算:对每一小段算出一个数(或一组数)。
  • 聚合:把逐帧的结果汇总成最终交出去的东西——可以取均值、中位数,也可以用更复杂的统计模型。

最后交出去的东西有三种可能的形状:一个数一个向量、或者一个矩阵。这取决于聚合那一步做到什么程度,也取决于逐帧算的是一个数还是一组数。

时域流水线与频域流水线,后者多出加窗和傅里叶变换两步

图 1:上面是时域这条,下面是频域那条。两条的前两步完全一样,分岔在第三步——频域那条多了加窗和傅里叶变换。

互动持续版

静态图文到这里,接下来让声音和图形动起来

购买后解锁完整课程,以及只有官网互动版才能提供的声音、动画和可操作实验。

  • 完整声音对比、分步动画与 8 个交互实验
  • 微信账号登录,手机和电脑同步访问
  • 申请加入课程会员群,交流、反馈和接收更新
  • 持续获得这门课程的勘误与内容升级
支付通道配置中比较免费版与互动版