武汉新启迪生物科技有限公司

新启迪-您的生物科研好伙伴！2008-2024

Wuhan Xinqidi Biotech Co.Ltd

本企业通过iso9001质量体系认证

脑机接口用小波平均系数捕捉尖峰序列时间模式

二维码

发表时间：2021-09-26 14:48作者：武汉新启迪Xinqidibio

摘要

运动脑机接口直接连接大脑和人工执行器，具有减轻神经损伤或疾病引起的严重身体瘫痪的潜力。大多数BMI系统涉及一个解码器，它分析神经尖峰计数来推断运动意图。然而，许多经典的BMI解码器(1)未能利用尖峰序列的时间模式，可能在很长的时间范围内；(2)不足以在高时间分辨率下获得良好的BMI性能，因为基于尖峰计数的解码器的基本高斯假设被违反。在这里，我们提出了一种新的统计特征-小波平均系数(WAC)作为译码器输入，而不是尖峰计数，它用更丰富的描述来表示尖峰事件的时态模式或时态代码。利用滑动窗的WAC特征构造了一个小波解码器框架，并将其与经典解码器(Wiener和Kalman系列)和新的基于深度学习的解码器(长时间记忆)进行了比较。我们发现，滑动窗口方法提高了解码时间分辨率，使用WAC特征比使用尖峰计数特征显著提高了解码性能。

导言

运动脑机器接口利用信号处理和机器学习技术将记录下来的神经元活动解码成运动指令。这些技术包括Wiener滤波器。1,2，卡尔曼滤波器3,4,5，粒子滤波器6,7,8,9，点过程滤波器(PPF)10,11,12,13,14,15，以及从深度学习中获得的长期短期记忆(Lstm)。16,17.

连续解码神经元群的尖峰活动的BMI通常采用一种解码方案，其中神经元放电率在不重叠的时间箱内表示多个尖峰；产生解码信号的时间步长等于桶宽。经典的BMI(例如Wiener和Kalman滤波器)假设每个垃圾箱内的尖峰数是高斯的，并且每50-100 ms更新一次。这个垃圾箱宽度通常提供良好的时间分辨率和足够数量的神经元数据，以准确解码，但高斯假设有时可能会被违反。在较宽的回收箱中，神经数据可以更好地用高斯分布来逼近，但增大垃圾箱大小会影响时间分辨率。最近的几份出版物9,10,11,12,13,14,15有人认为，即使是50到100毫秒的时间分辨率也不足以满足高BMI的要求，而5毫秒的分辨率更好。然而，在如此高的时间分辨率下解码会严重降低解码性能，因为5ms桶中的尖峰计数严重违反了经典滤波器的近似高斯假设。这可以通过点过程模型(例如，每个桶都算作泊松过程)或我们的滑动窗口方法(比点过程模型更容易实现)来解决。为了解决这一问题，我们为Kalman和Wiener滤波器开发了一种滑动窗口方法，其中宽窗口(例如，由10个桶组成，每个5ms宽)以小时间增量(例如5ms)滑动，以实现高时间分辨率和近高斯数据分布。

了解神经元的动态18，这是重要的特点，他们的射击模式。在速率编码方案中，信息被编码为每次观测的尖峰数(尖峰数，平均射击率)。19等等)。然而，任何可能编码在尖峰序列的时间结构中的信息都被忽略了。例如，神经尖峰序列(1表示一个尖峰，0表示没有尖峰)000111可能意味着与100101不同，尽管这两个序列的平均发射率是相同的。更重要的是，精确的尖峰定时或高频的射击速率波动被发现携带信息。20,21。大脑的功能在时间上比只使用速率编码似乎允许的更精确。22。时态码20,22,23,24,25,26,27使用那些不能用发射率来描述的尖峰活动的特征(例如，第一次尖峰的时间、射击的阶段等)。独自一人。

在BMI的设计中，经典的译码器通常使用尖峰计数(速率编码方案)作为输入特征。然而，穗数未能充分利用历史数据的分布和相关性。尖峰数忽略了当前垃圾箱中穗的分布，忽略了过去回收箱上分布的联系，它无法在没有尖峰的安静时期得到包含的信息。因此，迫切需要开发比尖峰计数更好的时间编码特性。我们认为，重要的信息不仅是由特定时刻的尖峰编码的，而且也是由没有任何尖峰的安静周期编码的。

为了解决这一问题，我们提出了一种新的特征(小波平均系数，WAC)，它可以描述各种时间序列的尖峰事件，而不是仅允许双值的尖峰计数。提取的WAC使解码器能够合并来自长期历史(例如，500 ms)的信息。这样一个漫长的历史是可以实现的，因为WAC捕捉了随时间变化的尖峰事件的动态模式，这使我们能够更好地探索尖峰事件中包含的信息。事实上，在整个窗口的较长时间内，WAC利用了一个事件(该窗口中的尖峰事件)和零个事件(在该窗口中没有尖峰事件)中的信息。我们在猴子身上测试多电极阵列记录的框架，以完成触觉和运动任务。通过调整小波框架的滑动窗口大小，发现滑动窗口大小与运动频率相关。结果表明，小波框架的译码性能提高了Wiener和Kalman滤波器&LSTM译码器在高时间分辨率下的性能。在到达和移动任务中，结果解码器的性能也优于使用尖峰计数作为猴子数据输入特性的解码器。

实验范式

4只猴子长期植入初级运动皮层(M1)电极阵列。我们用植入的电极阵列记录了初级运动皮层的神经活动，而猴子则执行“中心”和“运动”任务(如图所示)。1)。中心外，我们记录了两只猴子的神经活动，3次活动，1次活动，1次活动，2次活动，153次神经元活动。在运动方面，我们记录了另外两只猴子的神经活动(猴子3的490个神经元和猴子4的388个神经元)，当他们以12.5厘米/秒的速度向前走10分钟时，以12.5厘米/秒的速度向后走12.5分钟。

方法

小波框架

我们的小波框架由四个独立的模块组成(图)。2A)核函数模块、离散小波变换模块、预处理模块和解码模块。(1)为了提取尖峰事件的动态模式，核函数模块将不同分布的神经尖峰序列转换成不同的离散神经信号波形。(2)离散小波变换模28将不同形状的离散神经信号波形编码成不同的趋势特征Q。(3)预处理模块选择正确的趋势特征，通过平均每个趋势特征生成WAC，进一步缩小趋势特征的个数。这使得我们可以使用一些参数来描述大视界下的动力学模式(例如，500 ms的神经尖峰序列)。因此，它可以防止过度安装。(4)基于滑动窗的解码器模块对WAC的运动学进行解码。WAC和滑动窗口使得译码器具有较高的时间分辨率和较高的译码精度。

核函数模块

为了提取尖峰事件的动态模式，核函数模块(图1)。2B)乘坐尖峰列车(x[n)作为输入，并将不同的尖峰事件分布转换为不同的离散神经信号波形(k[n])。核函数是

\begin{aligned} k [n] = k [n - 1] + 2 * (x [n] - 0.5), s . t . k [0] = 0, \forall n \in [1, T] \end{aligned}

(1)

哪里T是时间范围。这个核函数输出一个离散的神经信号波形，它会随着尖峰事件的分布而波动(详见讨论)。

离散小波变换

小波变换28是一个很好的工具来捕捉信号的时间模式。傅里叶变换利用不同的周期指数函数将信号分解成不同的频率分量。类似地，小波变换使用不同尺度的不同细节函数将信号分解为不同的小波系数和尺度函数系数(见附图)。沙一)。尺度函数系数对信号的大尺度(趋势)信息进行编码。小波系数从信号的小尺度(细节)编码信息。与傅里叶变换相比，离散小波变换在时间和频率上都在不同的尺度上定位“尖峰趋势”。这里，离散小波变换模块。2C)将不同形状的离散神经信号波形编码成不同的趋势特征。Q(尺度函数系数和小波系数的级联)。趋势特征Q允许我们使用一些参数来表示离散的神经信号波形。我们使用DB3小波。29作为分解神经信号波形的基础(对应于图中的高通滤波器和低通滤波器)。2c)。这一步骤基本上允许我们描述一个复杂的波形，如图3A中的几个数字。

WAC生成的预处理模块

预处理模块(图1.2D)选择合适的趋势特征，进一步减少趋势特征的维数。Q通过平均每个人来生产WAC。例如，如果我们用离散小波变换5次分解神经信号波形，我们就有一个标度函数系数( $c_{5}$ ，维数 $c_{5}$ [7]和五个小波系数( $d_{i}, i \in [1, 5]$ ，每个维度 $d_{i}$ *[100、50、25、13、7]。我们用一个数字来表示每一个系数，通过它们的维数对每个系数进行平均。然后我们有一个平均标度函数系数。 $c_{5 A}$ 和五个平均小波系数 $d_{l A}, l \in [1, 5]$ 。可以选择 $c_{5 A}$ 因为它代表了神经信号波形的大尺度(趋势)。此外，正如我们在结果中所显示的，将平均尺度函数系数(大尺度)和平均小波系数(小尺度)结合起来，可以进一步提高解码器的性能(例如，选择)。 $c_{5 A}$ , $d_{5 A}$ 和 $d_{4 A}$ 作为WAC)。因此，附加的小尺度信息有助于解码。

趋势特征Q与峰值计数的比较

穗数不能捕捉到尖峰事件的时间模式(图1)。3(A)只使用一个数字来概括射击率。相比之下，神经信号波形被编码成趋势特征Q在每个滑动窗口(图)。3b)。趋势特征Q以更丰富的描述捕捉尖峰事件的时间模式。通过各种实验(见结果部分)，我们发现BMI解码器能够更好地从趋势特征中解码运动学，而不是以趋势特征来编码尖峰事件的时间模式。

Wiener滤波和Kalman滤波的滑动窗口

在这里，我们提出了一个滑动窗口结构(图)。4)。我们将滑动窗结构与经典的Wiener和Kalman滤波器相结合，比较了(1)以WAC特征作为输入(我们的小波框架)和(2)以尖峰计数为输入(滑动窗口改进的经典方法，补充)的性能。值得注意的是，WAC允许我们使用长窗口大小(例如，500 ms)，而短窗口大小的尖峰计数(例如，50 ms)。因此，WAC为解码器提供了更长的历史信息。

滑动窗增强Wiener滤波器的小波框架我们使用5毫秒箱大小，1s窗口大小，4个水龙头(滑动窗口的数目)，50毫秒滞后大小和5毫秒幻灯片大小。本文以离散小波变换为例，对神经信号波形进行了五次分解。平均趋势特征Q，我们有一个平均标度函数系数。 $c^{5 A}$ 和五个平均小波系数 $d^{l A}, l \in [1, 5]$ 。我们选择 $c^{i j 5 A}$ 和 $d^{i j l A}, l \in [1, 3]$ 作为WAC，为神经元计算i，以及滑动窗口j，平均小波系数l。更新规则是：

\begin{aligned} y [n] = \sum_{i = 1}^{N} \sum_{j = 1}^{4} \sum_{l = 3}^{5} w^{i j l} * d^{i j l A} [n] + w_{c}^{i j} * c^{i j 5 A} \end{aligned}

(2)

哪里y[n]是时间上的协变量吗？n，N是神经元数，4是抽头大小，l是三个平均小波系数的迭代器， $w^{i j k}$ 是神经元i、滑动窗口j和l平均小波系数的权重。 $d^{i j l A}$ , $w_{c}^{i j}$ 是神经元i、滑动窗口j和平均标度函数系数的权重。 $c^{i j 5 A}$ .

滑动窗增强卡尔曼滤波器的小波框架我们使用5毫秒箱大小，1s窗口大小，1个点击(滑动窗口的数目)，0毫秒滞后大小(因为我们只有一个点击)和5ms幻灯片大小。本文以离散小波变换为例，对神经信号波形进行了三次分解。平均趋势特征Q，我们有一个平均标度函数系数。 $c^{3 A}$ 和五个平均小波系数 $d^{l A}, l \in [1, 3]$ 。我们选择 $c^{3 A}$ 作为WAC。Kalman滤波器的状态空间模型是：

\begin{aligned} c^{3 A} [n + 1] = A c^{3 A} [n] + w [n] \end{aligned}

(3)

\begin{aligned} y [n] = C c^{3 A} [n] + v [n] \end{aligned}

(4)

哪里n是时间实例，y[n]是协变量，w[n]和v[n]是均值为零的高斯噪声，A和C是训练部分需要估计的时间常数参数。卡尔曼滤波器的递推方程载于补充文件，从Eqn.1到Eqn.5：

经典Wiener滤波器和Kalman滤波器(参见补充，从Eqn.6到Eqn.12)和滑动窗口增强对于Wiener滤波器，我们使用5毫秒的垃圾桶大小，50毫秒的窗口大小，4个水龙头，5毫秒的滞后大小和5毫秒的滑动大小。更新规则是：

\begin{aligned} y [n] = \sum_{i = 1}^{N} \sum_{j = 1}^{M} w_{i j} * x_{i j} [n] \end{aligned}

(5)

哪里y[n]是时间上的协变量吗？n, N是神经元的数量，M是水龙头的数量， $w_{i j}$ 是神经元的重量i滑动窗j，和 $x_{i j} [n]$ 是从滑动窗口计算的尖峰计数吗？j神经元i时时n.

以WAC为输入的LSTM译码器

测试WHEATHER WAC可以提高最先进的lstm解码器的解码性能。16,17(参见补充，从Eqn.13到Eqn.15)，我们比较了使用WAC作为输入的LSTM解码器和以尖峰计数作为输入的LSTM解码器的性能。

结果

滑动窗提高了经典维纳滤波和卡尔曼滤波的高时间分辨率译码性能

卡尔曼(Wiener)滤波器滑动窗在5ms高时间分辨率下的译码性能优于经典卡尔曼滤波器(Wiener)。5)。究其原因，是由于穗数在5 ms的范围内严重违反了Kalman和Wiener滤波的高斯假设。但是，具有50或100 ms窗口大小的滑动窗口结构使经典解码器能够在保持高时间分辨率的同时保持近似的高斯分布。因此，它获得了更好的解码精度。

小波框架进一步提高了卡尔曼滤波器和维纳滤波器的性能。

具有滑动窗增强的Kalman(Wiener)滤波器的小波框架在5ms高时间分辨率下的译码性能优于单用滑动窗增强的Kalman(Wiener)滤波器的译码性能。5)。原因是WAC允许解码器使用长窗口大小(例如，500 ms)，而短窗口大小(例如，50 ms)具有尖峰计数。因此，WAC向解码器提供更长的历史信息。此外，对于我们的解码器来说，不包含尖峰的尖峰事件和包含一个尖峰的尖峰事件一样重要。穗事件的分布被编码在WAC内部。综上所述，我们的趋势特征是WAC，它捕获了神经尖峰的动态模式，并通过离散小波变换进行编码，可以为我们提供比传统的穗数更好的特征。因此，使用WAC的解码器可以比使用尖峰计数的解码器获得更好的解码性能。

滑动窗口大小与运动频率相关

在滑动窗口大小的影响下，对各协变量的译码性能进行了测试。在中心任务中，解码位置的最佳滑动窗口大小约为500毫秒(如图所示)。6a)。解码速度的最佳滑动窗口大小约为350毫秒(如图所示)。6b)。因此，我们得出结论：猴子大脑编码位置(缓慢变化，位置单调增加)的时间分辨率较粗(即窗口较长)，编码速度(快速变化，操纵杆速度从0增加到某种最高速度，然后下降到0)具有较高的时间分辨率。在三维环境中更复杂的运动任务(附图)。S2)，猴子的大脑展示了脚踝x的时间上更粗的编码方式(如图所示)。6C，约500 ms窗口大小，时间周期3.2秒，振幅0.25)，它具有较大的振幅和缓慢的变化率。同时，猴子的大脑表现出对脚踝的临时更精细的编码(如图所示)。6D，约350 ms窗口大小，时间周期1.9秒，振幅0.05)，通常快速振荡。此外，猴子的大脑不太可能将运动信息编码成一个大的时间尺度(例如，1 SEC，表演的大幅度下降)。

采用WAC作为输入，提高了LSTM解码器的高时间分辨率译码性能。

为了说明我们的WAC比不同解码平台(从简单回归模型(如Wiener或Kalman滤波器)到高级深网络(LSTM))中的峰值计数有更丰富的特性，我们证明了使用WAC的LSTM解码器的解码性能优于使用尖峰计数的5ms高时间分辨率的LSTM解码器(图1)。7).

讨论

主要贡献有三点：(1)我们提出了一种新的统计特征--WAC，它能捕捉尖峰事件的分布。(2)提出了一种基于滑动窗的小波分析框架。它使经典解码器在高时间分辨率下工作良好。此外，我们还证明了使用WAC的BMI解码器比使用经典尖峰计数作为输入的解码器具有更好的解码性能。(3)滑动窗口大小与运动频率相关。

为什么神经尖突的时间模式或密码如此重要？精确的尖峰定时在神经编码中很重要，因为一些研究发现，神经编码的时间分辨率是毫秒级的。22,25,30。在视觉刺激编码中，Gollisch等人声称视网膜神经元在刺激开始到第一动作电位(第一次高峰时间)之间的相对时间内编码图像的空间结构。22。在味觉刺激的编码中，卡尔顿等人声称味觉神经元同时部署速率和时间编码方案来区分不同的味道类型。在我们的小波框架方法中，WAC捕获神经尖点的时间模式或编码。它不仅捕捉特定时间的尖峰事件，而且还捕获没有任何尖峰的相当时期编码的信息。因此，WAC包含了比经典速率相关的统计特征更多的信息(例如，穗数)。因此，WAC特征比使用经典统计特征的BMI更能提高BMI的性能。

WAC允许解码器合并来自非常长的数据历史的信息。经典解码器的状态空间先验模型，如卡尔曼滤波器和点过程滤波器，只允许这些解码器回溯前一个或几个垃圾箱大小内的尖峰计数。使用尖峰计数作为输入特性并不能为模型提供足够的信息来查看尖峰的总体分布情况。例如，Shanechi等人14提出了一个线性动力学模型，在该模型中，时间上的运动状态t只包括时间上来自运动状态、大脑控制状态和高斯噪声状态的信息。 $t - 1$ 。因此，过于简化的先验模型不能给出所有历史数据可以累积的足够信息。相比之下，WAC从一个非常长的数据历史中对信息进行编码，并以简洁的方式表示它。当WAC与滑动窗方法相结合时，为经典解码器提供了丰富的历史信息。

小波变换在神经科学中并不是什么新鲜事。例如，它已被用于尖峰排序。31，尖峰检测32,33，获取与方向相关的信息。34与速度有关35长时间稳定跟踪神经信息的特点36神经信号去噪37,38。尤其是李等人38利用小波变换直接在尖峰列车上计算出的小波系数，构造了一个对大背景噪声具有鲁棒性的BMI译码器，因为它具有定位尖峰列中高频信息的能力。相反，我们的方法使用核函数将尖峰序列的时间模式转换为随时间模式波动的离散信号波形。该方法利用神经信号的低频分量(离散信号波形小波变换求出的尺度函数系数)来提高译码性能，因为它们代表了尖峰串的时间模式。