基于卷积递归神经网络的小鼠抓取行为自动检测

抓挠是实验动物最重要的行为之一，因为它能反映瘙痒和/或心理压力。在此，我们提出了一种新的基于深度神经网络的划痕检测方法。抓挠是通过在老鼠的背部注射一种化学试剂溶血磷脂酸而引起的，并且用标准的便携式照相机记录了行为。每个视频中显示两个连续帧之间差异的图像被生成，每个帧被手动标记为是否显示划痕行为。其次，构造了一个由序贯卷积、递归和全连通块组成的卷积递归神经网络(CRNN)。CRNN使用手动标记的图像进行训练，然后使用第一眼数据集对其准确性进行评估。敏感性为81.6%，阳性预测率为87.9%。划痕事件的预测次数和持续时间与人类观测相关联。训练后的CRNN也能成功地检测半抗原性特应性皮炎小鼠模型中的抓痕(敏感性94.8%，阳性预测率82.1%)。最后，我们建立了一种新的基于CRNN的划痕检测方法，该方法可以用于疾病模型的研究。

由于实验动物的行为反映了他们的心理、身体和认知状态，所以它经常在各个研究领域被评估。实验动物表现出多种行为，研究者根据其兴趣集中于特定的表型。例如，在实验啮齿动物中，基本情况是通过观察自发运动活动来评估的。1好奇心是通过观察养育行为来评估的，腹痛是根据扭动行为来评估的。2,3.

抓挠是最重要的行为特征之一。生理障碍以及精神压力会引起一种瘙痒感，表现为动物的抓痒行为。目前有几种测量划痕的方法，如视觉观察、声检测和感应电流检测，这些方法都是由划痕运动产生的。4,5,6。这些方法准确，在研究中得到了广泛的应用。然而，视觉观察费时费力，而声探测和感应电流检测方法则需要专门的设备和复杂的分析软件。因此，需要一种新的自动化方法，能够用简单的设备检测划痕。

近年来，深度神经网络技术的发展对动物研究产生了显著的影响。摘要卷积神经网络(Cnn)能有效地从图像中提取特征图，在图像分类任务中具有优异的性能。7。一些研究表明，基于cnn的算法能够以非常高的精度从图像中预测动物的姿势。8,9,10。目前已有几种姿态估计算法，如LEAP和DeepLabCut。可处理时间序列数据的递归神经网络(RNN)也引起了人们的关注.由于rnn可以接受时间输入和时序输入，所以它被用于机器翻译和语音识别。11,12。基于这些发现，我们假设cnn和rnn的结合可以用来分析电影，电影本质上是图像的时间序列整合。

在这里，我们证明了用大约3个小时的视频训练的卷积递归神经网络(CRNN)能够成功地检测到第一次看过的视频中的抓挠，具有很高的准确性。我们还证明，我们训练的CRNN可以用来评估病理模型。

图像预处理与集成

为诱发小鼠典型的抓挠，我们在BALB/c小鼠背部皮下注射了一种名为溶血磷脂酸(LPA，2 0 0 nmol/Site/2 5μL，2位点/鼠)的预尿原-溶血磷脂酸(LPA，2 0 0 nmol/SIT/2)。我们用一台手提相机在一个黑色的舞台上记录了他们的行为，获得了30个视频文件，每个大约9分钟。录制的视频包含与鼠标移动无关的背景信息，这增加了文件的大小，也阻碍了有效的NN训练。为了消除背景和减小文件大小，我们获得了两个连续帧之间的差分图像。然后，我们裁剪了鼠标几何中心附近的图像，如先前报道的那样。13并将其二值化(图1.1a)。我们把一幅图像组合在一起t和图像十帧前后的时间t(无花果)1b)。组合图像集被定义为时间上的“段”。t.

片段标记

我们仔细观察了视频，并将所有帧划分为“抓取”类和“不抓取”类。所有划痕框都贴上“1”标签，其他划痕标为“0”。接下来，我们通过在时间上标注一个片段来注释所有的片段。t作为时间帧标签的值。t(无花果)1b)。因此，我们将所有段划分为两类：1，抓取，0，不抓取。然后，我们用神经网络来解决这个二进制分类问题。我们将30个视频文件随机分成20个和10个文件，分别作为训练和测试数据集(补充表)。沙一).

CRNN训练

我们构造了一个由三个块组成的CRNN：CNN、RNN和完全连通(FC)块(图)。2a)。在一个片段中的所有21幅图像分别被输入到CNN块中。三个卷积层和一个最大池层减小了特征映射的大小。CNN块的输出张量被平坦化，并在RNN块的长时记忆(LSTM)单元中集成。最后，FC块聚合了特性，并将最终输出作为0到1之间的十进制值返回。

抓挠是一种相对较少频繁的行为，与其他如跑步，休息，养育和梳理。实际上，划痕框架在整个培训数据集中所占的比例还不到2%。为了处理这些不平衡的数据，我们增加了输入中抓取段的比率(称为上采样)，如下所示。我们在训练数据集中随机选择了1500个片段和100个抓取片段。这1600段随机翻转和旋转数据增强，然后立即输入到CRNN(这个输入被定义为一个时代)。如图所示。2B.训练数据集的损失持续减少，超过900个历元，然后达到一个平台。训练在1000年代后停止。

经过训练的CRNN的详细性能评价

我们使用训练数据集评估了训练后的CRNN的性能。对于一个段，CRNN返回介于0到1之间的十进制值，这可以解释为刮伤的概率。如图所示。3当产值超过0.5时，我们将一个片段归类为抓取。对于训练数据集，CRNN能正确预测97.8%的划痕段(7018次6866次)和99.8%的非划痕段(670,212次669,095次)，这分别符合敏感性和特异性(表)。1；图1.3b)。阳性预测率为86.0%(7983例，6866例)，阴性预测率为99.9%(669,095例，669,247例)。

我们在每个电影文件中通过训练的CRNN来统计预测的抓取事件的数量，并与人类观察(Obs)的结果进行比较。我们将抓取事件的预测数量(数字中的“预测计数”)定义为一系列连续抓取段的数量。如图所示。3D，抓取事件的预测次数与抓取事件的Obs数高度相关(r=0.97)。我们还计算了每个抓取事件的持续时间，发现预测的持续时间与Obs的持续时间相关(r=0.99，图)。3e)。这些结果清楚地表明，学习是成功的。

然后，我们对测试数据集的CRNN性能进行了评估(表)。2；图1.3c)。测试数据集不用于训练，测试数据集中的老鼠也不同于训练数据集(补充表)。沙一)。对于测试数据集，CRNN预测了81.6%的划痕段(1941年，2379年)和99.9%的非划痕段(337,515段，337,781段)。阳性和阴性预测率分别为87.9%(2207例，1941例)和99.9%(337,953例，337,515例)。预测计数和持续时间也与OBS计数和持续时间显著相关。(r分别为0.98和0.85；图1)。3F，g)。

误差的详细评估

我们详细地检验了预测结果和分类误差(即图中的假阳性和假阴性)。3B，c)分为三种类型：(1)CRNN预测值一般较好时的“边界误差”，但在抓取开始和/或结束时与Obs有一定的差异；(2)“错误检测”，当CRNN预测了划痕事件，而老鼠在现实中没有抓伤；(3)“疏忽”，当CRNN预测没有划痕时，但老鼠在现实中抓伤(图)。4a)。在训练数据集中，85%的误差段为边界误差，12%为错误检测，3%为疏忽。4b)。在测试数据集中，57%的误差段为边界误差，3%为错误检测，39%为疏忽。4c)。这些结果表明，大多数假阳性和假阴性都是边界误差，这可能是由于OBS和CRNN在识别上的差异所致。相反，可以通过减少用于CRNN培训的错误检测和/或监督段的数量来进一步改进。

此外，我们还分析了一个划痕事件，它显示出预测的和预期的划痕持续时间之间有很大的差异(如图所示)。3G，箭头所示)。图形4D显示详细的预测概率和Obs数据。这清楚地表明，虽然预测显示了四种不同的划痕行为，但人眼将其解读为鼠标持续抓挠约110 s，这可能是由于人和机器图像识别的准确性不同所致。

区别于梳妆

修饰是一种常见的行为，老鼠用来清洁他们的皮肤和皮毛。老鼠通过在身体上移动手来训练自己，这种动作有时就像抓抓一样。为了检验训练后的CRNN是否错误地将修饰分类为抓痕，我们手动标记了修饰事件，并将它们与使用测试数据集进行预测的结果进行了比较(图中显示了典型的例子)。4e)。测试数据集中有50,147个修饰段。其中只有15个片段被训练的CRNN分类为划痕段。CRNN几乎完美地区分了划痕和修饰。

二硝基氟苯(DNFB)致皮炎模型的应用

最后，我们研究了我们训练的CRNN能否成功地检测到常见病理小鼠模型中的划痕行为。我们选择了DNFB诱导的小鼠皮炎模型，皮炎的主要表现是抓伤.Balb/c小鼠(n=4，小鼠J至M在补充表中)沙一)用DNFB(0.5%/25μL，应用于腹侧皮肤)致敏。4天后，用0.2%/20μL的DNFB刺激小鼠双耳，在灰笼中记录其行为60 min，刺激后即刻开始。如表所示3还有无花果。5(A)CRNN成功预测了94.8%的划痕段(2792%，2945段)和99.9%的非划痕段(859,341段，859,951段)。我们还分析了错误类型，发现76.3%的误差段为边界误差，19.1%为错误检测，4.6%为疏忽。5b)。最后，我们比较了划痕计数和持续时间之间的预测和Obs，以及，如图所示。5C、d与划痕次数和持续时间预测之间存在极显著的相关性(r分别为0.99和0.93)。这些结果表明，CRNN可以应用于常见的病理性小鼠模型。

评估实验动物的行为对于了解他们的身体、心理和认知状态至关重要。在本研究中，我们建立了一种新的自动识别方法，利用CRNN识别记录的视频文件中的划痕，并进一步证明了该方法可以用于病理模型的评估。需要注意的是，我们的方法只需要普通的设备，程序脚本是用一种免费的编程语言编写的。

许多研究对实验动物的瘙痒感进行了研究。然而，他们通常使用直接观察来检测鼠标抓取，这是劳动密集型的，而且吞吐量很低。自动检测系统通常比较复杂，但通常需要特定的设备。4,6。在目前的研究中，我们用商用的便携式相机记录了鼠标的行为，并使用带有GPU的普通台式计算机对图像进行了分析。此外，我们还介绍了图像预处理中的帧减法.这个过程不仅减少了训练和预测的文件大小，而且消除了任何背景噪声。我们使用不同类型的笼子记录LPA处理的小鼠(黑色竞技场)和DNFB处理的小鼠(灰色笼)。训练后的CRNN可以正确预测DNFB诱导的小鼠抓取行为。虽然还需要进一步的验证，但该技术具有一定的通用性。

CNN以其在图像识别任务中的显著性能而闻名。在生物学领域，一些研究强调了基于cnn的算法的有效性.例如，Pereira等人。显示cnn可以从一幅图像中估计身体部位的位置。9。另一项研究通过将CNN和传输学习相结合，在训练数据很少的情况下实现姿态估计。10。Schofield等人还成功地用cnn识别出黑猩猩的面部。14。我们还试图建立CNN或浅层CRNN，用较少的层来预测老鼠的抓挠行为。然而，如补充说明和补充图所示，它们的表现有限。沙一。由于动物行为是由顺序运动构成的，我们认为CNN和多个RNN层的结合可以更好地进行行为检测。

我们训练CRNN使用从每一部电影中获得的连续图片，其中小鼠被给予LPA到他们的背部皮肤。训练后的CRNN成功地预测了LPA引起的划痕。值得注意的是，当DNFB被局部应用于小鼠耳朵时，它也可以对DNFB引起的抓挠进行分类.这些结果表明，划伤背部和耳朵的行为与CRNN完全相似。然而，目前尚不清楚CRNN是否能识别其他类型的抓挠，包括因胆汁淤积引起的全身抓挠或前肢的鼻/嘴挠痒，例如食物过敏引起的抓挠。15,16.

本研究开发的系统存在一定的局限性。在初步分析中，我们确定了建立更好的神经网络的重要参数：二值化阈值、每段帧数、上采样率和神经网络结构。此外，利用高速摄像机进行图像采集，选择训练数据集，可以提高图像采集的准确性。研究人员经常使用包括C57BL/6在内的黑老鼠和白老鼠。我们发现，目前用白BALB/c小鼠数据集训练的CRNN在检测LPA引起的黑C57BL/6小鼠划痕方面表现出相对较低的性能(灵敏度：22.1%，附图)。S2；补充表S5)。从不同的小鼠品系中获得的训练数据集可以扩展该方法的能力。

我们特别关注各种动物行为中的抓挠。然而，我们预测，在这里讨论的程序可以适用于其他行为，如美容，饲养，休息和喂养。此外，该方法还可用于长期研究(如24小时)。因此，这种自动化技术有可能在一天之内被用来检测和分类任何和所有的老鼠行为，这将为动物行为学提供新的见解。