合集 | AI 赋能行为科学:前沿文献精读

Translational Psychiatry丨3D-AI 行为学技术解析帕金森病小鼠的自发行为异常

帕金森病(Parkinson’s Disease, PD)是一种以黑质致密部(SNc)多巴胺(DA)神经元丢失为特征的神经退行性疾病。MPTP模型因其能够可靠地模拟黑质-纹状体通路的多巴胺能退行性变,成为研究PD病理机制和药物筛选的重要工具。传统行为测试(如旷场实验、转棒实验和平衡木实验)常用于识别PD模型的运动异常,但因依赖主观判断且操作繁琐,其可靠性和可扩展性受限。 近年来,人工智能技术发展为行为分析带来了革命性突破。通过机器学习算法,研究人员能够精确量化动物行为的细微变化,从而揭示传统方法难以检测的细微行为特征。最新的一篇论文,系统地研究了 PD 模型小鼠的精细行为差异。

2025 年 4 月 3 日,中国科学院深圳先进技术研究院刘雪梅、蔚鹏飞 研究团队和南方医科大学王万山 团队合作,在Translational Psychiatry 发表了题为"Subtle behavioral alterations in the spontaneous behaviors of MPTP mouse model of Parkinson’s disease"的研究论文。本研究通过3D多视角行为捕捉与先进的机器学习技术,精准捕捉到MPTP帕金森病模型小鼠的自发行为差异,发现PD小鼠的站立(Rearing)、行走(Walking)、弓背(Hunching)等行为出现异常,为帕金森病动物模型构建与疗效评估提供了高灵敏度的行为学工具。

1 MPTP模型小鼠的自发行为异常

MPTP注射后一周,研究人员利用多视角摄像头结合机器学习技术对小鼠行为进行分析,将其分类为 40 个行为亚型(图 1A–C)。通过比较各行为亚型的时间占比(即运动分数)发现,与对照组相比,MPTP 模型组小鼠(5/9)和对照组呈现明显不同的聚类分布(图 1D)。具体来言,与对照组相比,MPTP 模型组小鼠的三种行为动作占比显著降低 —— 站立行为(Rearing)、行走行为(Walking)及弓背行为(Hunching) (图 1E–G)。进一步分析表明,MPTP 组小鼠站立和弓背行为的发生频率显著下降,但单次行为的持续时间无显著变化(图 1H–K)。上述结果表明,MPTP模型小鼠出现了自发行为异常

图1. 与对照组相比,MPTP 小鼠模型在自发行为上表现出显著差异。图源:Translational Psychiatry 2025

02 站立、弓背行为与黑质致密部多巴胺能神经元数量的相关性

免疫荧光结果表明,MPTP 组小鼠黑质致密部(SNc)的酪氨酸羟化酶阳性(TH+)多巴胺能神经元数量显著减少,而腹侧被盖区(VTA)未见明显变化,这一结果与PD的病理特征一致(图 2A-D)。鉴于 MPTP 组小鼠 SNc 区 TH+ 神经元的明显丢失,研究人员进一步探索了行为学改变与神经元数量的相关性。结果表明,SNc 区 TH+ 神经元数量与站立、弓背行为动作占比及发生频率呈强相关性,但与行走行为无显著关联 (图 2E, F)。综上,SNc 区多巴胺能神经元数量与站立、弓背行为之间存在显著相关性。

图2. 站立和弓背行为的减少与黑质致密部(SNc)多巴胺能神经元的丢失相关。图源:Translational Psychiatry 2025

03 MPTP模型小鼠的多项运动学指标显著升高

研究人员应用机器学习算法对小鼠身体关键点进行追踪并分析,结果表明,与对照组相比,MPTP 小鼠的多项运动学指标显著升高 (图 3A),这与自发行为中观察到的多动表型高度吻合。身体中心点速度的概率分布函数分析进一步证实了上述升高趋势(图 3B)。基于运动学特征的聚类分析显示,5/9 的 MPTP 小鼠被明确聚为同一组别,提示 MPTP 小鼠出现了独特的多动行为模式 (图 3C)。具体而言,MPTP 小鼠表现出四肢运动速度加快及运动强度增加的特征(图 3D–G)。

图3. MPTP 小鼠模型表现出运动学参数显著升高及行为偏侧化特征改变。图源:Translational Psychiatry 2025

04 MPTP模型小鼠的行为偏侧化改变

PD 患者临床上常呈现运动不对称的典型症状,因此研究人员深入探究 MPTP 模型小鼠中是否存在类似的表现。结果显示,相较于左后爪,MPTP 模型小鼠右后爪的运动强度呈现出显著升高的趋势 ,而在对照组中没有观察到上述运动偏侧化特征(图 3H)。为了对行为偏侧化进行更为精确的量化分析,本研究针对肢体及爪部运动设计并计算了偏侧指数(Bias Index, BI),发现对照组和 MPTP 模型组小鼠仅在后爪的偏侧指数上存在显著差异 ,表明MPTP 处理能够导致小鼠行为偏侧化发生明显改变(图 3I)。身体骨架热图进一步证实了 MPTP 小鼠模型中存在持续的右侧偏侧化倾向(图 3J、K)。综上所述,与对照组相比,MPTP 模型小鼠表现出行为偏侧化改变

05 黑质致密部(SNc)而非腹侧被盖区(VTA)TH+ 神经元靶向清除显著影响站立相关行为

已有研究表明,MPTP 腹腔注射可能通过影响外周递质系统导致行为改变。为排除非脑区特异性神经元损伤的可能性,本研究采用 DAT-Cre 品系小鼠,通过向 SNc 或 VTA 区域注射 AAV2-Flex-taCasp3-TEVP 病毒载体,诱导靶向性 TH+ 神经元清除。免疫荧光染色结果显示,SNc 清除组小鼠 SNc 区 TH+ 神经元数量显著减少,VTA 清除组小鼠 VTA 区 TH+ 神经元数量显著减少,证实了靶向清除的特异性(图 4A–F)。

与对照组相比,SNc 清除组小鼠表现出独特的行为模式 (图 4G, H),其攀爬行为显著减少,而 VTA 清除组未出现该变化(图 4I)。进一步分析显示,上述行为改变与 SNc 区 TH+ 神经元数量有明显的相关性,表明黑质致密部 TH+ 神经元特异性调控攀爬行为 ,而 VTA 区域未观察到此类相关性(图 4J, K)。

图4. 黑质致密部 TH+ 神经元清除小鼠在自发行为中呈现出与 MPTP 模型小鼠相似的行为改变。图源:Translational Psychiatry2025

06 黑质致密部TH+神经元清除明显影响运动功能及行为偏侧化

为明确特定脑区神经元丢失对运动功能的影响,本研究追踪小鼠 16 个身体关键点并分析 39 个运动学参数。结果表明,与对照组相比,SNc 清除组小鼠大多数运动学参数显著降低,而 VTA 清除组未出现显著变化 (图 5A)。身体中心点速度的概率分布函数分析进一步确认了上述差异(图 5B)。

基于运动学特征的聚类分析显示,4/6 的 SNc 清除组小鼠被明确聚为同一组别(图 5C)。具体而言,SNc 清除组小鼠表现出四肢运动速度及运动强度均低于对照组(图 5D–G)。SNc 和 VTA 清除组后爪均表现出偏侧化趋势(图 5H)。与对照组相比,SNc 清除组小鼠前肢、前爪及后爪的偏侧指数(BI)显著升高,提示 SNc 区多巴胺能神经元丢失导致行为偏侧化改变 (图 5I)。相反,与对照组相比,VTA 清除组小鼠的偏侧化特征无明显差异。综上,黑质致密部 TH+ 神经元清除明显影响运动功能及行为偏侧化。

图5 黑质致密部(SNc)而非腹侧被盖区(VTA)TH+ 神经元靶向清除导致运动学异常及行为改变。图源:Translational Psychiatry 2025

07 总结

本研究基于 3D 多视角行为捕捉系统与机器学习算法,对 MPTP 帕金森病模型小鼠的自发行为特征进行了量化分析。研究揭示,黑质致密部(SNc)多巴胺(DA)神经元数量与后肢站立(rearing)、行走(walking)及弓背(hunching)行为的发生频率降低和持续时间缩短呈显著相关。站立行为作为多巴胺能神经元健康的关键标志物具有重要意义,该行为频率的降低与黑质致密部多巴胺能神经元的丢失呈强相关性,为监测PD的进展提供了有价值的行为标志物。总之,上述精细行为表型(如站立行为减少及运动偏侧化)为 PD 的早期诊断、动物模型构建及药物疗效评估提供了高灵敏度的行为标志物

08 BAYONE 助力科研

值得一提的是,该研究论文特别致谢了一湾生命科技(BAYONE)公司,以及一湾生命科技 CTO 黄康博士和算法组组长陈可,感谢他们为该工作提供的重要技术支持

一湾生命科技致力于通过 AI 技术,为脑科学及脑疾病研究等领域提供新一代更高效、更精准的仪器、软件、服务和标准。一湾生命科技专注于推动 AI 精细行为学技术在神经疾病模型的研究中发现新的生物标志物、表型鉴定及愈后评估等方面的应用。一湾生命科技(BAYONE)的创新产品——BehaviorAtlas 3D-AI动物行为分析系统 ,不仅能够实现前文提到的复杂3D精细行为分析,而且在行为参数提取和图表可视化上都有出色的表现。

BehaviorAtlas 3D-AI 动物行为分析系统是国内首家3D-AI精细行为学分析系统,可以在三维层面分析动物的精细行为;追踪16+个身体点,实现行为全面量化;提取40+种行为亚型,包括嗅探、梳理、跳跃等行为;计算100+种参数,捕捉动物行为的每一个细节;输出专业级可视化图表,满足SCI论文发表要求 。目前,BehaviorAtlas 3D-AI 动物行为分析系统已经在大、小鼠、非人灵长类动物、犬类等模式动物上,针对自闭症、帕金森症、抑郁症、老年痴呆、脑出血等疾病模型以及精神类药物筛选上进行了多种应用。在此,我们也感谢 BehaviorAtlas 的用户对我们系统的关注和支持,希望 BehaviorAtlas 能够帮助更多的科研人员去解答生命科学中的难题。如果您希望深入了解其在动物行为研究中的应用,我们非常欢迎您进一步探索!


如果您对 BehaviorAtlas 3D-AI 动物行为分析系统感兴趣,欢迎通过公众号私信或扫描下方的微信二维码联系我们,我们将竭诚为您提供更多信息和帮助。

参考文献:
————————————————
Zhong H, Lu K, Wang L, Wang W, Wei P, Liu X. Subtle behavioral alterations in the spontaneous behaviors of MPTP mouse model of Parkinson’s disease. Translational psychiatry. 2025;15(1):119. Published 2025 Apr 3. doi:10.1038/s41398-025-03312-8

Cell Reports丨深圳先进院脑所王枫团队建立了一套数据驱动的层级化行为定量分析框架

神经行为学(Neuroethology)是神经科学与动物行为学交叉融合的前沿学科,专注于研究神经系统对行为的调控机制,以及研究行为如何塑造和影响神经系统的功能。 传统的行为学实验范式多样,有水迷宫、Y 迷宫、巴恩斯迷宫、悬尾实验、强迫游泳等,这些往往需要实验者的引导,且缺乏统一的分析框架,使研究结果的对比和整合变得困难重重。 而在自发行为实验中,动物的行为不是由实验者引导,而是由动物自身的行为倾向所主导。这种实验方式不仅操作简便,而且能够更真实地反映动物的内在状态,为研究提供更可靠的依据。

更关键的是,自发行为的细微变化往往能够揭示动物内部状态的变化。自发行为是指动物在没有明确外部刺激或主观意图驱动下自然产生的行为,它对于维持动物的健康和身体机能的自我调节具有重要意义。例如,自发行为的细微变化与动物的健康状况密切相关,比如阿尔茨海默病、自闭症、焦虑行为、急性应激、疼痛、毒素暴露、癫痫发作等情况。通过观察和分析这些自发行为的改变,研究人员可以更深入地了解动物的生理状态、评估药物的治疗效果等。

2025年2月,中国科学院深圳先进技术研究院王枫研究员团队联合王立平研究员团队,在Cell Reports发表了题为“Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors”的研究论文。该论文开发了一种名为HBAF(Hierarchical Behavioral Analysis Framework)的层级化行为分析框架,作为标准化行为定量识别的平台。该论文提供了一个通用、标准、快速,以及分层定量的方式开展神经行为学研究。

图源:Cell Reports 2025

01 基于高维姿态数据的降维分析能够区分自发行为表型

该论文首先将多视角视频流分解为亚秒级片段,并基于动态姿态特征进行无监督聚类,最终识别出15种不同的动作模式。通过可靠的分类准确性和一致性验证,研究发现不同实验组(如急性应激组与正常对照组)以及昼夜节律条件下的行为特征存在明显差异。进一步分析表明,基于高维姿态数据的动作降维能够清晰地区分各组的行为模式,并准确预测实验组别(图1)。

图1. 图源:Cell Reports 2025

02 动态的姿态运动构成了行为结构的基础

在焦虑状态下,人类会出现细微的姿势变化(如驼背、叹气和重复手部动作),但这些变化难以区分。为解决这一问题,研究者开发了一种算法,基于BehaviorAtlas 3D精细行为学系统分析得到的数据,提取详细的姿态运动学特征,并在小鼠急性应激模型中验证了其有效性。结果显示,急性应激的小鼠表现出身体收缩、脊柱弯曲增加以及头部和身体姿态的显著改变(图2)。这些发现揭示了该小鼠急性应激模型能够模拟部分人类焦虑状态下的动作 ,还为早期诊断渐进性运动障碍(如帕金森病)提供了潜在的基础。

图2. 图源:Cell Reports 2025

03 动作和动作集能够识别行为状态的多样性

动物行为由基本的动作单元组成,并受到内外部事件的影响。急性应激显著改变了小鼠的行为模式,包括防御行为、进食和自发行为等。与正常对照组相比,急性应激小鼠表现出12种动作表现异常。具体表现为运动和探索减少,但梳理行为增加,以及独特的抓挠表现(图3)。此外,急性应激小鼠的嗅探-梳理行为比值与对照组存在显著差异,并具有很高的预测准确性,表明该指标可作为识别异常行为状态的有效工具

图3. 图源:Cell Reports 2025

04 行为状态的变化反映在其时间特征中

通过对每个动作进行逐分钟的分析,发现8种动作类型的模式发生显著变化,尤其是在左转、右转、探索性行为(如弓背、攀爬和跳跃)中表现出时间依赖性的改变。与对照组相比,急性应激小鼠每分钟运动距离减少,雄性小鼠总运动距离下降更为明显。进一步分析表明,对照组小鼠在最初的5-15分钟内行为模式相似;急性应激小鼠从6-25分钟保持高相似度的行为模式(图4)。对照组小鼠前15分钟探索,在45分钟后开始休息,而急性应激小鼠更优先维持基本活动而非探索,并抑制了休息行为。

图4. 图源:Cell Reports 2025

05 一种数据驱动的区域分割方法能够有效捕捉小鼠的空间偏好

急性应激会引发类似焦虑的行为,通常通过旷场测试进行评估。传统方法包括定义旷场中央区域(如25厘米半径)和旷场外周区域,并计算自发活动 10 分钟内在中心区域花费的时间,但关于定义中心区域大小的争论仍然存在。该研究提出了一种新的数据驱动的区域划分方式:基于自然占用密度,在旷场中计算出中心区域为35厘米半径,这种方法在分析小鼠行为分布时,表现出更高的一致性

结果显示,急性应激小鼠表现出与正常对照组不同的空间偏好:急性应激小鼠最初远离中央区域,但在50分钟后又靠近中央区域。通过对不同时间段内小鼠在中央区的行为模式进行分析发现,对照组小鼠在最初的10分钟内主要活跃于中央区域,进行运动和探索活动;而急性应激小鼠则更多地集中在维持行为上,并随着时间的推移进一步增加对维持行为的依赖。此外,研究还发现嗅探-梳理比率在角落区域表现出显著差异,尤其是在最初的10分钟内,这一比率能够准确地区分出急性应激状态与正常状态(图5)。这表明传统的仅基于中央区停留时间来评估焦虑水平的方法可能需要重新审视和改进,研究也为行为分析方法的改进提出了重要参考建议。

图5. 图源:Cell Reports 2025

06 嗅探是自发行为模式中动作过渡的中心节点

通过分析不同动作之间的转移概率,研究揭示了小鼠在不同时间段的行为变化。经过急性应激处理后,动作转换网络均发生显著改变:原本的运动、探索和维持行为逐渐向维持行为转移,而对探索行为的转移减少。同时发现急性应激小鼠的行为更加不可预测,说明其行为模式变得不稳定。节点动作分析进一步揭示了在不同条件下四种独特类型的节点及其连接特征。嗅探行为是连接不同动作、形成自发行为模式最重要的行为类型(图6),这对识别环境中的关键信息(如食物、天敌、配偶等生态线索)至关重要。即使受到光照变化或急性应激处理的干扰,自发行为模式的整体稳定性仍使小鼠能够持续关注环境。基于行为模式和中心节点动作的分析,HBAF 方法能够有效识别异常行为,为早期神经精神疾病诊断提供了基础。

图6. 图源:Cell Reports 2025

07 动作转移频率决定了自发的行为模式

为了探究动作转移如何塑造行为模式,该研究分析了动作转移网络,以预测自发行为中的动作序列。研究中计算了5分钟间隔内的转移概率和持续时间概率,并基于这些数据模拟了动作序列。模拟结果与实际行为高度吻合。研究还发现,行为模式主要由动作转移概率编码,且不同组别之间存在显著差异(图7)。

最初,在不熟悉的旷场环境中,小鼠表现出以探索为主导的行为模式,但随着适应和休息行为的增加,这种探索行为逐渐减少。这三种因素(探索、适应和休息)的权重因时间和光照条件的变化而有所不同。而急性应激处理干扰了正常的行为模式,增加了自我关注的同时保留了探索驱动,导致过渡频率呈现波浪式波动。这一现象表明,动作转移网络不仅受到多种内在驱动力的影响,同时也对外部和内部环境的变化高度敏感。基于这种动态网络构建的预测模型,可以精确且高效地评估新型疾病模型及药物疗效。

图7. 图源:Cell Reports 2025

08 总结

该研究开发了一种层级式行为分析框架(HBAF),为深入开展行为学研究提供了一个高效的平台。该框架系统性地从姿态、动作、动作集直至行为模式的识别,逐步深入探究动物行为。通过这一框架,该研究揭示了雌性和雄性小鼠、急性应激小鼠的自发行为模式,其中嗅探行为在不同条件下均作为动作转移网络中的核心节点。研究结果表明,小鼠的自发行为特征及其动作转移频率因情绪状态、昼夜节律和光照条件等因素而异,这些差异由多样化的内外部驱动因素所致,并最终形成了各具特色的行为模式。值得注意的是,急性应激小鼠在时间维度上表现出显著的空间偏好二态性,而嗅探与梳理行为的比例可能作为评估自发行为状态的潜在指标。HBAF作为一种可访问且具有高度解释性的分析框架,不仅实现了对动物行为状态的快速精准评估,还成功地在理论层面的行为结构理解与多维行为信息的实际分析之间架起了一座桥梁。

09 BAYONE 助力科研

值得一提的是,该研究论文使用了一湾生命科技(BAYONE)的BehaviorAtlas 3D-AI 动物行为分析系统(BehaviorAtlas Capture Equipment、BehaviorAtlas Capture 1.0、BehaviorAtlas Analyzer 1.0)。此外,一湾生命科技 CTO 黄康博士也参与了该项工作,为该工作提供了技术支持。

图源:Cell Reports 2025

一湾生命科技致力于通过 AI 技术,为脑科学及脑疾病研究等领域提供新一代更高效、更精准的仪器、软件、服务和标准。一湾生命科技专注于推动 AI 精细行为学技术在神经疾病模型的研究中发现新的生物标志物、表型鉴定及愈后评估等方面的应用。如果您对这一技术感兴趣,欢迎了解更多关于BehaviorAtlas 3D-AI 动物行为分析系统的信息!

致谢

BehaviorAtlas 能够在2025年出现在国际学术期刊上,得益于深圳先进院王枫老师团队与一湾的 BehaviorAtlas 团队紧密合作,得益于王枫老师团队成员的严谨、高效的科研素养以及对新技术的前瞻性。目前,BehaviorAtlas 已经在大、小鼠、非人灵长类动物、犬类等模式动物上,针对自闭症、帕金森症、抑郁症、老年痴呆、脑出血等疾病模型以及精神类药物筛选上进行了多种应用。在此,我们也感谢 BehaviorAtlas 的用户对我们系统的关注和支持,希望 BehaviorAtlas 能够帮助更多的科研人员去解答生命科学中的难题。

如果您对BehaviorAtlas 3D-AI 动物行为分析系统感兴趣,欢迎通过公众号私信或扫描下方的微信二维码联系我们,我们将竭诚为您提供更多信息和帮助。

参考文献:
————————————————
Ye Jialin, Xu Yang, Huang Kang, Wang Xinyu, Wang Liping, Wang Feng. Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors. Cell Reports. vol. 2025;44(2):115239. doi:10.1016/j.celrep.2025.115239

“用眼读心”:解析眼动追踪的常用指标

如何用眼神捕捉信息?在脑科学研究、心理学、精神科等领域里,监测眼睛信息的变化(即眼动追踪)是一种重要且常规测量手段。眼动追踪技术通过捕捉眼睛的瞳孔直径、瞳孔位置等关键数据,为科研人员提供了研究个体认知负荷的窗口。眼球运动的形式多样,主要包括注视、扫视、平滑追踪、眨眼和瞳孔收缩/扩张等。为了更有效地选择信息并形成清晰的像,这些眼动方式往往会交替出现,协同工作。

01 扫视

扫视(Saccade),也被称作眼跳,是指眼睛快速从一个注视点移动到另一个注视点的动作(A图中的蓝色箭头,B图中的黄色箭头)。扫视是双眼的快速运动,用于将中央凹(视网膜的中间部分)重新定位到视觉环境中的新位置。扫视运动的持续时间通常为10-100毫秒。在这些快速的扫视之间,是注视,即眼睛聚焦在某个点上(如下图中的红色圆圈所示为注视点)。

情况一:文本阅读
当我们阅读文本时,扫视通常是从左到右进行的,就像在英语阅读中那样(参见A图中的蓝色箭头)。在这个过程中,注视点(Fixations)是也是从左到右,有些单词可能会被跳过,而阅读中的回跳(Regression)则是指眼睛返回到文本的先前部分。在阅读时,扫视的幅度相对较小,大约为2°的旋转,而持续时间大约为30毫秒。

图源:International journal of psychophysiology 2020

情况二: 观察真实世界的场景
相比之下,在观察真实世界的场景时,注视点往往集中在那些有意义或视觉上突出的部分。这时,扫视的方向和幅度变化更大,扫视的幅度通常较大,约为5°的旋转,持续时间大约在40到50毫秒之间。

图源:International journal of psychophysiology 2020

常用的扫视指标:
扫视还分为自发(Spontaneous)扫视诱发(Evoked)扫视。如前文介绍的,自发扫视在自然生活中常见,而在实验室中,研究人员倾向于研究诱发扫视,如果在光遗传等刺激后的100ms响应窗口中发生的扫视称为刺激诱发的扫视(Evoked saccades),无刺激情况下发生的扫视为自发扫视(Spontaneous saccades)。

1. 扫视幅度/眼跳幅度(Saccade amplitude):
幅度越大,意味着眼睛在扫视过程中移动的距离越长。

2. 扫视次数 /眼跳次数(Number of saccades):
眼睛在注视点之间转换的总次数。一般情况下,学习内容区域或难度越大,眼跳次数越多。

3. 扫视时长 /眼跳时长(Total saccade time):
指在一个区域内进行的所有扫视行为的时间总和,扫视时间越长,说明注意力越不集中。

4. 扫视速度 /眼跳速度(Saccade velocity):
扫视过程中眼睛移动的速度(通常以度/秒为单位)。

02 注视

注视(Fixation):指观察静止物体时,将物体的视觉映像固定在中心凹(视网膜的中间部分)的过程。此时,眼睛聚焦于一个点,例如句子中的一个词或场景中的一个物体(如上图中的红色圆圈所示为注视点),这些停顿允许眼睛获取视觉信息。注视是使视网膜稳定在静止感兴趣物体上方的眼球运动,持续时间为 100-400 毫秒。常见的注视指标有注视持续时间、注视点个数等。在注视过程中,眼球并不是完全静止的,而是以注视点为中心做微小的运动,这些注视性眼动包括微漂移(Drift)、微扫视(Microsaccadic)和微颤动(Microfibrillation)。

漂移是在注视过程中发生的缓慢位置变化。

微颤动是一种不规则的眼球运动,波浪样的叠加是漂移中的一种形式。

微扫视是注视过程中的快速位置变化。通常将幅度小于1度视角的扫视称为微扫视运动。

03 平滑追随运动

当个体与被观察物体之间存在相对运动时,为了保持视线始终追踪该物体,眼球会随之移动,当眼睛连续跟踪移动的目标时,就会出现平滑追踪(Smooth pursuit movement)。眼球跟随动态目标缓慢移动,通常物体运动速度低于 50˚/s,同样是双眼的联合移动,通常伴随着注视和眼跳。

04 眨眼

眨眼(Blink)是一种快速闭合眼睑的动作,它也被称作“瞬目反射”。

眨眼的频率和模式有时候能透露出身体的秘密,比如困倦程度。打个哈欠,眨眨眼,可能会暴露昨晚没睡好的小秘密,研究表明,自发眨眼的参数可以表明个体的困倦程度。眨眼行为是研究人类行为、功能和认知的重要方面。传统上,眼电图等方法用于检测眨眼,但现代研究更多采用视频分析技术。瞳孔大小信号通常被用来识别眨眼,其中无信号的样本被视作眨眼。有一些眼动追踪器还能提供眼睑位置和眼睛开放度的数据,还有一些眼动追踪器结合这两种信号分析眨眼行为。

在灵长类动物的社交圈里,眨眼行为不仅仅是眼睛的一次简单闭合,它还是社交互动中的一个小秘密。研究发现,当一群猴子聚在一起聊天时,它们眨眼的频率会比单独玩耍时更高,表明眨眼可能是一种无声的社交语言,帮助它们在群体中沟通和连接。眨眼可以用许多参数来表征,其中最常见的参数包括眨眼次数和眨眼时间等。

05 瞳孔收缩/扩张

瞳孔大小的变化是大脑对环境变化作出反应的指标,与觉醒状态、情绪和认知功能紧密相连。在人类和动物中,瞳孔不仅在明暗变化下调整大小,还在运动、任务转换和环境不确定性下发生变化,反映出大脑对行为的优化调节。瞳孔测量技术通过精确记录瞳孔对特定刺激的响应,来反映个体的生理或心理状态。

| 眼睛可以“说”出认知负荷 |

认知负荷(Cognitive workload)是指在特定任务下,进行信息处理和决策的过程中,大脑消耗的认知资源。在阅读时,我们所付出的努力、阅读的时长、阅读技巧,乃至阅读时的感受,都会影响我们感受到的认知负荷。比如,在图书馆里,当周围环境安静时,我们可能觉得自己的认知负荷较低。而当我们坐在外面阅读,偶尔被微风或过往车辆的噪音打扰时,我们可能感到自己处于中等水平的认知负荷。在这种情况下,我们可能需要更加集中注意力,以避免分心,更好地理解和记忆阅读内容。而当我们在嘈杂且容易分心的环境中阅读,比如学校食堂,我们可能会感到认知负荷很高,此时环境中的交谈声和厨房器具的碰撞声可能会分散我们的注意力,增加我们的认知负荷。评估认知负荷的方式之一就是使用眼动追踪仪。研究发现,相较于平原环境,高原环境会引起工程机械驾驶员的操作时间、注视点平均持续时间、瞳孔直径、瞳孔直径变化率的升高,反映出认知负荷水平的升高。

图源:Front. Young Mind 2024

眼睛行为可以反映认知负荷。最左边,瞳孔大部分是收缩的,没有太多光线进入眼睛。表明该人可能没有经历太多的认知负荷。最右边,瞳孔扩张得更多,进入了很多光线,可能表明该人正在经历高认知负荷。

在实验中,瞳孔常会被呈现不同的视觉、听觉刺激,瞳孔的每一次扩张或收缩都会被追踪并记录下来。瞳孔测量技术通常利用眼动追踪系统进行,眼动追踪系统能够自动记录瞳孔直径的大小变化。一湾生命科技创造性地推出了 BehaviorAtlas EyeTracking 自由移动小动物的眼动记录与分析系统,可提取多种常见的瞳孔指标,如瞳孔位置、瞳孔直径、瞳孔面积、瞳孔移动速度等。此系统是目前世界上最轻的移动眼动追踪系统之一,集成了强大的 AI 眼部特征检测算法,对瞳孔进行数据采集、分析和可视化,实现对自由移动小鼠的精准眼动追踪,可以和光遗传、电生理、双光子等技术同步协调使用。

参考文献:
————————————————

  1. Nyström, Marcus et al. “What is a blink? Classifying and characterizing blinks in eye openness signals.” Behavior research methods vol. 56,4 (2024): 3280-3299. doi:10.3758/s13428-023-02333-9

  2. Gheorghe, Consuela-Mădălina et al. “Using eye-tracking technology in Neuromarketing.” Romanian journal of ophthalmology vol. 67,1 (2023): 2-6. doi:10.22336/rjo.2023.2

  3. Sekar, Akila et al. “Detecting Abnormal Eye Movements in Patients with Neurodegenerative Diseases - Current Insights.” Eye and brain vol. 16 3-16. 9 Apr. 2024, doi:10.2147/EB.S384769

  4. Skaramagkas, Vasileios et al. “Review of Eye Tracking Metrics Involved in Emotional and Cognitive Processes.” IEEE reviews in biomedical engineering vol. 16 (2023): 260-277. doi:10.1109/RBME.2021.3066072

  5. Carter, Benjamin T, and Steven G Luke. “Best practices in eye tracking research.” I nternational journal of psychophysiology : official journal of the International Organization of Psychophysiology vol. 155 (2020): 49-62. doi:10.1016/j.ijpsycho.2020.05.010

  6. Mott, Richard O et al. “Blink rate as a measure of stress and attention in the domestic horse (Equus caballus).” Scientific reports vol. 10,1 21409. 8 Dec. 2020, doi:10.1038/s41598-020-78386-z

  7. Grujic N, Polania R, Burdakov D. Neurobehavioral meaning of pupil size. Neuron. 2024 Jun 18:S0896-6273(24)00406-9. doi: 10.1016/j.neuron.2024.05.029.

  8. Martinez JE and Hout MC. Uncovering the Mental Effort of Reading Using Eye-Tracking Technology. 2024. Front. Young Minds. 12:1237161. doi: 10.3389/frym.2024.1237161

  9. Zahler, Sebastian H et al. “Superior colliculus drives stimulus-evoked directionally biased saccades and attempted head movements in head-fixed mice.” eLife vol. 10 e73081. 31 Dec. 2021, doi:10.7554/eLife.73081

  10. Roos, J C P et al. “A single mechanism for the timing of spontaneous and evoked saccades.” Experimental brain research vol. 187,2 (2008): 283-93. doi:10.1007/s00221-008-1304-1

  11. 薛耀锋,朱芳清.基于机器学习与眼动追踪的认知风格模型构建[J].现代远程教育研究,2024,36(04):94-103.

  12. 尤佳璐,惠延年,张乐.眼球运动及眼动追踪技术的临床应用进展[J].国际眼科杂志,2023,23(01):90-95.

  13. 朱姝蔓,潘伟杰,吕健,方年丽,邹悦.基于眼动追踪方法的可视化技术综述[J].软件工程与应用,2021,10(3):213-221

  14. 石建军,许键.眼动跟踪技术研究进展[J].光学仪器,2019,41(03):87-94.

  15. 闫国利,熊建萍,臧传丽,等.阅读研究中的主要眼动指标评述[J].心理科学进展,2013,21(04):589-605.

  16. 何靖宜.情感功能训练与HD-tDCS对精神病态罪犯情绪信息加工能力的影响[D].广州大学,2024.DOI:10.27040/d.cnki.ggzdu.2024.000660.

  17. 钟鑫.基于眼动数据分析的认知负荷评估研究[D].北京邮电大学,2023.DOI:10.26969/d.cnki.gbydu.2023.002967.

  18. 路易霖,王煊智,王喆诚,等.基于眼动生理测量的高原工程机械显示交互认知负荷研究[J].人类工效学,2024,30(02):46-52+66.DOI:10.13837/j.issn.1006-8309.2024.02.0008.

  19. 王珣,张树意,林浩添.眼球运动检查在阿尔茨海默病诊断的研究进展[J].眼科学报,2021,36(01):66-73.

瞳孔放大,是爱是怕?揭秘眼神背后的情绪、认知与行为

无论是面对诱人美食时的垂涎三尺,还是深情凝视爱人时的眼眸闪烁,我们的瞳孔都会不自觉地扩张,这是积极情绪引起的瞳孔扩张,然而当我们面临潜在危险,同样的瞳孔放大却透露出恐惧和警觉。那么,瞳孔的每一次微妙变化,究竟向我们传达了怎样的大脑信息?从脑科学的角度出发,笔者深入剖析了现有研究成果和神经环路的应用实例 [1-7],全面总结了瞳孔大小与神经科学的联系,为研究眼神中的神经行为提供全新的视角。

最近,苏黎世联邦理工学院的研究人员在国际学术期刊 Neuron 上发表了题为 Neurobehavioral meaning of pupil size 的 Perspective 文章,全面总结了瞳孔大小背后的神经行为意义。

01 瞳孔之变:揭秘瞳孔如何指引我们应对危险?

在遇到危险时,为了更好地观察周边环境,个体需要提高敏感度,这通常通过扩张瞳孔来实现,虽然会牺牲一定的视觉清晰度,但这种瞳孔的扩张是对环境变化做出的适应性反应,为感知周围潜在的危险或细微变化发生的瞳孔扩张是有益的,有助于在探索情景下优化对信息的获取。相对地,在需要集中精力完成任务时,收缩瞳孔可以提升视觉的清晰度和深度感知,帮助个体更精确地处理当前的任务。

瞳孔大小与策略行为(exploitation/exploration)有一套特殊的神经密码:自适应增益理论,该理论将行为策略分为专注 exploitation探索 exploration 两种,专注模式涉及单一任务(如吃饭、阅读等),与蓝斑的相位活动模式(快速短暂的活动)相关,导致瞳孔快速变化;探索模式涉及任务切换,与蓝斑的紧张模式(持久弥散的活动)相关,导致瞳孔扩张。

瞳孔大小的变化是大脑对环境变化作出反应的指标,与觉醒状态、情绪和认知功能紧密相连。在人类和动物中,瞳孔不仅在明暗变化下调整大小,还在运动、任务转换和环境不确定性下发生变化,反映出大脑对行为的优化调节。大脑系统通过调节瞳孔相关的觉醒来优化行为,表现出不同程度的适应性。重要的是,这些视觉感知的适应性变化不单是眼睛的单独反应,事实上,瞳孔大小的变化往往伴随着行为和与学习有关的大脑神经环路变化。

多维信号(神经变化、行为变化)映射到瞳孔大小的变化。

该图展示了影响瞳孔变化的多种因素,如营养状态(nutritive state)、学习速率(learning rates)、显著刺激(salient stimuli)、光学畸变(optical distortions)、环境不确定性/波动性(environmental uncertainty/volatility)、刺激的情绪效价(stimulus emotional valence)、心理努力(mental effort)、亮度(luminance)、觉醒状态(wakefulness)、探索与专注行为策略的平衡(exploration/exploitation balance)、皮层的同步(cortical synchronization)、运动(movement)以及感觉调节(sensory modulation)等,该图表明现有研究关于与瞳孔相关的觉醒状态的复杂性和不确定性。

光遗传学操作已被证实能够控制瞳孔大小 ,研究人员对小鼠下丘脑中的特定神经元进行了光刺激实验,观察到瞳孔直径的变化,且瞳孔反应与光刺激的频率和强度相关,刺激频率越高,瞳孔扩张速度和幅度越大,研究还发现瞳孔大小的变化与奖励的预期和消耗有关,与身体运动有关,这为研究瞳孔大小在视觉和生理调节中的作用提供了新视角。[未来可以使用光遗传学及神经计算工具深入研究瞳孔变化过程中信息处理的机制。]

食欲素细胞激活可以引起的瞳孔扩张反应 图源:Nature neuroscience 2023

02 调节瞳孔大小的神经机制

调节瞳孔收缩和扩张的神经环路位于脊髓和脑干中,调节瞳孔大小的神经机制如下:

  1. 在光照下,视网膜神经节细胞传递信号至中脑的 PON,再由 PON 投射至 EWN。EWN 神经元通过 CG 支配控制瞳孔收缩。而黑暗会使瞳孔放大,此时的瞳孔扩张由脊髓 IML 神经元激活,通过 SCG 控制瞳孔扩张。

  2. LC-NA 系统在调节觉醒和认知方面发挥着重要的作用,LC-NA 被认知活动觉醒,蓝斑(LC)会释放去甲肾上腺素(NA),LC 可以直接投射到 IML,增强交感神经系统活动,控制扩张肌,使瞳孔扩张,瞳孔的大小常用于反应 NA 活性,瞳孔扩张常代表大脑中去甲肾上腺素能系统活动的上升;LC 还与下丘脑之间存在连接,由下丘脑投射到 IML,对交感神经系统产生间接的影响;LC 还直接投射到上丘,上丘神经元可以通过直接或间接途径投射到 EWN,从而影响调节瞳孔大小。

  3. 食欲素神经元可以影响 SCN、PON、EWN、IML, 从而对交感神经系统和副交感神经系统产生影响,调节瞳孔大小。

调节瞳孔大小的经典/最新神经环路机制 图源:Neuron 2024

03 瞳孔大小与大脑状态的神经联系

瞳孔大小与大脑状态之间关系十分复杂,目前针对人类和啮齿类动物的研究表明,与瞳孔大小变化相关的活动,会对大脑皮层和皮层下区域的活动及信息处理方式产生影响。瞳孔会在明亮的光线下收缩,在黑暗的场景中扩张,而我们的大脑在不考虑明暗变化的情况下,也能控制瞳孔大小,这常被用作 arousal (唤醒/觉醒)的指标。瞳孔相关的觉醒对生物体的行为和大脑状态具有广泛的影响,值得进一步深入研究。

运动对瞳孔大小和皮层活动有显著影响,在大脑皮层中有不同的调节模式,丘脑作为感觉信息传递到皮层的中转站,在不同觉醒状态下有不同的放电模式。

视觉皮层:
在视觉皮层中,运动期间瞳孔的放大与一系列神经活动增强相关,包括伽马波的增加,神经元放电率的提高等,这一过程中还会出现乙酰胆碱和去甲肾上腺素神经递质的动态变化,这些神经递质不仅调控神经元活动,还与瞳孔大小的变化紧密相关。

听觉皮层:
与视觉皮层相反,在听觉皮层中观察到的现象是放电率的降低和对刺激反应性的减弱。

为准确地观察不同皮层区域的活动,研究人员使用新技术电压敏感染料,进一步研究觉醒状态如何影响这些脑区的极化状态和对刺激的反应。发现与瞳孔相关的觉醒在初级听觉和视觉皮层区域先发生去极化,然后超极化;在初级感觉和次级视觉皮层区域仅发生超极化,但觉醒减少了机体对感觉刺激的相位反应,表明尽管觉醒在感觉皮层有多种效应,但对感觉反应的效应相似。瞳孔的大小还与注意力和觉醒相关的脑电信号存在共同变化的现象。这些发现提示在解释神经科学数据时需要考虑不同脑区的特定反应。

04 瞳孔分析在神经系统疾病研究中具有非凡潜力

瞳孔大小的测量在临床应用中具有较高的应用潜力,尤其在自闭症、阿尔茨海默病等神经退行性疾病的早期诊断中。注视跟踪和瞳孔扩张是儿童自闭症的早期诊断标志,最新研究表明多种眼动追踪标志物可以改善儿童自闭症的诊断。一湾生命科技成功开发了实时瞳孔测量系统,揭示了基因编辑自闭症家犬的瞳孔异常特征,相关论文发表在国际学术期刊Molecular Psychiatry上。(点击跳转,阅读相关推文)

瞳孔大小为洞察大脑的神经、认知和计算过程提供了重要参考。深入挖掘瞳孔大小的奥秘有助于我们更全面地理解大脑的工作机制,同时促进开发和完善基于瞳孔分析的诊断方法,有助于为神经系统疾病的早期检测和治疗提供支持。

05 如何测量瞳孔变化?

瞳孔测量技术通过精确记录瞳孔对特定刺激的响应,来反映个体的生理或心理状态。这项技术通常利用眼动追踪系统进行,眼动追踪系统能够自动记录瞳孔直径的大小变化。在实验中,瞳孔常会被呈现不同的视觉、听觉刺激,瞳孔的每一次扩张或收缩都会被追踪并记录下来。

一湾生命科技创造性地推出了 BehaviorAtlas EyeTracking 自由移动小动物的眼动记录与分析系统,该系统具备轻量级传感器,头戴式记录装置轻至1g;该系统能够在小动物自由移动情况下对其瞳孔进行记录与分析;该系统具有精准可靠的眼动追踪效果,可提取多种眼动指标,如瞳孔位置、瞳孔直径、瞳孔面积、眼跳速度等;该系统支持丰富的眼动数据可视化,支持多种符合论文标准的可视化图表的生成,包括眼动轨迹图、瞳孔位置热图、事件相关瞳孔变化图、瞳孔对比统计图等。

一湾生命科技有限公司自主研发的 BehaviorAtlas Eyetracking 自由移动眼动追踪分析系统集成了通用、易于兼容的眼动追踪硬件和强大的眼部特征检测算法。在头部固定或者自由移动的小动物上均实现了眼动跟踪。其超轻硬件和可拆卸设计允许在动物裸露的头部添加更多植入物,可以和光遗传、电生理、双光子等技术同步协调使用。

参考文献:
————————————————

  1. Grujic N, Polania R, Burdakov D. Neurobehavioral meaning of pupil size. Neuron. 2024 Jun 18:S0896-6273(24)00406-9. doi: 10.1016/j.neuron.2024.05.029.

  2. Grujic N, Tesmer A, Bracey E, Peleg-Raibstein D, Burdakov D. Control and coding of pupil size by hypothalamic orexin neurons. Nat Neurosci. 2023 Jul;26(7):1160-1164. doi: 10.1038/s41593-023-01365-w.

  3. Joshi S, Gold JI. Pupil Size as a Window on Neural Substrates of Cognition. Trends Cogn Sci. 2020 Jun;24(6):466-480. doi: 10.1016/j.tics.2020.03.005.

  4. Ren W, Huang K, Li Y, Yang Q, Wang L, Guo K, Wei P, Zhang YQ. Altered pupil responses to social and non-social stimuli in Shank3 mutant dogs. Mol Psychiatry. 2023 Sep;28(9):3751-3759. doi: 10.1038/s41380-023-02277-8.

  5. Keehn B, Monahan P, Enneking B, Ryan T, Swigonski N, McNally Keehn R. Eye-Tracking Biomarkers and Autism Diagnosis in Primary Care. JAMA Netw Open. 2024 May 1;7(5):e2411190. doi: 10.1001/jamanetworkopen.2024.11190.

  6. 魏蓝坤. 知觉状态对瞳孔大小的影响[D]. 成都医学院, 2022. DOI: 10.27843/d.cnki.gcdyy.2022.000089.

  7. 杨晓梦, 王福兴, 王燕青, 等. 瞳孔是心灵的窗口吗?——瞳孔在心理学研究中的应用及测量[J]. 心理科学进展, 2020, 28(7):1029-1041. DOI: 10.3724/SP.J.1042.2020.01029.

西安交通大学李燕教授团队揭示社交记忆的新神经机制

社交记忆,即动物识别熟悉同类的能力,对生存和繁殖至关重要。近期,西安交通大学第一附属医院脑科学研究中心的李燕教授团队在《Neuron》杂志上发表重要研究成果,揭示了丘脑网状核(TRN)在社交记忆中的关键作用。

sTRNPvalb 神经元:社交记忆的开关

该团队的研究显示,感觉丘脑网状核(sTRN)中的parvalbumin阳性神经元(sTRNPvalb)对于小鼠的社交记忆具有关键性作用。这些神经元接收来自后顶叶皮层(PPC)的谷氨酸能信号,并通过影响丘脑束旁核(PF)来传递个体间的信息。当PPC至sTRN至PF的神经环路受到抑制时,小鼠在区分熟悉与新奇同类的能力上表现出障碍。

细胞机制:sTRNPvalb神经元的特异性

更引人注目的是,sTRNPvalb神经元中的一部分展现出高度的电生理活性和复杂的树突结构,这些特性使得它们可能参与了社交记忆的存储。单细胞RNA测序结果揭示了这些神经元在蛋白质合成方面的显著激活,为社交记忆的分子基础提供了证据。

胡须运动测试:触觉感知与社交记忆的关联

本研究中李燕教授团队使用Bayonesz公司的胡须分析技术,进行了胡须运动测试。本实验使用了一湾生命科技自主研发的BehaviorAtlas® Lite MazeTracking软件及相关算法 (点击跳转),通过高速摄像机记录小鼠在空气喷射刺激后的胡须运动,以评估sTRNPvalb神经元在社交记忆中的作用。结果显示,sTRNPvalb 神经元的抑制影响了小鼠的触觉感知能力,尤其是与社交互动相关的胡须运动控制。然而,这种影响与社交记忆的损害并不显著相关,表明sTRNPvalb 神经元可能通过其他机制影响社交记忆。

通过标记关键点数据集训练姿态估计模型后,跟踪视频每一帧中关键点的坐标信息。使用图像分析来定位小鼠的鼻子、胡须根部(wroot)和来自小鼠胡须中间外侧的三个不同胡须尖端(tip1、tip2和tip3)的3个点(方向是从鼻子到脸部)。

一湾生命科技的贡献

本研究中使用的BehaviorAtlas® Lite MazeTracking软件及相关算法由一湾生命科技自主研发。该技术能够自动识别动物的特定行为,无需人工标记,极大提高了研究效率。一湾生命科技致力于利用计算机视觉和深度学习技术,为动物行为学和神经科学研究提供先进的工具和方法。

结语

一湾生命科技的创新技术在本研究中的应用,不仅展示了我们在动物行为分析领域的强大能力,也体现了我们在国际科研领域的影响力。随着人工智能技术的不断进步,一湾生命科技将继续推动科研工具的发展,助力科学家深入探索神经科学的奥秘。

浅谈动物行为学的研究方法的过去、现在和未来

动物行为学的研究方法的过去、现在和未来尤其是最近两年,基于人工神经网络(Artificial Neural Network,ANN),新的行为软件工具可以精确地追踪到动物身体的多个身体点。这些先进的技术几乎能够帮助人们获取无数的行为参数,并将这些参数转化为丰富的行为量化指标。这些新技术的出现正在改变动物行为分析的传统局面,在带来前景的同时,也对未来动物行为学的发展方向带来挑战。

Past

早期人们研究动物行为——过去

在早期,达尔文和洛伦兹及廷贝亨等人研究动物行为都是在自然的条件下去观测动物行为,属于行为生态学(Behavioral Ecology)的范畴。此阶段采用的方法主要是人工直接观察法,在观察的同时,采用最原始的方式记录某些行为出现的次数或时长。目的是观察动物的栖息、觅食、繁殖、迁徙、社会交往有关的习性。用于总结动物与环境、种群内和种群间的关系,从而进一步验证有关进化、遗传、生理和心理等领域的各种假设。这种方法只能主观性的对动物的行为进行描述,既不能记录下动物行为,也无法客观的定量描述

Present

“迷宫工程”——现在

在摄像技术等传感器技术出现后,传统的直接观察法变成了可以利用录像等设备记录动物行为,实现间接的行为观察。相比传统的人为观察,借助录像设备的间接观察法不需要观察者长时间参与,并且不会对动物造成干扰和惊吓。不过,另一方面,随着记录的行为原始数据增多,人为观察和评估不仅耗时费力,主观性依然存在,因此,需要更加高效的方式从这些视频中定量分析行为。

在这篇文章中(点击文字跳转),我们提到为了能够自动、定量的提取其中的行为参数,科学家们(尤其是在神经科学领域)设计了一系列行为测试装置(或者叫做行为范式),例如旷场(Open-field test, OFT)、高架十字迷宫(Elevated plus-maze test, EPM)、水迷宫(Morris water maze, MWM)等。目的是为了构造一种特定简化的场景,在这个场景下,动物被诱导去往不同的位置、或者进行特定的动作响应(如舔糖水)。因为在过去机器学习(Machine Learning)技术出现,位置及部分动作是容易被计算机自动量化、识别成行为特征(Feature)的。这些容易量化的行为特征,被关联到学习与记忆、认知、社会交往、情绪状态等脑功能。

将位置信息以及特定环境要素下的动作响应与动物的脑功能关联,这种思路本身是没有问题的。但即使是动物的位置及一些简单的动作,也并非那么容易准确获取。你也许有这种体会:即使在背景简单的照片上用Photoshop抠图,也很难自动地得到好的效果。因此,过去几十年,动物行为学新增的各种范式有几十种,都是在在范式合理性以及后期数据量化的难度之间进行了权衡后沿用下来的。在这个大前提下设计的很多范式就像在让小老鼠走“迷宫”,所以这个时代可以叫做“迷宫工程”。这也导致了诸如强迫游泳(Force swimming test, FST)这种范式具备很好的量化性,但合理性被人质疑

图1 对动物行为特征追踪的发展趋势(Pereira, Shaevitz, et al., 2020)

在“迷宫工程”的同时,人们也没有放弃对动物精准追踪的努力(图4)。到了机器学习时代,尤其是人工神经网络的兴起,使动物行为学得到了快速地发展 。这其中最具有代表性的非2018年在Nature Neuroscience 上发表的动物姿态工具包DeepLabCut(DLC)莫属了。Nature 在知乎的认证账号也用《运动科学大惊喜:Dr.魏也在用的DeepLabCut》这样吸引眼球的标题作为介绍。实际上,该工具包的火爆程度在动物行为学研究领域里也许不亚于Dr.魏。这个工具包使得动物位置追踪,甚至是任意身体点追踪不再是难事。那么,下个时代,动物行为范式的设计是不是可以也跟着改变了呢?

图2 DeepLabCut 在许多动物物种中产生了有意义的结果,包括老鼠、果蝇甚至是年轻人(Wei, Kording, et al., 2018)


Future

新一代行为评估方法不仅仅需要技术的进步——未来

当DLC这类工具出现以后,很多实验室都开始配置高性能的图形处理工作站、按照教程配环境、标数据点、训练模型。这样辛苦一番的操作后,得到的效果确实不错。DLC可以在各种光照、背景下追踪多个身体点,甚至可以精细到小鼠的胡须、爪子的关节点。相比之前动辄数万美金的动物位置追踪软件,DLC灵活度更好,准确度更高

但是大家很快发现,在增加硬件投入、时间投入,数据维度也接近指数增长的同时,后续还是只能用来计算动物的速度、位置等低维的行为指标。尽管一些课题组也尝试采用有监督学习(Supervised learning)的策略,事先标记常见的一些自发行为动作(例如,Groom-梳理、Freeze-冻结、Rear-竖起、Sniff-嗅探等),然后训练神经网络来从这些追踪到的身体点中识别这些动作。动物行为复杂多样,同一种动作呈现状态也各异。需要海量的人工标注的数据集,而目前这种数据是缺乏并且短时间内难以建立的。数据集中的行为类型也是有限的,新的疾病动物模型的关键行为特征也许识别不出来。另外,就算识别出了这些自发动作,动物在这些迷宫范式中出现某些动作频次的多或少、先或后究竟与脑功能与脑疾病有何关联?
3 DeepLabCut 在许多动物物种中产生了有意义的结果,包括老鼠、果蝇甚至是年轻人(Wei, Kording, et al., 2018)

Future

新一代行为评估方法不仅仅需要技术的进步——未来

当DLC这类工具出现以后,很多实验室都开始配置高性能的图形处理工作站、按照教程配环境、标数据点、训练模型。这样辛苦一番的操作后,得到的效果确实不错。DLC可以在各种光照、背景下追踪多个身体点,甚至可以精细到小鼠的胡须、爪子的关节点。相比之前动辄数万美金的动物位置追踪软件,DLC灵活度更好,准确度更高

但是大家很快发现,在增加硬件投入、时间投入,数据维度也接近指数增长的同时,后续还是只能用来计算动物的速度、位置等低维的行为指标。尽管一些课题组也尝试采用有监督学习(Supervised learning)的策略,事先标记常见的一些自发行为动作(例如,Groom-梳理、Freeze-冻结、Rear-竖起、Sniff-嗅探等),然后训练神经网络来从这些追踪到的身体点中识别这些动作。动物行为复杂多样,同一种动作呈现状态也各异。需要海量的人工标注的数据集,而目前这种数据是缺乏并且短时间内难以建立的。数据集中的行为类型也是有限的,新的疾病动物模型的关键行为特征也许识别不出来。另外,就算识别出了这些自发动作,动物在这些迷宫范式中出现某些动作频次的多或少、先或后究竟与脑功能与脑疾病有何关联?

图3 在新的技术体系下,如何建立行为大数据与脑功能之间的关联?(Kheirbek et al., 2020)

也就是说,现阶段,想要通过批量录制动物行为视频,用人工智能就能自动化地评估动物乃至人的疾病与正常状态(包括疾病分型、疾病分级、药物作用下行为的变化)的目标看似接近,但还远未实现。那么接下来,新一代的行为评估方法体系该如何建立呢?领域内普遍认为除了要继续开发更多的工具让行为大数据变得更容易获取,还需要构建新的行为知识数据库(或者叫做行为图谱)

首先,在行为学的工具开发上,要往自动、智能、精细化的方向发展。要借助于传感、物联网、计算机视觉、机器学习等技术,开发能够在各种范式下获取动物身体三维姿态、任意部位速度、步态、精细化动作系列、面部表情、眼动反应等基础的行为参数的仪器和软件。

其次,在建立行为图谱上,将上述的基础行为参数与行为对应的范式、基因、神经活动等数据关联起来后,还要将最新的研究成果(比如,某个物种通过基因编辑构建新的疾病模型所表现的共性的行为表型)共享起来。形成一个良好注释(Well-annotated)的数据库,方便研究人员们查阅、参考和讨论。这方面可以参考基因测序领域。人类基因组计划完成后,如何解释和分析它的问题仍然存在。为了寻找与疾病相关的基因,像DAVID、Metascape、Enrichr、ClueGO等知识数据库及工具就被构建起来。构建类似的行为学知识数据库要解决的最重要的问题是数据如何共享起来。共享的前提是数据存储在哪里,存储哪些行为数据字段、用什么样的工具去格式化数据以及查看数据。

我们相信,随着未来上述问题的解决,动物行为分析必然会给神经-行为的分析以及基于行为的疾病模型鉴别、药物筛选、疾病诊断带来质的提升。

参考资料
————————————————

  1. Huang, K., Han, Y., Chen, K., Pan, H., Zhao, G., Yi, W., … & Wang, L. (2021). A hierarchical 3D-motion learning framework for animal spontaneous behavior mapping. Nature communications, 12(1), 1-14.

  2. Pereira, T. D., Shaevitz, J. W., & Murthy, M. (2020). Quantifying behavior to understand the brain. Nature neuroscience, 23(12), 1537-1549.

  3. Wei, K., & Kording, K. P. (2018). Behavioral tracking gets real. Nature neuroscience, 21(9), 1146-1147.

  4. Xia, F., & Kheirbek, M. A. (2020). Circuit-based biomarkers for mood and anxiety disorders. Trends in neurosciences, 43(11), 902-915.

为什么要用3D的方式采集动物行为数据?

动物的行为发生在三维(3-dimensional,3D)的世界中:绝大多数动物具有多个关节点,基于这些关节点动物身体可以发生3D形变,排列组合成丰富的姿态(pose);动物可以通过站立、跳跃、浮游、飞翔等方式突破常规活动的地平面,从而在其他维度活动。因此,很多与动物运动功能损伤上的异常、神经精神疾病造成的刻板行为,只能在3D的观测场景下,才能发现行为生物标记物(behavior bio-marker)的本质。以3D动物姿态作为行为特征,不仅能够更为全面表征动物行为,还具有冗余性低、易传输、宜进一步处理的特性。

01 传统的2D行为采集的局限性

视野遮挡

传统的方法往往通过单个摄像机记录动物行为学数据,所能记录也只能是该视野所能覆盖到2D行为信息。古人云“横看成岭侧成峰,远近高低各不同”,这首诗言简意赅的说明了视角不全带来的重大问题。我们始终无法从动物背后判断动物是否在梳理毛发,或者是从顶部观察到足底的步态。

维度信息损失

尽管都知道动物行为需要多视角的采集3D数据,但硬件的稳定性和成本,软件的可行性和效率不是一蹴而就的。通过对比不同的动物行为特征的表示方式,可以感受到传统的2D行为采集造成的维度信息损失。

1)单点轨迹:对单视角中动物的质心进行连续追踪。这种方式适用于各种迷宫范式,用于分析动物的位置偏好,速度变化等信息。只能知道动物在哪里,而无法知道动物在干什么。
2)轮廓追踪:将动物从实验背景中分割出来。即能够实现单点轨迹中的位置偏好,速度变化等信息的获取,也能在一定程度上推测动物身体抖动、弯曲、头尾活动的模式。但无法具体到肢体的活动状态。
3)3D骨架:通过多视角拍摄,深度学习识别身体特征点,计算机视觉进行三维重建来获取动物多身体点的骨架。很显然,我们无法从身体单点和轮廓的变化中推测动物在干什么,但通过3D骨架,我们很容易知道动物各个身体部位的位置,变化状态以及所进行的行为动作。

02 3D行为采集的优势

3D行为采集通过对动物关节点3D坐标的追踪,尽可能全面、可靠的保留动物全身活动的所有数据。那么基于这些数据,可以使经典的行为分析更加精准、可靠,还能实现以往无法进行的一些研究范式。

更精准、全面的数据

1. 步态研究

步态分析常用于研究运动功能异常的一些动物模型,例如帕金森症、疼痛等模式动物。传统的步态分析,需要动物行走在压力传感器上,然后用摄像机从底部拍摄压力传感器感应到的动物足迹。在进一步的分析中,计算动物行走过程中足部支撑时间、摆动时间,步幅长度等参数。但这种些仪器只能拍摄步态,而无法研究其他行为。

基于3D行为采集系统,无需特殊的传感器就可以获取身体10多个骨骼点的坐标。基于这些数据,不仅可以分析动物在自由状态下的步态,还能同时分析动物的其他行为[1]

2. 行为自动识别

自动的识别动物在行为实验中动物所发生特定动作(例如:梳理-grooming,站立-rearing,嗅探-sniffing等)的频次,在以往一直是需要突破的技术难题。因为研究人员经常通过统计这些动作发生的频次来判断动物是否患有疾病、药物是否有效、调控是否发生显著作用。基于2D方式采集到的行为数据,由于维度信息的缺失,行为识别的准确率无法保证。因此,研究人员们只能通过人工计数这种费时又枯燥的方式。

而基于3D行为数据,从数据源头保证了数据的全面性和无偏性,动物行为的自动识别也即将成为现实[2]
3. 神经行为同步

神经行为学研究的终极目标是理解动物行为如何受大脑神经活动的控制[3]。要实现这一目标不仅需要全面的记录神经活动的数据,还要全面的记录到行为的数据。因此,很容易理解,传统的2D行为数据与先进的大规模神经活动记录不匹配。而3D行为数据正在补齐这个短板。BehaviorAtlas三维行为采集系统与超维景自由移动双光子神经活动记录同步,发现了运动皮层的细胞与动物行为的耦合性。

新的行为学数据标准

采用3D骨架作为动物行为数据的表征,不仅能够在行为学研究发现上带来好处,还因为其全新的数据表示方式,有望推动动物行为学进入到一个新的时代

1. 3D骨架数据-数据量更小

3D动物姿态表征提升了行为特征的全面性,具有极高的信息密度。相比原始的多视角全景视频,3D行为数据具有极小的存储体积(相比原始视频,其存储体积可以压缩数百倍)。在未来构建生物多样性的大样本表型数据库中,它完全可以作为原始的行为表征,方便人们查询与使用。

2. 数据的标准性和一致性

以往以视频行为存储的行为数据,因视角、分辨率、图像格式的不同,这些数据匹配的认为先验知识是很难具备通用性的。而3D动物姿态轨迹以真实3D空间作为参考系、以数值的形式作为原始特征,具备高度通用性。因此,未来可以形成一个以3D动物姿态轨迹的标准数据库,使得新的分析技术,新的研究结果可以快速的进行共享。

3. 匿名性

在临床案例数据中,阻碍数据分享的一个重要因素是要保护患者的隐私。因此很难将原始的视频数据上传。而3D行为数据在尽可能保留行为特征的同时,不携带患者的身份相关的信息。这也是3D行为数据有望成为新的行为学数据标准的一个重要原因。

04 3D-AI动物 行为 分析系统 简介

一湾生命科技自主研发的三维行为采集设备,是国内首家无标记(Markerless)三维动物姿态捕捉设备。无需在动物身上添加任何物理标记,就能精准地识别动物身体的多个(16个点以上)部位,追踪三维骨骼序列。该系统可应用于大小鼠、非人灵长类、犬类、猫、猪等多种动物,实现自动化、智能化、精细化的动物行为评估。

图1 多机位捕捉动物行为,重建3D骨架

该产品体系由三维数据采集设备、数据处理软件、行为可视化软件组成,适用于现有行为学研究体系下的多种通用范式,如旷场试验、新物体识别、 三箱社交、 社会等级、 本能恐惧等。

参考资料
————————————————

  1. Weber R Z, Mulders G, Kaiser J, et al. Deep learning based behavioral profiling of rodent stroke recovery[J]. BioRxiv, 2021.

  2. Huang K, Han Y, Chen K, et al. A hierarchical 3D-motion learning framework for animal spontaneous behavior mapping[J]. Nature communications, 2021, 12(1): 1-14.

  3. Han Y, Huang K, Chen K, et al. MouseVenue3D: A Markerless Three-Dimension Behavioral Tracking System for Matching Two-Photon Brain Imaging in Free-Moving Mice[J]. Neuroscience Bulletin, 2022, 38(3): 303-317.

从瞳孔扩张到大脑活动:小鼠瞳孔测量实验揭示奖励预测的神经密码

你是否曾经注意到,在紧张或兴奋时,你的瞳孔会不自觉地放大?在放松或昏昏欲睡时,瞳孔又会变得较小?眼睛不仅仅是我们观察世界的窗口,还能揭示我们的内心世界。瞳孔,其实是我们情绪、注意力和认知状态的忠实反映者。一项发表在Frontiers in Systems Neuroscience的研究通过观察小鼠的瞳孔动态,为我们理解奖励预测信号提供了新的视角。

瞳孔的自主神经系统控制

瞳孔大小由自主神经系统控制,主要涉及交感神经系统和副交感神经系统。交感神经系统的活动导致瞳孔扩张,而副交感神经系统的活动导致瞳孔收缩。这些系统通过激活或抑制位于脊髓的中间外侧细胞柱(IML)和位于脑干的动眼神经副核(EWN)来调节瞳孔大小。

想象一下,你正在玩一个游戏,每当完成一个任务,就会得到一些积分作为奖励。在这个过程中,你的瞳孔可能会不自觉地扩大,尤其是在你知道即将获得奖励的时候。这种瞳孔的扩张,是因为你的大脑在预测即将到来的好事,这种预测激活了我们大脑中的奖励系统。

多巴胺系统与奖励预测

多巴胺系统,特别是腹侧被盖区(VTA)的神经元,与奖励预测误差信号密切相关。当实际奖励与预期不符时,VTA神经元的活动会发生变化,这种信号被认为在学习过程中起到关键作用。多巴胺神经元的活动模式与LC神经元的活动模式有相似之处,这表明两者可能在奖励预测和动机中共同作用。

在这项研究中,研究人员使用了一种头部固定的实验装置,结合深度学习算法来精确追踪小鼠在执行巴甫洛夫延迟条件反射任务时瞳孔大小的变化。他们特别关注了小鼠在预测奖励(如蔗糖溶液)时的瞳孔反应。通过比较能够预测奖励的小鼠与不能预测奖励的小鼠,研究人员发现,瞳孔大小的变化不仅与奖励的预期和消耗有关,还与身体运动有关,但与意外奖励的提供无关。

此外,研究还发现,即使在使用了氟哌啶醇(一种多巴胺D2受体拮抗剂,可以抑制身体运动)后,小鼠的瞳孔大小仍然会因为奖励预测而发生变化。这一发现表明,瞳孔大小的变化确实反映了大脑中的奖励预测信号。

图1 头固定实验装置和定制的实验控制系统的示意图*

图2 瞳孔测量的示意

巴甫洛夫条件反射

又称经典条件反射,是一种学习过程,其中一个中性刺激(如声音)通过与自然奖励(如食物)的重复配对,最终能够引发与奖励相关的生理和行为反应。这种学习过程涉及到大脑中的多个区域,包括杏仁核、海马体和前额叶皮层。

瞳孔测量技术

瞳孔测量技术是一种非侵入性方法,用于精确测量瞳孔大小的变化。这种技术可以揭示个体的认知和情绪状态,因为它与大脑中的注意力和奖励系统紧密相关。瞳孔测量技术在心理学、神经科学和临床研究中都有广泛应用。

药理学干预

药理学干预是研究神经递质系统功能的一种方法。通过使用特定的药物来阻断或激活特定的受体,研究者可以观察到这些受体在行为和生理过程中的作用。这种方法有助于揭示大脑中特定神经途径的功能。

通过结合行为分析、图像分析、瞳孔测量学和药理学操作,这项研究提供了关于大脑如何处理奖励预测和预测错误的重要证据。奖励预测对于学习、决策和动机至关重要,它涉及到大脑中的多巴胺系统,特别是位于中脑的腹侧被盖区(VTA)的神经元。这些神经元的活动与我们感受到的快感、动机以及预测错误(即实际结果与预期不符)紧密相关。通过观察瞳孔的变化可以更深入地了解这些神经过程,因为瞳孔的扩张和收缩受到自主神经系统的控制,特别是与VTA神经元活动高度相关的蓝斑(LC)神经元。因此,**瞳孔大小的变化可以作为研究大脑奖励系统活动的间接指标。**下次当你的瞳孔在不经意间放大或缩小时,记得,这不仅仅是对光线的反应,它可能也在告诉你,你的大脑正在忙碌地处理着复杂的信息。

蓝斑是位于脑干的一个关键区域,其神经元活动与瞳孔扩张相关。LC神经元释放去甲肾上腺素,通过激活IML中的α1受体来促进瞳孔扩张。LC的活动与警觉性、注意力和应激反应有关,因此瞳孔大小可以间接反映这些认知状态。

本文的研究方法与传统实验相比具有以下优势:

1、头部固定的实验装置:

传统的啮齿动物行为研究通常允许动物在实验箱中自由移动,这使得精确测量瞳孔大小变得困难。头部固定的装置可以减少动物的运动,从而允许更精确的瞳孔测量,避免了运动对瞳孔大小测量的干扰。

一湾生命科技创新性推出了BehaviorAtlas EyeTracking自由移动小动物的眼动记录与分析系统,集成了通用、易于兼容的眼动追踪硬件和强大的眼部特征检测算法,能够在小动物自由移动情况下对其瞳孔进行记录与分析。采用超轻硬件和可拆卸设计,本系统允许在动物裸露的头部添加更多植入物,并具有精确的同步模块来协调其他神经植入物(如光遗传、电生理、双光子等)。选择EyeTracking,让精准瞳孔追踪技术助力您的研究。

2、深度学习基础的图像分析:

通过使用先进的图像分析技术,研究者能够自动化地追踪和分析小鼠的瞳孔边缘,这比人工观察和记录更为准确和高效。深度学习算法可以处理大量的视频数据,提供连续的瞳孔大小变化信息,而传统方法可能依赖于间歇性的手动测量。

3、实时监测与数据分析:

研究中的实验设置允许实时监测小鼠的瞳孔动态,这为理解瞳孔变化与行为之间的实时关系提供了可能。传统的研究可能需要离线分析,无法捕捉到快速的、瞬时的瞳孔变化。

4、综合多模态方法:

结合行为分析、图像分析、瞳孔测量学和药理学操作,这种多模态方法提供了一个全面的视角来理解复杂的神经行为现象。这种方法比单一的实验方法更能揭示行为和神经活动之间的复杂关系。

绒猴的凝视:深度学习模型突破性进展,开启动物社交行为研究新思路

想象一下,如果你能读懂他人的目光,知道他们何时在注意你,何时在注视别处,这将如何改变你的社交互动?在人类和灵长类动物的世界里,目光交流是一种强大的社交信号,它能够传达兴趣、注意力甚至意图。但是,如何精确地测量和分析这种复杂的社交行为呢?

狨猴(Callithrix jacchus),这种体型小巧、社交性强的灵长类动物,其社交行为与人类有着惊人的相似之处。在自然环境中,它们通过头部的转动和目光的方向来传递注意力和兴趣。然而,传统的非人类灵长类动物社交注视实验通常需要限制头部运动,这大大限制了它们自然行为的表现。最近,耶鲁大学的研究团队介绍了一种新的框架,能够准确追踪自由移动的普通绒猴的面部特征和三维头部注视方向,这项创新的研究成果发表在bioRxiv上。

社交行为的神经基础

镜像神经元系统:在人类和其他灵长类动物中,存在一组特殊的神经元,被称为镜像神经元,它们在个体执行动作或观察他人执行相同动作时被激活。这些神经元被认为与模仿、同理心和社会学习有关。

社会脑假说:这一假说提出,灵长类动物(包括人类)大脑的某些部分特别发达,以支持复杂的社会互动和沟通。

研究开发了一种新颖的方法,通过深度学习网络和三角测量算法,实现了对多只自由移动的绒猴面部特征和三维头部注视方向的准确追踪。这项技术克服了常见的遮挡挑战,使得研究人员能够在不受限制的自然环境中观察和分析绒猴的社交行为。

深度学习在动物行为研究中的应用

行为追踪和分析:深度学习模型被用于自动化追踪和分析动物的运动模式和行为,如猴群的社会网络分析和鸟类的迁徙模式。
情感和认知研究:通过分析动物的面部表情和声音,深度学习可以帮助研究者探索动物的情感状态和认知能力。

绒猴作为模型动物的重要性

社会结构和行为:绒猴是高度社会化的动物,它们的社会结构和行为模式为研究人类社会行为提供了有价值的模型。

遗传和环境因素:绒猴的研究有助于理解遗传和环境因素如何共同影响社会行为和认知能力。

团队首先创建了一个实验设置(图1),其中两只绒猴可以在两个透明的亚克力围栏中相互看到对方,同时保持物理上的隔离。通过围绕每个围栏的四个相机,研究人员能够捕捉到绒猴的每一个动作。然后,他们使用深度学习网络来自动识别和跟踪每只绒猴的六个面部特征点,这些特征点构成了一个动态的三维几何面部框架,允许研究人员推断出每只动物的头部注视方向(图2)。

图1 实验设置和3D空间重建

图2 两只绒猴面部特征检测流程

通过这种方法,研究人员能够检测到不同类型的互动社交注视事件,包括指向伙伴的目光和共同指向共享空间位置的目光。他们观察到性别和熟悉度对绒猴对间距离和注视动态都有明显影响(图3)。不熟悉的配对展示了更多的场地占据模式,对社交注视的持续水平更高,并且增加了注视监控。而熟悉的配对则展示了更高水平的共同注视。此外,无论熟悉度如何,雄性都显示出显著提高的注视雌性面部和周围区域的水平。

图3 狨猴的实时互动凝视分析

这项研究不仅为我们提供了一种在自然状态下量化灵长类行为的强有力工具,而且还为我们理解社交互动中的性别和熟悉度如何影响注视动态提供了新的见解。通过这种自动化的追踪系统,我们可以更深入地探索灵长类群体动态,并为理解自然行为背后的神经动态奠定基础。

拓展

绒猴作为一种高度社会化的灵长类动物,其社交行为与人类有许多相似之处,因此它们成为了研究人类社交互动的重要模型。最新的研究成果揭示了绒猴在社交互动中的头部和目光行为,这对理解人类的社交互动提供了几个方面的启示:

  1. 性别和熟悉度的角色:研究表明,绒猴的社交注视行为受到性别和熟悉度的影响。雄性绒猴更多地注视雌性的面部,而熟悉度则影响了共同注视和伙伴注视的频率。这与人类社交互动中的性别差异和亲密关系的认知模式相似,提示我们社交互动中的性别特定行为和亲密关系可能具有进化上的根源。

  2. 社交注意力的分配:绒猴在不熟悉的配对中表现出更多的注视监控,这可能反映了对潜在社会威胁或机会的高度警觉。人类在社交场合中也会根据熟悉度和环境的安全性来调整我们的注意力分配,这有助于我们预测他人的意图和行为。

  3. 共同注视和联合注意:绒猴的共同注视行为表明它们能够与伙伴共享关注点,这是联合注意的一个关键组成部分。在人类中,联合注意是社交互动和沟通的基础,对于语言发展和理论心智至关重要。

  4. 社交行为的复杂性:绒猴的社交互动不仅仅是简单的面对面注视,而是包含了一系列的动态行为和注视模式。这提示我们人类的社交互动同样复杂,涉及多种非言语信号和行为的协调。

  5. 自然环境中的行为研究:这项研究强调了在自然环境中研究动物行为的重要性,这有助于我们更真实地理解社交行为的复杂性。同样,研究人类在自然环境中的社交互动,而非仅仅在实验室环境中,可以提供更深入的洞察力。

这项研究使用的深度学习模型是基于DeepLabCut的修改版本,这是一种先进的姿势估计方法,相比其他模型具有很多优势:

  1. 高精度追踪:DeepLabCut能够以高精度自动追踪和识别多个绒猴的面部特征,这对于分析复杂的社交行为至关重要。

  2. 无需标记:该模型无需在动物身上放置任何标记或追踪点,减少了对动物的干扰,使研究更接近自然行为。

  3. 处理遮挡问题:通过结合多个相机视角和三角测量算法,模型能够处理遮挡问题,即使在面部特征部分被遮挡的情况下也能准确追踪。

  4. 动态几何面部框架:模型能够生成动态的三维几何面部框架,从而推断出动物的头部和注视方向,为分析社交互动提供了新的维度。

  5. 自动化分析:深度学习模型的自动化特性大大提高了数据处理的效率,减少了人工标记的需求。

在动物行为研究中,深度学习与传统方法相比具有一系列的优势:

  1. 自动化分析:深度学习可以自动化地分析大量数据,减少人工观察和标记的需求,提高数据处理的效率和一致性。

  2. 高精度识别:深度学习模型,尤其是卷积神经网络(CNNs),在图像和视频识别方面表现出色,能够识别复杂的模式和细微的差异。

  3. 处理大规模数据:深度学习适用于处理大规模数据集,这对于研究广泛的动物行为和种群动态尤为重要。

  4. 实时监测:经过适当训练的深度学习模型能够实时分析视频流,为实时动物行为监测和响应提供可能。

  5. 复杂行为识别:深度学习可以识别和分类复杂的动物行为模式,包括社交互动、求偶行为和捕食策略等。

眼动测试揭秘猴子认知功能的精神活性药物效应

在探索精神疾病的奥秘时,科学家们常常面临着一个挑战:如何在实验室环境中模拟出与人类相似的症状?最近,一项发表在National Science Review 上的新研究为我们提供了一个独特的视角。研究人员通过观察猴子的眼睛运动,揭示了精神活性药物如何影响认知功能,这一发现可能为精神疾病的诊断和治疗带来新的启示。

文章开发了一个全面的眼动测试工具包,用于研究猴子在摄入苯环利定(PCP)和氯胺酮(ketamine)这两种药物后的行为变化。这两种药物都是NMDA受体拮抗剂,已知能够干扰谷氨酸能神经传递,与精神分裂症等精神疾病的症状有关。

实验设计

训练猴子:研究人员首先训练两只猕猴执行一系列眼动测试,包括快速眼跳(saccade)、平滑追踪(smooth pursuit)和注视(fixation)。

药物注射:在猴子稳定表现后,研究人员对它们进行了苯环利定(PCP)和氯胺酮(ketamine)的急性注射实验。这两种药物都是NMDA受体拮抗剂,已知能够干扰谷氨酸能神经传递。

眼动记录:在药物注射后,研究人员记录了猴子的眼动表现,包括准确性、反应时间、眼跳速度、持续时间以及注视稳定性等。

数据分析:研究人员使用主成分分析(PCA)和支持向量机(SVM)分类方法,分析了药物注射状态下的眼动数据,以区分不同的药物效应。

听觉诱发电位(AEP)测量:为了研究药物对感官处理的影响,研究人员还记录了猴子在听到不同音调时的脑电活动。

研究中,两只猕猴接受了每日注射PCP(3.0 mg/kg)或氯胺酮(0.8 mg/kg)的实验。结果显示,这两种药物都显著降低了猴子在高认知需求任务中的准确性,并增加了反应时间。此外,猴子的眼跳、平滑追踪和注视稳定性也受到了显著影响。在注视过程中,猴子的不自主微眼跳幅度增加,且偏向视野的下方。在认知任务中,瞳孔反应也有所减弱。这两种药物还增加了对听觉线索的敏感性,这反映在听觉诱发电位(AEPs)中。

这些发现与精神分裂症患者的症状相似,表明通过精神活性药物诱导的动物模型可以模拟出与患者相似的异常状态。更重要的是,研究者们利用降维和机器学习方法,成功地基于猴子的眼动数据,以93%的准确率区分了不同药物诱导的状态(PCP、氯胺酮和生理盐水)。即使在只用一只猴子的数据进行训练,另一只猴子的数据进行测试的情况下,分类准确率仍然高达90%。这表明,尽管两只猴子在基线眼动行为上存在差异,但该模型允许数据在个体间转移,这对于未来评估药物或物理治疗效果可能非常有价值。

药物注射状态分类

这项研究不仅为我们理解精神分裂症等精神疾病的神经生物学机制提供了新的线索,也为开发新的诊断工具和治疗方法提供了可能。通过观察猴子的眼睛运动,科学家们能够更深入地了解药物如何影响大脑功能,这对于精神疾病的早期诊断和治疗具有重要意义。随着研究的深入,我们或许能够开发出更有效的干预措施,帮助那些受精神疾病困扰的人们。

拓展

1、文章中提到的眼动测试工具包包含了以下几类测试项目:

(1)快速眼跳(Saccade)任务

包括两种测试:抗眼跳(anti-saccade)和延迟眼跳(delayed saccade)。

在抗眼跳任务中,猴子需要抑制对突然出现的周边目标的直接注视反应,而是将视线转向与目标相反的方向。

在延迟眼跳任务中,猴子需要维持中央注视,直到中央注视点消失,然后迅速将视线转向之前的目标。

(2)平滑追踪(Smooth Pursuit)任务

包括两种追踪模式:二维的Lissajous平滑追踪和一维的线性追踪。

在Lissajous追踪中,目标在二维平面上移动,速度在两个主要轴向上动态变化。

在线性追踪中,目标沿一个轴以恒定速度移动。

(3)注视(Fixation)任务

包括对中央视觉显示上的一个固定点的简单注视。

在这个任务中,猴子需要保持对固定点的注视,同时进行微眼跳(microsaccades)的测量。

(4)自由观察(Free-Viewing)条件

在没有特定眼动指令的情况下,猴子被允许自由地观察视觉显示。

这个条件用于观察猴子在没有任务要求时的自然眼动行为。

这些测试项目旨在全面评估猴子的眼动行为,包括认知控制、注意力、运动协调等多个方面,以模拟和研究人类在类似任务中的表现。通过这些测试,研究人员能够观察到心理活性药物对猴子眼动行为的影响,从而为理解药物如何在人类中产生类似效应提供线索。

2、抗眼跳(anti-saccade)任务是眼动测试工具包中的一个重要部分,它专门设计来评估猴子的认知控制能力,尤其是抑制反射性反应和执行目标导向的行为。在这项任务中,猴子需要抑制其自然倾向,即直接看向突然出现的周边刺激(即反射性眼跳),而是将视线转向与刺激相反的方向。这个过程涉及到几个关键的认知控制过程:

(1)抑制控制

猴子必须抑制其自动的、反射性的眼跳反应,这需要前额叶皮层(尤其是背侧前额叶皮层,dlPFC)的参与,这是一个与抑制控制和决策制定相关的大脑区域。

(2)目标导向行为

在抑制了反射性眼跳之后,猴子需要计划并执行一个目标导向的眼跳,即向相反方向移动眼睛。这涉及到前额眼野(FEF)和顶叶皮层,这些区域负责规划和执行有意识的眼动。

(3)注意力分配

猴子需要将注意力从吸引其视线的周边刺激转移到中央固定点,这需要对注意力资源的有效分配和控制。

(4)决策制定

抗眼跳任务要求猴子在多个可能的眼跳方向中做出选择,这涉及到决策制定过程,可能与前额叶皮层的活动有关。

在实验中,研究人员会记录猴子在执行抗眼跳任务时的眼动表现,包括准确性(是否成功抑制了反射性眼跳并执行了正确的眼跳方向)、反应时间(从刺激出现到猴子开始眼跳的时间)以及眼跳的频率和速度等。通过分析这些参数,研究人员可以评估猴子的认知控制能力,以及心理活性药物如何影响这些认知过程。在精神分裂症患者中,抗眼跳任务通常表现出困难,这表明该任务能够敏感地反映认知控制功能的缺陷。

3、除了抗眼跳(anti-saccade)任务,还有其他几种眼动测试可以评估猴子的认知控制能力,这些测试通常涉及对注意力、决策制定、工作记忆和抑制控制的评估。以下是一些常用的眼动测试:

(1)延迟眼跳(Delayed Saccade)任务

在这个任务中,猴子需要记住一个目标位置,然后在短暂的延迟后将视线移动到该位置。这个任务评估了猴子的工作记忆和抑制控制能力,因为它们需要抑制立即对新出现的目标做出反应的冲动。

(2)目标选择(Target Selection)任务

在这个任务中,猴子需要在多个同时出现的目标中选择一个特定的目标进行注视。这要求猴子进行决策制定,并可能涉及到前额叶皮层的活动。

(3)视觉搜索(Visual Search)任务

猴子需要在一系列干扰物中找到一个特定的目标。这个任务评估了猴子的注意力分配和目标选择能力。

(4)变化检测(Change Detection)任务

在这个任务中,猴子需要检测视觉场景中的变化,如新出现或消失的物体。这涉及到对视觉信息的持续监控和注意力的快速转移。

(5)预测性眼跳(Predictive Saccade)任务

猴子需要预测一个移动目标的未来位置,并在适当的时候进行眼跳。这个任务评估了猴子的预测能力和前瞻性规划。

(6)双任务(Dual-Task)眼动测试

在这种测试中,猴子同时执行两个任务,例如在进行视觉搜索的同时执行抗眼跳任务。这种测试可以评估猴子在执行多任务时的认知控制和资源分配。

这些眼动测试通过测量猴子在执行特定视觉任务时的眼动表现,为研究认知控制提供了有价值的信息。 在心理活性药物的影响下,这些测试可以帮助研究人员理解药物如何影响猴子的认知功能,从而为理解人类精神疾病中类似的认知缺陷提供线索。

“机器人-啮齿动物”交互的新型行为学测试方法,更好地模拟自然环境中的动物行为

动物行为学主要侧重于研究自然条件下的动物行为,包括动物的自主探索、情绪表达、学习和社交行为,可以帮助科研人员探索认知、情绪和运动等复杂的生命现象。然而,实验室环境下只有相对简单、静态的行为范式,很难复现自然环境中动物在开阔或杂乱的空间内自由行走以及动物间的交流与互动,这降低了实验室中获得的行为学结果与动物行为本身之间的相关性。

为了解决上述问题,2024年1月,来自美国西北大学生物医学工程研究所的Malcolm A. MacIver课题组在Cell Reports发表了一篇题为“A robot-rodent interaction arena with adjustable spatial complexity for ethologically relevant behavioral studies”的研究论文。在这篇文章中,作者开发了一种允许啮齿类动物在可重构空间中与机器人进行可控、可重复交互的行为学测试方法。

01

“cellworld”系统——全新的动物行为测试环境

在经典的动物行为学测试环境下,动物运动路径和学习任务本身的重复性较高,导致动物产生“习惯性”动作,而这些因素本身也是动物认知行为的变量,因此经典行为学范式无法很好地模拟自然条件下的动物行为。为了解决这些问题,研究人员设计了一种全新的动物行为测试场地,包含可以随时重构和改变位置的“障碍物”和“无线机器人”,并将其命名为“cellworld”系统。

磁化的可移动障碍物可以遮挡啮齿动物与机器人彼此间的视线,与此同时,多个高速摄像机连续记录啮齿动物在机器人(作为捕食者)追逐下的行为。除此之外,当动物按顺序完成规定任务时,实验控制器可以自动打开或关闭门从而给予奖励(图1)。

02

可重构的活动场地为小鼠创造自由活动的空间

如图2所示,小鼠在一个由可调节障碍物组成的六边形蜂窝网格中行走。该活动场地最宽长度设置为2.34m,由331个小的六边形单元格组成,略大于一只标准成年小鼠的体长。其中,每个单元格内嵌入了一对磁铁,用于固定和排列障碍物(图2A),这让研究人员可以对环境布局进行快速重设。

图2 可重构的行为空间

为了创建一个更符合动物行为学背景的实验环境,作者使用生成算法建立更接近小鼠自然运动环境的空间设计,并采取单个参数“熵”(entropy)来代表空间的混乱程度(即障碍物的随机排列方式)。实验者能够随意改变该系统的空间复杂度(SC, spatial complexity)。图2B-C中展示了分别对应0.1、0.5、0.9“熵”的障碍物排列示意图。“熵”值越大的空间,障碍物越多,复杂度也更高。

03

“cellworld”系统模拟自然环境更胜一筹

随后,作者评估了“cellworld”系统与实验室经典行为学布局(线性轨道、Y迷宫、八臂迷宫等)的空间复杂度。研究人员使用14个不同的“熵”级别生成了500个随机排列的环境,然后计算每种环境的空间复杂度。结果发现,行为学测试环境的空间复杂度在中等熵水平(0.4-0.5)处达到峰值,复杂度为0.80±0.02(图3E)。相比之下,经典迷宫的空间复杂度范围在0到0.17之间(图3F)。这些结果表明,通过调节随机排列的障碍物形成的“熵”水平,可以控制该环境的空间复杂度。此外,用中等熵生成的环境比经典的迷宫设计更能模拟自然环境。

图3 (E)空间复杂度与熵的关系;(F)不同行为学环境空间复杂度的直方图

04

机器人诱发小鼠更为复杂的行为活动

动物自然行为的另一个重要方面就是与其他动物间存在互动,但在实验室条件中很难实现可控的互动行为。因此,研究团队设计了一个自动化的机器人模拟捕食者,该机器人可以根据摄像系统记录的图像、机器人的位置以及障碍物的位置形成一个全方位的视觉感官体。机器人在“看到”小鼠时会开启追踪模式,当小鼠逃跑离开其视野时,机器人会主动搜索看不见的位置。

研究结果发现,当机器人在场时,小鼠会以较低的速度走更长、更为多样化的路径(图4中),并且与机器人互动时频繁地出现僵直状态(freezing)。有趣的是,当机器人从封闭环境中移出时(PR阶段),小鼠会沿着活动场地南北两侧路线快速运动(图4右)。说明小鼠在复杂的环境中采用更复杂的逃避策略。

图4 机器人与小鼠追逐躲避过程中动力学测量

05

结论与展望

传统的神经科学研究倾向于一些易于测量和重复的动物行为。近些年,机械学习技术的兴起提供了许多量化动物自然行为的工具,随着这些技术的进步,研究人员能够记录到神经元活动与动物行为间的联系,从而揭示大脑功能。在本研究中,作者开发了一个模块化系统,可以灵活地设计动物运动时的环境和任务,并提供清晰的视频记录。此外,作者还提供了一种生成方法来创建随机环境并评估其空间复杂度指标,用来比较实验空间与自然栖息地的相似程度。这一技术为神经科学家在实验室条件内理解自然状态下的动物行为奠定了重要基础。

瞳孔大小会影响行为策略吗?眼动追踪技术助力揭示行为决策时的瞳孔驱动机制

人们在决策过程中通常会采用两种策略:一方面,我们倾向于选择历史决策中已建立的、熟悉的行为模型,即利用(exploitation)行为;另一方面,我们也可以探索未选择过的、可能更优的决策选项,这也被称为探索(exploration)行为。然而,现有研究对于探索行为的生理和神经机制了解仍然十分有限。

瞳孔大小是反映多个神经调节系统状态的重要指标,如多巴胺和去甲肾上腺素等。同时,瞳孔大小与神经兴奋性和注意力水平紧密相关。当瞳孔更大时,个体更可能脱离现有已建立的行为模式,转向探索未选择过的决策选项。因此,主流理论认为动物探索行为背后潜在的神经基础与大脑中控制瞳孔大小功能的区域紧密相关。但是目前并未有研究直接证明二者之间的关系。

为了探讨上述问题,加拿大蒙特利尔大学神经科学系的R. Becket Ebitz团队于2023年上传了题为“Pupil size predicts the onset of exploration in brain and behavior”的手稿至预印本文库bioRxiv。在该研究中,研究人员使用眼动追踪技术揭示了瞳孔大小能够显著预测动物探索行为的发生,且瞳孔大小与探索行为过程中的前额叶皮层活动紧密相关。

本研究采用三臂老虎机任务(three-armed bandit)来探讨猕猴在进行探索或利用行为时的潜在机制,并使用隐马尔可夫模型将每次的选择标记为探索或利用(图1A&1B)。同时,研究者还采用红外摄像机记录猕猴的瞳孔大小变化,分析猕猴进行探索和利用行为时的瞳孔大小,以及不同探索行为间和探索行为后的瞳孔变化规律。研究结果发现,猕猴在选择探索行为时的瞳孔大小显著大于选择利用行为(图1D)。同时,选择探索行为的概率与瞳孔大小显著正相关。然而,探索行为出现的概率与瞳孔大小之间的关系并非是线性,而是二次函数关系(图1E)。以上二次函数关系说明,观察到的某些探索行为并非是“真实的”探索行为,而仅仅是低唤醒状态时的脱离状态。基于此,研究者进一步将探索行为中瞳孔较大与瞳孔较小时的学习指标进行了统计分析,但并未发现显著差异(图1F)。

图1 实验流程与瞳孔测量指标

研究者使用了时间序列分析来揭示瞳孔大小与探索行为之间的动态关系。具体而言,探索行为前瞳孔会显著变大,而在探索后瞳孔则会显著变小(图2A)。这一结果说明,不只是在探索过程中,在探索行为前或探索行为后瞳孔大小也都会出现显著变化。一个有意思的现象是,在两次利用行为之间,猕猴中途进行了探索时的瞳孔大小变化量显著小于中途未进行探索的变化量(图2C)。更重要的是,在探索开始时瞳孔大小就已表现出下降趋势,而不是在探索结束时。也就是说,瞳孔大小能够显著预测动物探索行为的出现,而不是动物选择探索的概率或是不同选项状态之间的切换(图2D)。

图2 探索行为过程中的瞳孔动态时间变化结果

为了进一步理解瞳孔相关的神经机制是如何影响探索行为,研究者还记录了猕猴的额叶眼区(frontal eye field)神经活动(图3A)。结果发现,额叶眼区的神经元活动强度与探索行为的选择率显著相关(图3B)。同时,瞳孔大小还与神经元活动强度显著相关(图3C)。进一步分析发现,对探索行为出现后的神经信号解码出的选择信息率显著下降(图3E),且瞳孔大小能够预测试次间选择信息的不确定性。最后,研究者通过结构方程模型发现神经元的无组织性在瞳孔大小与探索行为关系之间起着中介作用(图3F)。

图3 探索行为过程中的瞳孔变化与前额皮层的神经元激活关系

探索行为从定义上来说是指个体的决策选项从使用一个已知的选项转换成使用一个未知的选项,这可能反映了大脑在不同加工状态之间的切换。为了验证这一假设,研究者进一步从两个反映大脑加工状态转换过程中的重要特征角度来探讨探索行为,分别是决策速度变慢和前额叶区域神经元活动噪音增加。从行为上来说,猕猴在选择探索行为时的反应时显著高于控制条件,且反应时会随着瞳孔大小增加而增加(图4A&4B)。而从神经元水平上来说,神经元的激活速度同样在选择探索行为时显著降低(图4D&4E)。进一步的结合方程模型结果发现,反应时和神经元激活速度都在瞳孔大小和探索行为之间起着中介作用(图4C&4F)。这些结果验证了瞳孔驱动的临界转换机制,即瞳孔影响了前额区域的激活速度和决策反应时,接着将大脑推向一个临界点,在此过程中允许个体进行随机探索决策。

图4 瞳孔变化预测行为和神经层面指标变化

总结与展望

本研究利用眼动跟踪技术探讨了猕猴在决策过程中的探索和利用行为,揭示了瞳孔大小与前额区域的神经元集群之间的动态时间关联,为探索行为的时间进程提供了高时间精度的证据。同时,瞳孔大小能有效预测神经元集群的激活程度,揭示了探索行为背后的神经基础。随着眼动追踪技术的发展,未来研究可以利用高频率和精细的眼动追踪技术,揭示变量间更为细致的动态关系,并在不同时间尺度下阐明决策过程中的认知神经机制。

眼动追踪技术发展至今,已经成为生物医药领域的一种常见技术方法,在动物实验中被广泛应用。随着光信息技术、传感技术、大数据和人工智能的快速发展,眼动追踪技术也取得了较大突破,这对研究小动物动作行为和心理唤醒机制具有重要意义。基于此,一湾生命科技推出了BehaviorAtlas EyeTracking自由移动小动物的眼动记录与分析系统,能够在小动物自由移动情况下对其瞳孔进行记录与分析,从而获得视觉信息加工或是认知和精神异常状态的重要生理指标。

神经元活动算是“行为”吗?普林斯顿大学神经科学家带你理解“行为”的多维定义

“行为(behavior)”是许多科学问题研究的核心。随着大数据和人工智能技术的发展,人们想要创建自动识别“动物行为”的机械学习算法,这需要对“行为”进行准确的定义。然而,学术界却很少给予“行为”一词明确的定义。这让许多研究人员好奇,“行为”一词指代的范围究竟是什么?以及不同领域研究中所描述的“行为”是否存在差异?

为了回答这些问题,2023年11月,来自美国普林斯顿大学普林斯顿神经科学研究所的Alexander Fleischmann课题组在 iScience上发表了一篇题为“Everyone knows what behavior is but they just don’t agree on it”的研究论文。在这篇文章中,作者开展了一项调查来探讨什么是“行为”。研究人员通过层次聚类(hierarchical clustering)分析识别出不同类型的“行为”定义,并且发现不同学科、资历水平的学者对“行为”有着不同的定义。

01 为什么要明确“行为”的定义

不同的学科领域常存在不同的“行为”定义,这些定义也会反过来影响相应的研究内容。例如,经济学家感兴趣的“行为”是人们在现实世界面临风险时的决策与选择;而神经生物学家则想要了解“行为”是如何通过神经机制介导的;生态学家试图研究“行为”是如何被环境塑造;而社会学家则想通过个体的“行为”来理解社会。虽然这些跨学科研究人员都试图理解“行为”,但实际上他们解释的“行为”是不同的。因此,目前我们急需明确“行为”的定义,以排除现有研究结果中可能包含了其他潜在的“行为”

02 “行为”的定义存在普遍性的分歧

以神经科学领域为例,“行为”的定义可能存在许多分歧。例如,**神经元活动算是一种“行为”吗?**在动物活动的过程中,认知和需求变量也会影响动物的行动,其中哪一部分构成了“行为”?为了评估人们对“行为”的定义是否一致,作者以问卷形式面向不同领域的学者开展了一项在线调查。受试者需要通过选择“是(Yes)”、“否(No)”或者“可能(Maybe)”来回答随机出现的问题。例如:

“学习是一种行为吗?”

“行为是否需要刻意完成?”

“狗遵循气味轨迹活动的过程是否存在行为?”

分析结果显示,受访者对问卷中的大多数问题都没有一致的答案。其中,最不一致的问题包括“计算机程序可以运行吗?”以及“行为总是涉及与环境的互动?”(图1A)

03 学科差异导致不同的“行为”定义

随后,为了探究这些对“行为”的不同看法是否与受试者间的学科差异有关,作者使用多重对应分析法(MCA,multiple correspondence analysis)校准存在于受试者间的各类变量因素。结果发现,在①不同的领域(如生物科学、数学、计算机领域等);②同一个领域的不同分支学科(如认知神经科学、分子神经科学、系统神经科学等);③使用不同生物模型的研究者(如人类、哺乳动物、无脊椎动物等);④不同学历(如在读本科生、博士生、教师等)的受试者间,均会导致对“行为”定义产生不同理解(图2C-F)。

图2C-F 多重对应分析法揭示不同群体的调研结果存在差异

04 层次聚类分析寻找“行为”的潜在定义

接下来,作者猜想,不同领域间对“行为”定义的差别不是因为每个领域对“行为”有着明确且单一的定义,而是因为这类“行为”定义在该领域更为常见。因此,作者使用了层次聚类方法,将问卷中相似的问题放在同一个集群里再次对调查结果进行分析,以便探究“行为”的潜在定义。

图3结果显示,问卷中的问题被划分成了六个“行为定义簇",分别是A、反射(reflex);B、行动(actions);C、理解心灵(understanding the mind);D、运动或感觉运动(motor or sensorimotor);E、非动物(non-animal);F认知(cognition)。其中,大部分人都同意反射和行动属于“行为”,而不把认知和理解心灵当作“行为”(图3)。

图3 层次聚类分析后显示的行为定义

除此之外,作者还鉴定出了7种行为原型(behavior archetypes),并展示了不同行为原型由不同的“行为定义簇”组成(图4)。其中,浅粉色代表左侧的行为原型必须包含对应的行为定义簇,棕色则代表完全不包含。包含程度:“浅粉>紫色>灰色>棕色”。

图4 验证行为原型的一致性

05 结论与展望

本文结果表明,目前学术界所认为的“行为”存在着重要差异。作者通过层次聚类分析发现,“行为”可能包含6种不同的定义和7种不同的原型。在本文的结尾,作者呼吁各领域学者们在发表的论文中应说明他们所研究“行为”的具体含义,这有利于提高读者对相应行为现象的理解,推动跨学科交流。

用深度学习“读懂”小鼠情绪,开启动物行为研究新视角

建立小鼠等动物的情绪行为模型是理解人类情绪相关疾病(如焦虑、应激反应等)机制的重要途径。其中,准确和细致地量化小鼠行为是挖掘不同情绪状态下的神经基础和进一步建立小鼠情绪行为模型的重点。过去,研究者通常根据研究目标手动逐帧识别小鼠行为。然而,这种方法存在许多弊端,如时间成本和人力成本较大、错误率较高、存在主观倾向和难以挖掘深层次机制等问题。

近年来,深度学习算法在计算机视觉等领域取得了巨大进展,使得我们能够较为轻松地从视频中提取和解码动物行为信息。具体而言,深度学习算法通过模拟人脑信息处理方式,通过大量数据迭代优化从而得到确定性较高的结果。相较于传统方法,深度学习技术能够高效处理大量视频数据、挖掘更为丰富的行为状态和揭示行为背后的神经机制。因此,将深度学习应用于小鼠情绪行为研究,能够较好地弥补传统行为分析方法的不足。

2022年12月,美国国立卫生研究院Jessica Y. Kuo课题组在“Fontiers in Behavioral Neuroscience”期刊上发表了一篇题为“Using deep learning to study emotional behavior in rodent models”的综述。在这篇综述中,作者讨论了如何将深度学习技术应用于行为实验之中,以及不同模型方法如何影响得到的行为分析结果。

01 情绪行为分析中的不同深度学习方法

在情绪行为研究中,不同的实验任务通常都包括长时间观察和记录动物的自然行为,以获取细微的行为表征信息。因此,目前的研究重点在于如何从观测到的动物外显行为中解码出共性的内在状态。大量研究者采用了不同类型的深度学习方法从动物行为数据中获取行为信息,主要包括有监督学习、自监督学习和无监督学习三种解码和分类行为的框架。

有监督方法(见图1A):这种方法需要研究者人工标注部分视频数据中的行为类型,然后利用这些标注数据训练分类模型,如随机森林模型。最后将训练出的模型用于识别新视频数据中的行为类型。有监督学习方法的代表算法包括SimBA和DLC分类器。该方法的优点是分类结果易于解释,直接对应人工定义,适用于研究人员感兴趣的特定行为。缺点是识别能力限于预定义类别。

图1A

无监督方法(见图1B):这种方法完全依靠数据驱动,不需要人工输入。它首先将输入的行为特征降维成潜在状态表征,然后采用聚类算法将视频帧聚类为不同类别,从而获得行为模式。代表算法有BehaviorAtlas、B-SOiD、PyRAT等,它们直接对视频数据进行处理。优点是不需要预定义行为类别,可以发现自然行为模式。缺点是识别结果难以直接解释,聚类质量依赖于算法和参数设置。此外,识别出的行为模式可能包含不同行为混合的结果。

图1B

自监督方法(见图1C):这种方法从数据本身学习到的信息作为监督信号,而不是人工标注,训练目标是预测这些内在信号。训练后的模型可以作为特征提取器,将视频的每一帧映射到特征空间。然后通过聚类将得到的帧进行分组,从而获得行为类别。代表算法有VAME、BehaveNet和Selfee。它们利用自编码器或预测时间序列信息作为监督信号。优点是不需要人工标注,从数据中发现行为模式。缺点是识别结果难以直接解释,需要进一步研究该特征对应的行为。

图1C

02 建立情绪行为与神经活动的关联

近年来,随着神经成像技术的进步(如单光子钙成像),我们现已能够实时记录复杂行为任务过程中的动物神经活动。在此基础上,研究者能够通过结合神经成像和深度学习技术,识别出更深层次的行为和神经机制。例如,在小鼠暴露实验中,研究者发现,通过DLC方法分类得到的防御行为与导水管周灰质背侧区(Dorsal periaqueductal gray)的活动密切相关。此外,也有研究者结合了电生理方法与动物行为。例如,背外侧纹状体中的神经元放电率随着头部运动变化而变化。

这些研究表明,整合神经成像、深度学习分析和体内电生理学等技术,有助于更全面地理解情绪行为与神经活动之间的关联。

03 总结

近年来,随着深度学习技术的出现和发展,神经科学研究在行为分类过程中变得更加专业化和标准化。随着深度学习算法的发展,未来将有更多研究结合深度学习和神经记录技术,以阐明与情绪相关的行为特征的神经机制。结合神经成像方法和深度学习技术有助于阐明现有理论间的冲突,并解释神经活动和行为之间的相关性。深度学习技术能够加深我们对动物模型中情绪行为的理解,为治疗人类情绪障碍提供巨大的理论和应用价值。

Sci.Adv | “CATER”——全自动跟踪策略量化野外蚂蚁的觅食行为

动物行为学是神经科学研究中的重要手段。通过人为直接观察或借助录像设备间接观察动物行为,我们可以了解到动物的生态习性、社会行为、繁殖方式等信息。然而,动物行为的表现是复杂多样的,如何准确量化观测动物行为,开发系统性收集和分析数据的工具对该领域的研究十分关键。

近两年,基于人工神经网络 (Artificial Neural Network, ANN) 的行为软件工具可以精确地追踪到动物身体的多个点,并将这些参数转化为丰富的行为指标,极大地改善了人为观察耗时长、精度差、影响动物行为决策等局限性。

机器学习 (Machine Learning) 技术的出现,使动物活动时的空间位置和部分动作可以被计算机自动识别、量化,并解析成行为特征。然而,对于计算机视觉来说,在复杂的自然环境下量化小动物长距离运动行为是最为困难的跟踪场景之一。

2023年8月,来自德国明斯特大学地理信息与计算机科学研究所的Benjamin Risse课题组在Science Advances上发表了一篇题为 “CATER: Combined Animal Tracking & Environment Reconstruction” 的研究论文。在这篇文章中,作者开发了一种新的AI策略“CATER”,它允许研究人员在自然环境中使用可移动的相机对动物行为进行高精度量化。随后作者将“CATER”应用于记录蚂蚁的觅食行为,发现蚂蚁的动机和视觉记忆可以参与其“外出觅食-返回巢穴”期间的导航过程。

01

“CATER”方案致力于现有技术难以实现的小动物行为追踪

DeepPoseKit,DeepLabCut,LEAP等基于深度学习的算法可以根据视频记录对动物行为 (如姿势、位置信息等) 进行全自动评估和检测。然而,对于像昆虫这样的小动物来说,它们占据的像素点过少且没有易于被计算机识别的视觉特征,导致上述算法难以在实际情况下应用。

于是,作者开发了将动物跟踪与环境重建技术结合的CATER方案,可以检测复杂环境中小目标的运动轨迹。在相机运动的条件下,将其运动轨迹嵌入到高分辨率的重建环境中,使研究人员能够将轨迹与环境特征联系起来。在野外单独觅食的蚂蚁为该系统的开发提供了一个很好的研究案例。这些昆虫体型相对较小,在视觉上较难区分于其自然栖息地背景,并且,蚂蚁在觅食过程中表现出高度复杂的导航策略。

02

以小型昆虫为研究案例的数据采集流程

Cataglyphis velox蚂蚁可以利用嗅觉来寻找食物,并在远距离觅食后找到巢穴。为了记录蚂蚁个体的觅食行为,研究人员将带有1.5米水平移动臂的定制摄像机 (型号:Panasonic HDC-TM900) 放置在蚂蚁活动区域正上方约1米左右的位置,并以50帧/秒、1920×1080分辨率录制超清视频 (图1A-B)。为了辅助相机与蚂蚁对齐,相机周围固定了四个指向地面的红色激光笔,可以在地面形成可见光点 (图1C-D)。记录视频显示,蚂蚁几乎与背景融为一体,视频缩放后识别到的蚂蚁个体仅占30×6像素,这显然对现有的动物跟踪算法提出了重大挑战。

图1 跟踪蚂蚁运动轨迹的数据采集现场

03

AI算法跟踪动物轨迹与重建环境的原理

为了有效识别和分析视频中蚂蚁的运动轨迹,研究人员需要重新建立计算机跟踪算法。如图所示,CATER方案的框架由几个交错的处理模块组成 (图2A)。首先,计算机需要提取相邻两帧视频画面 (Ii) 中共有的匹配特征 (Matched features) 以生成相似图 (图2B)。

图2 昆虫追踪和环境重建框架

随后,将相邻两帧图像中的匹配特征在不同的参考坐标系 (Ti) 下变换,以计算连续帧画面间相机的位移补偿。同时,将每个关键帧统一在一个二维的马赛克坐标系中,以重建蚂蚁运动时的环境。最后,蚂蚁位置 (pi) 通过成对变换的坐标系 (Ti, i+1) 投影到拼接的图像并嵌入重建的环境中 (图3E-G),最终生成该动物在自然环境中的运动轨迹 (图4A)。

图3 动物运动轨迹的生成原理

图4 算法重建后的蚂蚁觅食历史

作者将这种跟踪策略称为“无监督的跟踪框架”。该算法生成数据的过程不受跟踪对象外观和背景影响,不需要手动标记任何数据,同时保留了所有环境的视觉信息,不仅能生成高精度的动物运动轨迹和环境地图,还能够自动解决动物被遮挡等问题。

04

追踪蚂蚁觅食路径的实验范式和初步分析结果

研究人员从每只蚂蚁第一次离开巢穴时开始进行记录。在此过程中,实验者不可以干扰觅食者的行为,蚂蚁可以自由地向任何方向觅食,也可以与其它蚂蚁互动,并按自己的意愿返回巢穴 (图5左)。研究人员在距离蚂蚁巢穴约8m的区域设置了食物供应点。当蚂蚁第二次从供食地点回巢时,持续记录它们的移动路径,以评估蚂蚁在最少经验下的视觉记忆表现 (图5中)。接着,研究人员在蚂蚁进入巢穴之前将其捕获并将其放回喂食地点附近 (蚂蚁仍拿着食物),以单独测试其视觉导航能力。

结果显示,在两次到达同一喂食地点后,蚂蚁很快就能找到回家的路。并且第三次返回的路径与第一次、第二次觅食过程的返回路径部分重叠 (图5右)。说明C.velox蚂蚁经历一条觅食线路不超过两次,并且只需要成功到达巢穴一次,就可以将回家路线牢记在记忆中,以便在迷路时重新导航返回巢穴。

图5 单个蚂蚁的觅食历史

(其中,N代表巢穴,F代表进食地点,R代表将蚂蚁重新放置的地点)

除此之外,作者还观察到蚂蚁的动机会驱动不同的行走策略。例如在从巢穴出发外出觅食的过程中,蚂蚁会经过更多的灌木从区域以寻找食物或躲避阳光;而找到食物准备归巢的蚂蚁,他们的目标则是带着食物尽快回家,路线会规避途中的灌木丛。对于研究神经科学的实验者们来说,将动物的这种“自适应策略 (adaptive strategies) ”纳入计算模型对于解释动物行为十分重要。

05

结论与展望

总之,本文作者结合小物体检测 (small object detection) 算法和全帧率优化 (full frame rate-optimized) 算法得到了一个新颖的全自动跟踪策略CATER,适用于极具挑战性的动物行为跟踪场景。研究人员使用该动物行为追踪技术研究野外蚂蚁的觅食行为,发现C.velox蚂蚁具有较强的快速记忆和导航能力,可以对觅食路径周围的视觉场景进行“一次性”学习。

动物行为学是现代神经科学研究的重要技术之一。随着人工智能 (AI) 的快速发展,AI工具借助于传感、计算机视觉、机器学习等技术识别和分析动物行为变得更加自动、智能和精细化,这对基于行为的疾病模型鉴别、药物筛选、疾病诊断和治疗具有重要意义。

“行为流分析”助力精细分析小鼠个体行为,提升研究结果可比性和重复性

近年来,临床前生物医疗研究广泛采用小鼠作为研究对象,因此研究者们尤为重视如何准确地识别小鼠行为以获取相关信息。过去,研究者通常采用人工观察的方式评估小鼠行为,然而这种方法既费时又容易受到评价者主观性的影响,导致结果的可重复性较低。随着自动化分析工具(如有监督机器学习)的出现,这一问题在一定程度上得到了缓解。然而,如何选择和定义目标行为仍然存在主观性,从而限制了对目标行为的分析。

随着人工智能技术的发展,出现了许多数据驱动的无监督机器学习方法,这些方法可以自动将复杂的动物行为区分成不同的行为模式。然而,目前这种方法仍然存在一些不足之处。首先,算法识别出来的行为模式数量越多,就需要进行更严格的多重比较校正,从而降低了统计效力;其次,不同算法或参数下识别出来的行为模式难以对应,影响了在不同实验条件下结果的重复性和可比性;最后,目前这类方法主要针对群体层面,未充分考虑个体差异,因此难以实现精细的个体层面分析。为了有效解决上述问题,瑞典苏黎世联邦理工学院的Lukas M. von Ziegler团队结合了行为流分析(Behaviral Flow Analysis, BFA)和降维方法,为每个动物生成一个高维数点,称为行为流指纹(Behavioral Flow Fingerprinting, BFF)。相较于传统分析方法,行为流指纹能够有效增加统计功效,且具有较高的跨实验室和跨实验的可重复性。同时,生成的个体表征数据能够更好地对动物行为分类,从而预测未来行为。目前该论文已于2023年上传至预印本文库BioRxiv

行为流分析帮助识别处理效应

研究者首先使用了一份大型公开的小鼠行为数据集来验证无监督方法在识别已知表型方面的敏感性。该数据集包括将小鼠暴露于慢性社交不稳定应激(Chronic Social Instability Stress,CSIS)条件或控制条件后,在进行10分钟旷场实验(Open Filed Test, OFT)时的数据(图1A)。首先,研究者使用了传统行为分析来比较组间差异。该方法先追踪身体关键位点,并将追踪到的点转换成一系列特征,计算了标准的OFT指标(即行进距离和中心停留时间),并采用有监督机器学习方法来量化直立行为。这一分析验证了该数据集中已知组别之间的表型差异,即CSIS组小鼠在旷场中心区停留时间更长且行进距离更远(图1B)。

接着,研究者采用了无监督的聚类方法来检验不同组别之间的差异。具体而言,该方法首先将位点数据转换为特征集;然后,使用k-means聚类算法在滑动时间窗内对得到的特征集进行分析,以解码出不同的行为(图1C);最后在对聚类得到的簇进行组别间差异比较和矫正后,结果显示出4个簇存在显著差异(图1D)。进一步的分析发现,这些差异主要反映了在旷场中心区停留时间上的差异。这四个簇分别代表了小鼠从外围移动到中心、在中心运动或穿过中心、在中心定向和转向以及从中心返回外围。动态行为变化的结果显示,不同簇之间的转换次数和持续时间与传统分析中的行进距离和中心停留时间之间存在较弱的相关性。

图1

为了解决多重比较问题,研究者采用了行为流分析方法(图2G)。具体而言,该方法首先确定了两组数据在行为转换过程中的平均曼哈顿距离差异。接着,采用自助法(bootstrap)将原始数据随机分组生成组内距离的零分布(图2H)。最后计算真实数据分布与零分布差异的显著性。在逐步降低小鼠数量的敏感性分析中,发现不论小鼠数量多少,都能表现出显著的统计功效和辨别力。研究还发现,不论是采用k-means、VAME或是B-SOiD等算法,都能显著提高统计效应,说明BFA方法不依赖于特定的聚类算法(图2L)。另一方面,采用不同数量的k-means聚类结果同样也发现,不同聚类数量下都能显著增加统计功效(图2J)。上述结果说明行为流分析不依赖于特定的聚类算法和聚类数量,更关注行为之间的动态转换关系,从而提高结果的稳定性。

图2

聚类稳定性促进跨实验比较

由于不同行为之间的关系复杂而微妙,聚类边界和细分往往模糊不清,因此有必要使用无监督聚类方法进一步捕捉实验内和实验间的细微差异。为了研究这些差异,研究者使用了两个新的数据集。第一个数据集包括小鼠在经历游泳应激后45分钟和24小时及其对照组的行为结果(急性游泳, 图3A)。第二个数据集则是注射不同剂量的育亨宾(Yohimbine)后及其对照组的行为结果,这种药物能够引起应激反应(图3B)。

图3

接着,研究先从每个实验(CSI、急性游泳、注射育亨宾)中随机抽取部分小鼠结果,并通过k-means聚类生成聚类数据来让数据可进行组间比较。然后,使用这些数据训练神经网络,以模拟未用于上述分析的小鼠数据结果(图4C)。交叉验证显示了良好的稳定性和一致性(图4D)。将上述方法应用到急性游泳应激数据中,发现了传统方法未曾观察到的群体差异(图4E,4F)。具体来说,急性游泳应激组在应激启动后表现出短暂变化,但在45分钟和24小时后都恢复到了正常水平,而对照组则没有这种变化。尽管行为流分析检测到了组间差异,但在检测表型差异时未表现出更高的敏感性。接着,相同的分析流程也应用于注射育亨宾的小鼠数据。尽管控制组的小鼠数量较少(n = 5),行为流分析同样显示了较高的统计功效。对三个实验的聚类结果进行比较发现,急性游泳应激和注射育亨宾在旷场实验中表现出相似的行为特征(图4G),然而这些特征与CSI引起的行为变化存在明显差异

图4

利用行为流指纹捕捉动物个体差异

除了分析不同群组间的差异,我们通常还需要从个体层面分析动物行为。为了实现这一目标,研究者使用了小鼠注射育亨宾药物实验,以探讨行为流结果是否能够预测个体的药物注射剂量。研究结果首先显示,行为转换与注射药物剂量之间存在显著相关性(图5B)。接下来,研究者采用了“行为流指纹”(BFF)方法,为每个动物建立了独特的行为表征(图5C,5D)。具体而言,该方法使用行为流动图来表征每个动物的高维数据,即将每个动物的所有行为信息转换为二维空间中的点,并保留相关的行为信息。研究结果显示,即使在样本量较少的情况下,行为流指纹仍能够有效区分个体的药物注射剂量(图5G, 5H)。

图5

本研究还探索了将行为流指纹应用于前述三个实验数据,以同时分析和比较不同实验中的个体动物行为特征(图5I)。在分析过程中,研究者首先对三个数据集中实验组与对照组的差异结果进行标准化。研究结果显示,在急性应激条件下,小鼠能够在早期阶段(即45分钟)表现出与注射药物小鼠相当的差异量,但在较长时间(24小时)后,这种效应消失了。此外,研究者还发现,行为流指纹能够有效地预测个体的行为状态,如休息、探索或社交行为。以上结果说明,将聚类与行为流指纹结合起来能够更好地监测处理效应,以及从个体层面上比较不同实验间的差异。

将聚类迁移到新数据集

研究者还进行了两个新实验来检验能否将现有分类器应用到新数据集之中:在第一个实验中,小鼠连续十天需要承受慢性束缚应激刺激90分钟,并在最后一次应激曝光后完成旷场实验(图6A);而在第二个实验中,研究人员使用化学遗传物DREADD直接激活蓝斑核来释放去甲肾上腺素,并随后完成旷场实验(图6B)。接着,研究人员将在CSI、游泳应激和药物注射的数据集中训练得到的分类器用于新数据集聚类(图6C)。结果发现,两个新数据集与先前数据集中的行为流图式非常相似,表明聚类结果能够较好的迁移到新数据集之中(图6D-I)。也就是说,行为流指纹分析进一步发现了显著的组间差异,并且能够提高统计敏感性。

图6

更重要的是,在所有能够引起去甲肾上腺素快速释放的实验组之中(即急性游泳、药物注射和DREADD组)都表现出相同的行为流指纹变化模式。与之相反的是,两种不同慢性应激因子(慢性社交不稳定应激和慢性束缚应激)条件下则表现出不同的行为亚型(图6O)。以上结果说明,指纹流分析方法能够有效地将现有训练出的分类器应用到不同数据集之中,并且该方法能够揭示不同表型行为的特征,从而反映出潜在大脑活动过程

总结

该研究发现,通过行为流分析方法能够更全面、准确地识别不同应激处理对小鼠行为的影响。更重要的是,通过建立每个小鼠的行为流指纹,能够更好地评估小鼠的个体差异,并预测其在未来实验任务中的表现。然而,在具体应用该方法时,也存在一些限制,比如聚类数量的选择可能会影响结果的准确性。随着算法模型的优化,该方法有望在小鼠或其他动物的研究中得到广泛应用。它为深入理解动物行为机制和精细评估个体差异提供了新的思路,为相关研究带来了更多可能性

神经科学数据标准化统一的新展望——“神经数据无国界(NWB)”

近二十年里,神经科学领域经历了数据的“爆炸”式发展,这得益于单细胞转录组学、神经电生理、脑电图、功能磁共振影像学、光遗传学、精细行为学等技术的飞速进步。神经科学研究中获取的数据呈现出高时空分辨率、多模态、互相关联的趋势。这些海量数据的处理和分析对于研究人员来说是一项巨大的挑战。

与遗传学和细胞生物学等领域不同,神经科学领域没有标准化的方法来收集和共享研究人员之间丰富的现有数据。由于缺乏通用的数据格式,不同实验室间的成果交流变得十分困难,而且几乎不可能在另外一个环境下重复某类特定实验,这严重阻碍了神经科学领域的发展。

神经数据无国界(Neurodata Without Borders, NWB)是神经生理学数据的一种标准语言,近几年已经成为数据管理、分析和共享的通用标准。NWB旨在存储各种神经生理学数据,包括电生理学实验数据、光遗传学实验数据以及钙活动跟踪和光刺激数据。

NWB试点项目自2014年启动,目前经历了三个阶段的版本开发。NWB项目不仅包括NWB数据格式,也包括用于读取和写入应用程序数据的编程接口(API),以及已经转换为标准化NWB的共享数据集。NWB旨在为神经科学界服务,并鼓励世界各地的科学家共享数据。截至目前,包括艾伦脑科学研究所(Allen Institute for Brain Science, AIBS)在内的诸多神经科学实验室开始采用NWB标准储存数据,NWB项目中共享的数据集也逐渐增加。

NWB 的发展历程(2014-2021年)[1]

2023年10月,来自美国布朗大学神经科学学系的Alexander Fleischmann课题组在ArXiv(预印本)上发表了一篇题为“A perspective on neuroscience data standardization with Neurodata Without Borders”的综述。在这篇手稿中,作者讨论了对数据格式进行标准化统一的优势、应用与挑战,以及如何在特定领域实现NWB数据转换与共享,为从事于神经科学研究的各类人员提供便利。

01 神经生理学实验中应用NWB的案例分享

首先,作者以自己所在实验室为例,提供了一个应用NWB储存数据的工作案例。为了研究躯体感觉传导的中枢神经机制,作者使用双光子显微成像技术实时记录小鼠在气味刺激条件下某脑区神经元的钙活动变化(图1)。

小鼠接受预先设计好的气味刺激范式后,研究人员对其行为数据进行采集:包括运动轮速,嗅、舔的频率,动物面部以及身体运动的视频。随后使用一系列计算工具对初始采集的数据进行预处理,例如使用Suite2p和Inscopix获得钙成像数据,使用DeepLabCut评估小鼠姿态,使用Facemap提取小鼠面部运动数据。接下来,使用该实验室自创的工具calimag将原始数据和预处理数据集成并储存在NWB文件中,该数据集包含了单个/群体神经元活动与行为变化情况,后续研究人员可以在此基础上分析感觉刺激与神经活动的关系。

图1 来自Fleischmann实验室的一个典型双光子钙成像实验设计的结果数据流

02 如何构建基于NWB的数据转换管道

为了实现实验数据标准化, NWB的开发人员做了许多努力。NWB一开始是一个神经生理学标准化的试点项目,后来成熟为NWB:N 2.0版本。现阶段的NWB不是简单地“以JPEG格式保存图像或者以PDF格式保存文档”,它包含赋予数据神经科学逻辑架构的步骤,研究人员需要针对数据的概念或者技术类型做出选择。

当研究人员需要记录多模态的数据时(例如传感器中记录的时间序列、从图像或视频中分割出来的感兴趣区域、行为标记等),有必要对这些数据进行重新组织、统一和对齐。NWB策略会从数据沿袭的角度对数据进行重新组织,而第二种策略则是从分类的角度组织数据(图2)。其中,绿色代表神经活动,橙色代表动物行为,紫色代表变量(例如外部刺激)。

图2 数据标准化面临的问题

然而,几乎没有数据采集系统能够自动生成NWB文件,因此研究人员需要将多模态的数据转化为NWB。目前有两种策略可供选择:第一种是在项目结束时转换,可以最大程度地减少对现有研究流程的干扰,但会降低数据的重复利用性,因为数据分析是在不同的文件上完成的,而不是最终共享的文件;第二种是在内部使用前进行转换,如图3中的流程所示,数据转换发生在预处理和分析之间,将“原始”文件中的信息编译成单个数据数组或表格,并转化为NWB标准文件格式。

图3 Fleischmann实验室的数据管道

03 NWB标准化的主要应用、优势与挑战

科研人员们通常希望使用通用的实验技术,包括分析代码、数据转换管道以及数据采集系统。这样在初次接触实验时可以借鉴其他成员的经验,减少摸索系统的时间,并对共性问题建立预处理方案,减少实验的“试错”成本。PI(Principle Investigator)们也希望建立“几代”研究人员实验结果间的一致性,提高实验的效率,严谨性、可重复性。如果NWB能够推广与应用,在提交基金/资助申请时也可以减少大量临时性的数据分析工作。但目前看来,NWB标准化数据的开发与应用是优势与挑战并存的。

优势一:使用通用工具保存、检索、分析和共享数据可以提高实验效率,方便PI管理

挑战:对于实验室管理者而言,如果在实验室内引入标准化格式,可能会对现有的实验室生产力造成重大干扰。尤其是对于一个成熟、运转有序的实验室来说,很少有恰当的时机来暂缓或停止数据收集分析工作,以便转换到全新的数据管道和工作流程。

优势二:标准化数据让研究人员对同类型数据的分析和探索更为全面,减少工作重复

挑战:考虑到如果数据管理标准化是以牺牲实验灵活性为代价的,那么科研人员在实验过程和数据转换阶段的工作量可能会增加。在分析阶段,研究人员需要花时间学习和适应新标准的规则才能使用数据。并且,目前大多数实验室尚未配备研究软件工程师,缺乏培训的研究生和博士后可能因不了解如何构建自动化系统而给原有实验项目带来负担。

优势三:标准化数据提高了数据的可预测性,有利于软件工程师建立软件系统进行数据交互

挑战:目前存在一个核心挑战是,如何开发稳定的软件和工作流程来实现数据标准化,同时保持实验的灵活性,兼容不同实验设计和不同软件的数据记录格式。

优势四:NWB加强了实验合作,促进了公共数据的共享

挑战: 虽然NWB旨在建立一种通用的数据语言,但是对于尚未安装和使用的接收者们来说,如果缺乏详细的介绍文档和相关工作流程案例的情况下,有可能遇到各种类型的摩擦。例如两个实验室分别在Matlab和Python语言下工作,虽然NWB可以为这两种环境提供API,但仍需要分享者从头开始生成示例代码,并且两个实验室后续将维护两个独立的代码库。

04 结论与展望

对于神经科学这个高度学科交叉的领域来说,目前数据的存储及共享格式的标准化相对滞后。本文作者讨论了其所在实验室为实施NWB数据标准化所作的努力,并提供了NWB的一般性使用原则和具体案例,详细介绍了目前使用NWB的优势、挑战和未来发展方向。

在当今人工智能(AI)技术与神经科学领域互融互促的背景下,AI正迅速成为神经科学领域的重要工具,研究人员们更需要统一、标准的数据格式,以解决机器语言与行为语言间转换的问题,为训练AI模型打下良好基础。随着NWB的发展与应用,它会带来巨大的应用价值,同时也将给神经科学领域带来一场伟大的变革。

引用:
————————————————
[1]https://www.nwb.org/nwb-neurophysiology/

Nat.Neurosci︱眼动追踪技术应用于食欲素神经元活动的鉴定

眼动追踪技术发展至今,已经成为生物医药领域的一种常见技术方法,在动物实验中被广泛应用。“瞳孔变化”是眼动追踪技术的常用指标之一,包括瞳孔扩张和瞳孔收缩两种,而瞳孔扩张(pupil dilation)常作为觉醒的指标。先前关于蓝斑核(Locus Coeruleus,LC)去甲肾上腺素(Noradrenaline,NA)能系统的研究表明,瞳孔扩张可以代表大脑中去甲肾上腺素能系统活动的上升。因此可以用瞳孔测量来反映LC-NA系统的功能。

食欲素(Orexin, ORX)神经元主要位于外侧下丘脑(lateral hypothalamus, LH),参与睡眠-觉醒、进食和奖赏等行为的调节。然而,我们目前尚不清楚食欲素能系统如何调节瞳孔扩张,以及瞳孔测量是否也可以应用于监测LH-ORX系统的活动

2023年6月,来自瑞士苏黎世联邦理工学院的Denis Burdakov课题组在Nature Neuroscience 发表了题为“Control and coding of pupil size by hypothalamic orexin neurons”的文章。研究人员使用眼动追踪技术揭示了外侧下丘脑ORX神经元活动可以影响瞳孔扩张,并且发现不同的ORX神经元可以同时或分别编码“觉醒”和“奖赏”行为。

眼动追踪技术的关键难点,就是从动态变化的视频背景中提取准确、有效的瞳孔信息。在本实验中,为了测量瞳孔大小,作者使用红外摄像机(帧率:20 Hz)持续记录小鼠在麻醉状态时的瞳孔状态。随后使用基于深度学习算法的DeepLabCut工具包,在每一帧视频里识别出小鼠瞳孔边缘的八个点,并用MATLAB将其数据拟合生成瞳孔的表面积和半径。如果记录过程中出现小鼠眨眼等问题,该算法会自动将可信度低的点赋值。

为了测量激活外侧下丘脑的ORX神经元对瞳孔大小的影响,研究人员将眼动追踪技术与光遗传学技术结合(图1a),在小鼠LH脑区注射一种含有ORX启动子的腺相关病毒AAV1-hORX-C1V1(t/t)-TS-mCherry,从而特异性地靶向刺激LH中的ORX神经元。分别使用不同频率(1 Hz、5 Hz、20 Hz)的绿光进行刺激,发现小鼠的瞳孔直径迅速扩张,并且瞳孔扩张程度与光刺激频率呈正相关(图1b-d),成功建立瞳孔直径与LH-ORX系统活动间的关联。

图1 光遗传学刺激外侧下丘脑食欲素神经元引起瞳孔扩张

拓展:

1、小动物眼动追踪技术

眼动追踪系统是专门为小动物设计的,非侵入式地实时收集眼睛运动数据的检测系统。可以实时记录小动物眼球运动和瞳孔变化,并配有完整的图像记录与数据采集功能,以反应动物的觉醒、情绪状态和认知状况。

2、眼动追踪技术基本原理

眼动追踪技术基于光学原理测量眼球的位置和运动。常见的图像处理算法可以利用眼动追踪器(包含高速的眼动跟踪摄像头)呈现的“瞳孔中心”和“角膜反射中心”变化来精准追踪眼球运动。

3、常用眼动技术指标

常见的眼动指标数据有以下几种:如注视点、注视时长、瞳孔直径、瞳孔缩放、眼跳等。注视行为通常被认为是注意力的主观分配,在某种程度上能反映大脑的思维活动。

接下来,研究人员给小鼠腹腔注射阿莫伦特(Almorexant,ALM),特异性阻断食欲素受体的表达(图2a),并重复上述光遗传学实验。结果显示,注射ALM后显著降低了小鼠的强直性瞳孔扩张,以及受光刺激引起的瞳孔扩张程度(图2b-d)。说明瞳孔测量可以灵敏地反应瞳孔扩张的趋势,间接表现ORX神经元的活动。

图2 阻断食欲素受体影响瞳孔大小

下丘脑中的ORX神经元活动可以调节奖赏行为。为了研究影响小鼠瞳孔大小的ORX神经元与奖赏行为之间的关系,作者将眼动追踪技术与双光子显微成像技术结合,检测ORX神经元活性、瞳孔大小、奖赏行为三者间的关联。结果发现,瞳孔大小的变化与ORX神经元活动关系密切,ORX细胞的激活先于瞳孔的扩张(图3b-c)。以上结果表明,瞳孔大小可以作为判断食欲素神经元活动的指标。

图3 食欲素神经元的活动与瞳孔大小相关

随着光信息技术、传感技术、大数据和人工智能的快速发展,眼动追踪技术也取得了较大突破。本文针对小鼠LH-ORX系统,建立了眼动追踪技术的应用范式,将眼动、大脑神经元活动与行为变化联系在一起。该项目实现了眼动追踪技术对LH-ORX系统活动的实时监测功能,为解释更多认知相关的神经机制奠定基础。

一湾生命科技有限公司自主研发的BehaviorAtlas Eyetracking自由移动眼动追踪分析系统集成了通用、易于兼容的眼动追踪硬件和强大的眼部特征检测算法。在头部固定或者自由移动的小动物上均实现了眼动跟踪。其超轻硬件和可拆卸设计允许在动物裸露的头部添加更多植入物,可以和光遗传、电生理、双光子等技术同步协调使用。

Science:怀孕会重塑母亲大脑!激活新生神经元,使母亲对幼儿的识别更敏感

生物的繁殖是生命的基本属性之一。在繁殖期间,雌雄动物的身体会进行特化,这一过程甚至会影响大脑。有研究表明,怀孕会导致哺乳动物的多个大脑区域的重大结构变化,为母亲呵护、抚育婴儿做好准备。

此前的研究显示,成年小鼠大脑中的干细胞在整个生命过程中动态地整合和响应环境信号,例如饥饿、饱腹和怀孕状态等。然而,不同的生理状态如何动态控制不同的成体干细胞,以及按需募集干细胞与适应性大脑可塑性的功能相关性还有待完全阐明。

近日,瑞士巴塞尔大学的Fiona Doetsch教授团队在国际顶尖学术期刊Science上发表了题为:Pregnancy-responsive pools of adult neural stem cells for transient neurogenesis in mothers的研究论文。

**该研究发现,怀孕会重塑大脑干细胞,使母亲的嗅觉对新生儿更加灵敏。**在小鼠模型上的研究显示,成年小鼠大脑中不同的干细胞库在怀孕期间被激活,产生特定类型的嗅球神经元,这些神经元为哺动物做好母亲准备并且在出生后识别自己幼崽的气味很重要。

在哺乳动物中,嗅觉和气味是识别敌我的重要依据。在一方面, 动物会通过气味标记自己的领地以警示、驱赶同种个体;在另一方面,动物父母可以通过气味识别自己的后代以确保对子代的照顾和哺育。

此前的研究已经在小鼠中发现,为了维系这种亲代与子代的嗅觉纽带,雌性小鼠在怀孕期间会在大脑嗅球(处理嗅觉信息的大脑区域)中形成新的神经元,以使她能够识别自己的幼崽,并且这些新的神经元会在幼鼠出生几周后消失。

这一现象也引发了新的疑问——这些新生神经元的具体来源是什么?

成体神经干细胞(NSC)是在成年大脑内发现的未分化细胞,对终身大脑可塑性至关重要。在成年小鼠脑室-脑室下区(V-SVZ),NSC是异质的,并且可以响应不同的生理刺激产生不同亚型的嗅球中间神经元。然而,不同生理状态是否招募不同的干细胞池还尚未清楚。

图1 雌性小鼠的脑室-脑室下区的成体神经干细胞对对妊娠的动态时空反应

在这项最新研究中,研究团队发现,在雌性小鼠中,脑室-脑室下区的成体神经干细胞会在妊娠第7天和产后第7天增殖分化,产生特定的嗅球中间神经元亚型。利用空间转录组学,研究团队鉴定了与妊娠相关的中间神经元的分子标记,并发现其中一些神经元亚群在母鼠识别自己的幼崽的过程中发挥重要作用。

与之相印证,干扰母鼠与妊娠相关的短暂性神经发生可能会导致母体行为的缺陷,进一步证实这些新生神经元在哺育后代过程中起着关键作用,它们的存在使得母鼠嗅觉对幼崽的识别更加敏感。

图2 干扰与妊娠相关的短暂性神经发生可能会导致母体行为的缺陷

值得注意的是,在人类中,成体神经干细胞也存在于相同的大脑区域。尽管它们在婴儿早期之后通常不会产生嗅球神经元,但一些女性在怀孕期间报告嗅觉发生了变化。因此,类似的过程也可能发生在人类身上——休眠的干细胞可能因怀孕而被激活。

更有趣的是,这些新的神经元的产生具有显著的时间性——它们向嗅球的迁移、成熟和消亡与怀孕、分娩和子代的发育成长十分一致。这些增强亲子代嗅觉识别的神经元只是暂时需要的,当幼崽长大并独立时就会被淘汰。因此,在怀孕的雌性体内,干细胞的短暂募集使大脑为预期成为母亲的特定需求做好了准备。

图3 与妊娠相关的嗅球中间神经元亚型只是短暂存在*

总而言之,这项发表在Science的研究表明,在雌性小鼠中,怀孕状态会激活脑室-脑室下区的成体神经干细胞,并分化出嗅球中间神经元,使得雌性小鼠的嗅觉对幼崽的识别更加敏感。因此,怀孕会触发短暂但与行为相关的神经发生,突出了成体干细胞异质性的生理相关性。

这一研究结果强调了大脑的可塑性不仅仅是基于改变常驻神经元之间的突触连接,不同的成体神经干细胞库的动态和选择性募集形成特定的神经元亚型可能在大脑应对不同生活经历的能力中发挥关键作用。

图4 怀孕期间,雌性小鼠大脑嗅球内新生神经元的空间转录组学分析

在未来的研究中,研究团队计划进一步探究:

  • 在怀孕期间,哪些信号触发了短暂的干细胞募集和神经发生?
  • 在哺乳末期,这些新生神经元为何以及如何从嗅球中移除?
  • 雄性个体在担任父亲角色过程中是否也会经历类似的大脑重塑?

借助眼动追踪技术,挖掘不同强度运动时的心理唤醒机制

研究者们普遍认为,身体活动可以明显的影响认知和脑活动。以往的神经影像学研究表明,中等及以上强度的锻炼能够影响认知任务的表现,并且这一过程常常伴随着与压力相关的激素反应。针对这一现象,研究者们提出了上行激活系统(Ascending Arousal System)理论,该系统由儿茶酚胺系统(Catecholamine system)和蓝斑核(Locus Coeruleus)等部分组成。当进行中等及以上程度的锻炼时,个体的乳酸、下丘脑-垂体-肾上腺轴相关的应激反应以及儿茶酚胺等会随着动作强度的增加呈指数型上升趋势。同时,根据血液中的儿茶酚胺可能间接激活蓝斑核,研究者提出大脑唤醒反应与儿茶酚胺反应呈指数型关系。

近年来,轻微运动(如瑜伽)因其对身心健康的积极影响逐渐在大众中流行起来。然而,由于目前缺乏测量动态运动过程中上行激活系统的技术,我们对轻微运动是否对该机制产生影响尚不清楚。为了探讨这个问题,日本筑波大学的Ryuta Kuwamizu团队创新地采用了瞳孔指标作为运动过程中唤醒系统激活的生物标志。瞳孔作为自主神经系统的一部分,除了具有视觉功能外,还能够有效地反映觉醒系统(如蓝斑核)的激活情况。在上述瞳孔测量技术的帮助下,研究团队发现非常轻微的运动与唤醒强度之间存在密切关系,验证了上行激活系统与儿茶酚胺之间的关联,并建立了多级运动过程中的瞳孔扩张与心理唤起的理论模型。这项研究于2022年发表在The Journal of Physiological Sciences上。

实验流程

Ryuta Kuwamizu团队采用了自行车测力计(Cycle Egometer)来控制不同的运动强度。在实验中,参与者首先需要完成3分钟的30瓦热身功率任务,接着每分钟增加20瓦任务负荷,直到参与者无法继续完成任务。该实验还记录了呼出气体来量化运动强度,即每五秒测量一次氧气(Vo2)、二氧化碳(Vco2)和呼气量(Ve)的体积。根据氧气含量指标,整个实验流程可以分为以下阶段:休息阶段、轻微运动(氧气体积峰值小于37%,包括热身阶段)、轻度运动(氧气体积峰值在37%至45%之间)、中度运动(氧气体积峰值在46%至63%之间)、剧烈运动(氧气体积峰值在64%至90%之间)和极度剧烈运动(氧气体积峰值在91%以上)。同时,研究人员还使用了适用于屏幕的眼动仪来测量整个实验过程中的瞳孔直径,使得能够持续、高效地记录参与者在完成整个任务过程中瞳孔直径的变化情况。

运动强度和瞳孔直径变化

瞳孔直径大小随着运动强度增加呈现出显著上升趋势(见图1)。进一步基于运动强度变化过程的分析发现,中等强度及以上的运动强度变化过程中(即从中等强度到剧烈运动,以及从剧烈运动到极端剧烈运动)的瞳孔直径变化水平显著高于中等强度以下的运动强度变化(即从轻微运动至轻度运动,见图2)。有趣的是,从休息到轻微运动时的瞳孔直径变化水平显著高于从轻微运动到轻度运动时的变化水平。

图1A 瞳孔直径变化示例;图1B 不同运动强度条件下(相较于静息条件)瞳孔直径变化水平

图2 不同运动强度条件区间中的瞳孔直径变化水平

瞳孔直径变化与唤醒水平关联

与瞳孔直径结果相似的是,唤醒水平随着运动强度增加同样表现出显著上升趋势(除了剧烈运动和极度剧烈运动之间没有显著差异,见图3A)。更重要的是,休息与轻微运动之间的瞳孔直径变化水平与唤醒度之间存在显著正相关关系(见图3B)。

图3A 不同运动强度条件下氧气摄入水平与唤醒度之间的关系;图3B 轻微条件下瞳孔直径的变化与唤醒水平变化间的关系

总结

瞳孔扩张与心理唤醒间的理论模型

研究发现,瞳孔扩张可以根据不同运动强度分为两个阶段:轻度运动与心理唤醒相关;而中度及以上强度运动与供氧等指标相关。该研究揭示的独特瞳孔扩张模式为轻微运动过程中的上行激活系统提供了生理层面的证据,为眼动追踪技术在生理心理学领域提供了良好的研究范例。未来,应用眼动追踪技术到各领域中有助于克服那些难以触及的研究盲区,解决那些无从下手的研究对象,带来新的突破点。