2024年，蔚鹏飞 研究团队[第一作者为韩亚宁（现为南方科技大学医学院研究助理教授/副研究员）、陈可（现为一湾生命科技研发部算法组负责人）、王云珂 ]在Nature machine intelligence 上发表研究论文，通过创新的机器学习方法，构建了一个高效、精准且客观的社交行为分析框架。它不仅解决了多动物 3D 追踪和身份识别的技术难题，更重要的是，它通过无监督的方式实现了对社交行为的精细化、自动化解码，从而能够发现与疾病或基因相关的全新行为标记物，致力于推动行为神经学的边界。
动物的社交行为研究是理解大脑功能、社交障碍（如自闭症）以及神经精神疾病的关键。然而，要精确定量地分析动物的社交行为，面临着巨大挑战：
| 1 | 数据标注成本高：传统的深度学习方法需要海量的、由人工逐帧标注的数据集来训练模型，这个过程极其耗时耗力。 |
|---|---|
| 2 | 身份识别困难：在多动物场景下，特别是当动物外观相似时，要持续准确地追踪并区分每个个体的身份非常困难，尤其是在它们近距离互动、身体发生遮挡时，极易发生身份混淆。 |
| 3 | 行为定义的局限性： 传统的行为分析依赖于研究人员预先定义好的行为类别（如追逐、理毛），这可能导致忽略一些未知的、微小的或非典型的社交行为。 |
2024 年 1 月 8 日，中科院深圳先进院蔚鹏飞团队 在《Nature Machine Intelligence》发表了题为 “ Multi-animal 3D social pose estimation, identification and behaviour embedding with a few-shot learning framework ” 的研究论文。该研究提出了一种用于多动物三维社交姿态估计、识别和行为嵌入的少样本学习框架——社交行为图谱（Social Behavior Atlas, SBeA） 。这种方法能够精确地追踪和识别每个动物的关键身体部位并准确区分外观相似的动物，在自闭症等疾病模型的动物研究中，能够提供更可靠、更深入的生物学见解。
该研究提出的“ 社交行为图谱（SBeA） ”是在 BehaviorAtlas 单动物行为分析的基础上进行的社交行为拓展。该框架通过创新的“ 少样本学习 ”策略，将姿态估计所需的人工标注量锐减数个数量级；同时利用 “ 零标记 ” 的个体识别技术，解决了外观相似动物在复杂互动中的身份混淆问题；并借助无监督学习，自动解码出人类观察者难以察觉的精细社交行为模块。该框架不仅成功运用在自闭症小鼠模型的自由社交行为研究中，还成功拓展于鸟类和犬类的社交行为分析中，证明了其通用性和广阔的应用前景。
01 小样本3D姿态估计
SBeA 引入了一种名为“ 连续遮挡复制粘贴算法（COCA）”的数据增强策略，从少量真实标注的图像中分离出动物和背景，通过程序化地组合他们来生成大量带有逼真遮挡和复杂互动场景的虚拟训练数据（图 2a-d）。这使得模型仅用约 400 帧的手动标注就能达到很高的 3D 姿态估计精度，尤其是在动物近距离接触时，其性能显著优于其他主流方法（图 2e-h）。
02 无标签身份识别自动区分相似个体
在社交场景中，区分外形相似的动物是一个巨大的挑战。SBeA 采用了一种创新的 “ 双向迁移学习 ” 策略，训练良好的多动物分割模型可以移植到单动物视频中，训练良好的单动物身份识别模型也可以移植到多动物视频中，有效减少了对动物身份的人工标注（图 3a-e）。为了评价 SBeA 在多动物数据中的鉴别性能，研究用 10 只小鼠进行了自由社交实验，通过识别模型区分成对小鼠的身份（图 3f-i）。与手动验证比较，这种方法识别成对小鼠的总体精度超过了 85%（图 3j），表明了该模型在多动物身份识别中的高效率和可行性。
03 社交行为的无监督分解与图谱构建
在姿势跟踪之后，将带有动物身份的轨迹映射到低维空间是必要的，以获得对行为的见解。该研究在 BehaviorAtlas 3D-AI 动物行为分析的基础上，拓展到多动物社交场景中。除了考虑单一个体的运动（locomotion）和非运动（non-locomotor）姿态外，还并行地加入了第三个关键维度——动物间的距离，从而在低维空间中构建出 “ 社交行为图谱 ”（图 4c-f）。最后，通过人工识别和定义这些模块所代表的的社交行为（如追逐、理毛、嗅探等，图 4g）。随后，研究人员使用公开的 PAIR-R24M 数据集对 SBeA 进行验证，结果显示，SBeA 不仅能成功区分数据集中预设的三种社交行为（靠近、追逐、探索），而且其分类结果与动物间的实际物理距离变化高度一致（图4h-k）。
04 SBeA 发现自闭症模型中被忽略的社交缺陷
为了测试 SBeA 是否可以实际应用，研究人员首先选择了自闭症（Shank3B -/-）动物模型，比较了野生型（WT-WT）、野生型与敲除型（WT-KO）以及敲除型（KO-KO）三组社交行为的差异。SBeA 自动识别出 260 个社交行为模块，并通过降维和聚类，成功在表型空间中将三组小鼠清晰地分离开（图 5a, c）。进一步，SBeA 被用于识别区分 KO 和 WT 小鼠的微妙社交行为，分析发现，与 WT 小鼠相比，KO 小鼠表现出更少的相互理毛（allogrooming，一种亲社交行为）和探索行为，但同时出现了同步行为（synchronous behaviours）和不同类型的静止不动（stretch immobility 和 huddle immobility，图 5e, f），这些发现表明，SBeA 可以在社交行为的基础上区分遗传突变动物，并识别与遗传突变相关的精细化社交行为模块。
05 SBeA 在不同物种和实验环境下的鲁棒性
为了评估 SBeA 在不同物种和实验环境下的鲁棒性，研究人员在鸟类和犬类上进行了进一步验证。最终，SBeA 总共确定了鸟类 34 种、犬类 15 种社交行为类别。其中，鸟类的三维姿态跟踪可以清晰地识别出一只的爪子接触另一只的尾羽；犬类的三维姿态跟踪即使在躺姿下也对遮挡具有鲁棒性（图 6）。
总的来说，该研究发布的 SBeA 框架，是在先前的单动物行为图谱（Behavior Atlas, BeA）基础上的一次关键性的拓展，其核心创新点正是将 BeA 的分析范式从“个体行为”成功推向了复杂的“社交互动” 。在技术层面上，首先，SBeA 解决了从单到多最直接的遮挡与追踪难题；其次，它增加了全新的个体身份识别模块 ，利用零标记双向迁移学习，确保了在外观极其相似的动物间也能准确区分每一个动作，这是分析社交行为的根本前提；最核心的是，SBeA 在原有的运动和非运动分解基础上引入了 “ 社交距离 ” ，使得 SBeA 能够精准解码两个个体间的动态空间关系的社交行为图谱，从而真正实现了从个体行为分析到复杂社交行为解码的跨越。
想要一键获取实验动物的 3D 骨架吗？
想要真正“读懂”实验动物的每一个肢体语言吗？
想要让焦虑、抑郁、自闭症等精神疾病的动态表型一览无余地展现在您面前吗？
一湾生命科技（BAYONE）的创新产品—— BehaviorAtlas 3D-AI 动物行为分析系统 ，依托多视角深度摄像头和先进的AI算法，实现了对实验动物无标记的 3D 骨架动态追踪和无偏见的精细行为谱识别 。从焦虑、抑郁、自闭症等复杂精神疾病的动物模型评估，到神经退行性疾病的早期行为表型筛查，再到新药研发的药效评价，BehaviorAtlas 都能提供前所未有的深度和广度。我们的产品还在许多优秀的研究工作中得到验证，如果您希望深入了解其在动物行为研究中的应用，我们非常欢迎您进一步探索！
为了帮助您获取更多信息，我们提供了便捷的联系方式。您可以通过公众号私信与我们交流，或者直接扫描下方的微信二维码，我们的专业团队将竭诚为您提供更多信息和帮助。
参考文献：
————————————————
Han, Y., Chen, K., Wang, Y. et al. Multi-animal 3D social pose estimation, identification and behaviour embedding with a few-shot learning framework. Nat Mach Intell 6, 48–61 (2024). Multi-animal 3D social pose estimation, identification and behaviour embedding with a few-shot learning framework | Nature Machine Intelligence