面部识别，表情识别
1 个赞
小鼠的面部表情相关的研究，印象比较深的是20年在 Science 上马普所 GogollaLab 的工作。基本的方法如下：
- 用下图所示的方式，拍摄到面部的图像视频。
-
将小鼠暴露于多种感觉刺激下，具体包括疼痛、糖水、苦水以及氯化锂。因为这些刺激对小鼠情绪的影响是容易理解的，所以小鼠产生的面部微形态变化，可以认为是与情绪相关的。
-
基于计算机视觉技术，提取在不同刺激下面部视频特征（例如，HOG特征）。发现，在不同刺激下，面部的特征是有显著差异的。
- 将这些不同刺激状态（对应不同的情绪）下的面部图像特征用 t-SNE 算法降维，发现不同的情绪类型可以清晰地分成了离散的簇，这说明小鼠面部表情是特定于某种情绪的。
-
这些表情与诱发的情绪状态相关，例如愉悦、厌恶或恐惧。
-
通过光遗传等方法，作者还发现了与情绪调控相应的神经环路。
之前我记得该课题组在 GitHub 上有开源的代码，但现在似乎是空的。我在 Zenodo 发现代码好像还在，可以试试。
不过，我觉得目前还很难直接利用软件能分析出小鼠到底处于 “喜怒哀乐” 哪种表情，只能是说，在不同情绪刺激下，以及在作者拍摄的环境下，提取的视频中面部特征能够与刺激表达的情绪有很高的相关性。如果换了场景，拍摄的视频和 Science 这个场景不同了，这些特征变化很可能无法相匹配，也无法对小鼠的表情进行判断。
3 个赞
还有一个可以参考的工作，两周前在 Current Biology 上发表的 Neural mechanisms underlying uninstructed orofacial movements during reward-based learning behaviors 用了类似的方法。
4 个赞
这就叫专业
1 个赞
1 个赞