近些年来，大量的神经影像模式识别研究尝试利用结构MRI或DTI数据来对精神分裂患者（schizophrenia，SZ）进行分类。尽管这些研究可以实现较高的分类准确率，但是利用多模态神经影像数据来对SZ特别是首发精神分裂（first-episodeschizophrenia，FES）进行分类的研究并不多见。大量的研究表明，不同模态的成像数据可以从不同角度和侧面揭示疾病的异常变化，结构MRI数据为脑组织的整体形态学特性提供了极好的研究窗口，而DTI数据则反映了与白质相关的微观结构信息。多模态数据的融合可以进一步揭示疾病大脑病理生理机制。因此，同时利用结构MRI和DTI数据作为分类特征似乎可以得到比单模态数据更加可靠的分类结果。本文来源于19年发表在《SchizophreniaBulletin》杂志上题目为《ClassificationofFirst-EpisodeSchizophreniaUsingMultimodalBrainFeatures:ACombinedStructuralandDiffusionImagingStudy》的研究论文。该研究融合多模态结构脑影像数据特征（包括灰质体积GMV，皮层厚度，皮层褶皱，分数各向异性FA，平均弥散率MD）来对FES进行分类。
一、研究方法
1.被试与数据采集
总计募集名FES和名健康被试HC。其中98名FES和名HC在3T的菲利普的MRI设备上采集（Dataset1），另外54名FES和48名HC在3T的GEMRI设备上采集（Dataset2）。采集每名被试的T1和DTI数据。
2.数据预处理、特征提取和选择
T1数据采用FreeSurfer软件进行处理，提取Desikan–Killiany图谱中每个脑区的GMV、皮层厚度、皮层褶皱（共计68个脑区）。DTI数据采用FSL工具包，提取JohnsHopkinsUniversityDTI-based白质图谱的每个纤维束的FA和MD（共48个纤维束）。在获得这些特征之后，通过Gini系数来选择重要的特征。
3.分类算法
分类算法采用梯度提升迭代决策树（GradientBoostingDecisionTree,GBDT）。
在具体的操作中，以Dataset1作为训练和验证集，以不同阈值的Gini系数来选择重要的特征，输入到GBDT分类器中，从而确定最优的特征集合。
在用Dataset1数据集确定好特征集合之后，那么在Dataset2中进行实际的分类。分类过程在采用10倍交叉验证。整个数据分析的流程如图1所示。
图1
二、实验结果
1.单一模态特征的分类结果
研究者先测试了利用单一模态数据特征进行FES分类的效果。表1列出了FA和皮层褶皱（gyrification）两种单一模态数据特征中最重要的几个脑区的特征（Gini系数最大n个脑区）。基于Dataset1，利用这4个FA特征进行交叉验证分类，得到分类准确率为70.27%，而利用独立的测试样本Dataset2，得到的分类准确率为60.12%；利用6个脑区的gyrification作为特征集合，在Dataset1中得到的交叉验证分类准确率为67.93%，而在Dataset2中得到的准确率仅为63.41%。而对于单一模态数据特征的GMV、皮层厚度和MD来说，在Dataset1上获得的准确度分别为63.5%、66.47%、66.0%，而在Dataset2上获得的分类准确率分别为54.7%，60.94%，67.43%。
2.融合多模态数据特征进行分类
研究者发现，通过融合4种特征（皮层厚度、褶皱、FA和MD）可以获得最高的分类准确率。表2列举了从这4种特征种选择的最重要的一些特征。基于这些特征，在Dataset1中可以获得75.05%的分类准确率和75.12%的AUC；而在独立的测试样本Dataset2中得到的发呢类准确率为76.54%和77.86%的AUC。图2展示了这些特征所在脑区的位置。
图2
研究发现，当融合5种特征（GMV、皮层厚度、褶皱、FA和MD）时并不能提高分类准确率。当融合5种特征时，在Dataset1中获得的最高分类准确率为74.14%，而在Dataset2中获得的分类准确率为75.30%。图3对比了单一特征和融合特征得到的分类准确率。
三、小结
本文的研究结果表明，相比单一模态数据，利用多模态融合的方法似乎可以得到更加良好的分类准确率和稳定性。这也进一步印证了，不同模态的脑影像数据只能从某一个方面或者侧面反映疾病的异常变化，而通过多模态融合的方法能够更加全面、客观地理解疾病的神经机制。