基于混合深度学习算法的疾病预测模型

ArtificialIntelligenceandRoboticsResearch人工智能与机器人研究,2020,9(1),16-23PublishedOnlineFebruary2020inHans.://doi.org/10.12677/airr.2020.91003文章引用:梁敏,莫毓昌,林栋,陆迁,李宁宁.基于混合深度学习算法的疾病预测模型[J].人工智能与机器人研究,2020,9(1):16-23.DOI:10.12677/airr.2020.91003DiseasePredictionModelsBasedonHybridDeepLearningStrategyMinLiang1,YuchangMo1*,DongLin2,QianLu1,NingningLi11FujianProvinceUniversityKeyLaboratoryofComputationalScience,SchoolofMathematicalSciences,HuaqiaoUniversity,QuanzhouFujian2CollegeofAcupuncture,FujianUniversityofTraditionalChineseMedicine,FuzhouFujianReceived:Dec.30th,2019;accepted:Jan.14th,2020;published:Jan.21st,2020AbstractPredictivemodelsbuiltusingtemporaldatainelectronichealthrecords(EHRs)canpotentiallyplayamajorroleinimprovingmanagementofdiseases.Duetothesequencecorrelationandlargefeaturespacedimensions,traditionalmethodssuchasmachinelearningandnon-deepneuralnetworksaredifficulttoprovideaccuratepredictionsofdisease.Recentworksshowthatthelongshorttermmemory(LSTM)neuralnetworkoutperformsmostofthosetraditionalmethodsfordiseasepredictionproblems.Inthisstudy,ahybriddeeplearningneuralnetworkframeworkthatcombinesconvolutionalneuralnetwork(CNN)withLSTMisproposedtofurtherimprovethepre-dictionaccuracy.Empiricalstudiesusingthereal-worlddatasetsinelectronichealthrecordshaveshownthatusingtheproposedhybriddeeplearningneuralnetworkfordiseasepredictionsignif-icantlyimprovespredictiveperformancecomparedtotheuseofsupportvectormachine(SVM)model,CNNandLSTMalone.KeywordsElectronicHealthRecord,LongShortTermMemoryNeuralNetwork,ConvolutionalNeuralNetwork,HybridDeepLearning基于混合深度学习算法的疾病预测模型梁敏1，莫毓昌1*，林栋2，陆迁1，李宁宁11华侨大学数学科学学院，计算科学福建省高校重点实验室，福建泉州2福建中医药大学针灸学院，福建福州收稿日期：2019年12月30日；录用日期：2020年1月14日；发布日期：2020年1月21日*通讯作者。梁敏等DOI:10.12677/airr.2020.9100317人工智能与机器人研究摘要利用电子健康档案中时间序列数据建立的预测模型在改善疾病管理方面发挥着重要作用。由于时态数据的序列相关性和特征空间维度大等特点，机器学习和非深度神经网络等传统方法难以提供疾病的准确预测。最新工作表明，长短时记忆(longshorttermmemory,LSTM)神经网络性能优于大多数传统的疾病预测方法。为了进一步提高预测精度，本文提出了一种将卷积神经网络(convolutionalneuralnetwork,CNN)与LSTM相结合的混合深度学习神经网络框架。使用电子健康档案中真实数据集的研究结果表明，相比传统SVM，CNN和LSTM模型，该算法的预测性能得到显著提高。关键词电子健康档案，长短时记忆网络，卷积神经网络，混合深度学习Copyright©2020byauthor(s)andHansPublishersInc.ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY).引言通过追踪一段时间内对患者状态的重复测量，电子健康档案(electronichealthrecords,EHRs)数据包含有关疾病演变的重要信息，该信息可用于构建潜在帮助预测疾病进展的模型。然而，仅在医疗保健事件期间或患者前往医院接受常规医疗护理时才记录患者数据，导致数据的不规则采样；同时对患者进行不同周期的追踪。因此，EHR中存储的医学数据对建立预测模型提出了许多技术挑战：异构数据类型的集成和复杂纵向数据的分析。为了解决集成问题，研究者分别对知识层和数据层进行了研究。有些人依靠领域知识，通过定义来自不同数据类型[1]的标准来提取联合患者队列，而另一些人则研究在建模之前或建模后集成异构EHR数据的可能性[2]。本文的研究重点是后者：分析复杂的纵向数据。传统的疾病预测方法将相似模式的患者聚类到同一子组以减少不规则性。此外，单变量数据预测仍然是机器学习领域最具挑战性的问题之一，因为大多数因变量是未知的。经典的单变量预测方法通常适用于其他特征难以度量或需要度量的变量太多的情况，例如股票市场指数预测问题[3]。在不需要额外信息的情况下，单变量预测方法十分灵活，只要EHR中有历史数据，所提出的方法就可以应用到其他患者的疾病预测。近年来，深度学习神经网络(deeplearningneuralnetworks,DLNNs)在世界范围内得到了越来越广泛的应用，包括自然语言处理(naturallanguageprocessing,NLP)[4]、图像目标检测、时间序列分析等领域。对于疾病预测问题，最近的研究工作表明，长短时记忆(longshorttermmemory,LSTM)神经网络在预测[5]上提供极高的精度。实验结果表明，由于在循环神经网络(recurrentneuralnetwork,RNN)中引入了贮存长久信息的记忆门，仅使用LSTM神经网络，预测精度就超过了大多数传统的统计和机器学习方法，包括自回归综合移动平均(auto-regressiveintegratedmovingaverage,ARIMA)模型，支持向量机(supportvectorMachine,SVM)[6]，非深度人工神经网络(non-deepartifificialneuralnetworks,ANN)[7]及其组合。此外，LSTM神经网络是RNN的一种特殊形式[8]。还有其他类型的DLNN，例如卷积神经网络(convolutionneuralnetworks,CNNs)[9]和深度信念网络(deepbeliefnets,DBN)。由特殊的一维卷积运算组OpenAccess梁敏等DOI:10.12677/airr.2020.9100318人工智能与机器人研究成的时态CNN对于时间序列预测问题也是十分有效[10]。在自然语言处理领域，有学者建议将时态CNN与RNN结合使用以获得更精确的分类结果[11]。2.相关工作疾病预测在医疗诊断领域十分重要。传统的预测方法包括支持向量回归(supportvectorregression,SVR)，时间序列分析方法以及灰色模型(greymodels,GMs)[12]。王等人[13]比较了使用ARIMA和GM(1,1)模型进行的中国乙型肝炎月发病率预测的结果。马等人[14]使用季节ARIMA和Holt-Wins季节模型预测中国梅毒月发病率。张和李等人[15]提出了一种结合ARIMA模型和SVR模型的日放射科急诊病人流量预测方法。所有的单个基础预测模型都是以非线性的方式集成的，实验结果表明了所提出的混合方法的预测精度和可靠性。深度学习神经网络是现代流行的处理大数据的机器学习技术，具有较高的分类和预测精度，已广泛应用于多个领域。与传统的人工神经网络ANNs相比，由于内部隐藏层和计算量的增多，DLNN被用于更具挑战性的问题。Kann等人[16]训练深度学习卷积神经网络来识别淋巴结转移和ENE，其性能优于人类临床医生在历史上取得的成就。顾等人[17]提出了一种基于GeoDetector和LSTM进行手足口病预测的新方法，并将该模型扩展到其他传染病的时间序列预测。Chae等人[18]使用深层神经网络(deepneuralnetwork,DNN)和LSTM模型预测传染病，结果表明，DNN和LSTM比ARIMA具有更好的预测精度。在本研究中，设计了一种将LSTM神经网络与CNN相结合的混合深度学习神经网络框架，用于解决疾病预测问题。通过增加使用CNN预处理阶段扩展传统的LSTM神经网络。预处理阶段从原始数据中提取有用的特征，通过一维卷积将单变量数据转换为多维数据，增强LSTM神经网络的预测能力。为了评估所提出框架的性能，使用EHR中真实数据集进行实验。实验结果表明，所提出的混合DLNN框架优于文献中现有的大多数方法，包括支持向量机(SVM)，单独的CNN和LSTM模型。本文的贡献包括：1)引入一维卷积神经网络预处理单变量数据集，并经过两层时间卷积运算后将原始数据转换为多维特征数据；2)提出的混合深度神经网络模型用于疾病预测。实验结果表明，提出的框架优于大多数现有方法，包括SVM，CNN和LSTM。3.材料和方法长短时记忆网络(LSTM)和卷积神经网络(CNN)是深度学习神经网络的两个热门分支，近年来，它们已引起了全世界的广泛关注。在本文中，针对解决时态数据预测问题的不规则性和序列长期依赖性，我们将LSTM和CNN结合起来，形成了一种混合式深度学习方法，与传统方法相比，该模型能够提供更准确，更可靠的预测结果。使用真实世界的数据集，提出的框架用CNN对原始数据进行预处理，并利用CNN的输出来训练LSTM模型。3.1.数据描述实验数据使用Adadelta[19]。预处理后共有578个样本，其中阳性样本数361个，阴性样本数217个。我们以0.8:0.1:0.1的比例将数据集划分为训练、验证和测试集，训练集用于训练提出的DLNN框架；验证集是模型训练过程中单独留出的样本集，用于调整模型的超参数和用于对模型的能力进行初步评估；测试集用来评估最终模型的泛化能力。3.2.基于长短时记忆的循环神经网络长短时记忆(LSTM)模型是循环神经网络(recurrentneuralnetwork,RNN)的一种特殊形式，可在每个神梁敏等DOI:10.12677/airr.2020.9100319人工智能与机器人研究经元处提供反馈。RNN的输出不仅取决于当前神经元的输入和权重，还取决于先前神经元的输入。因此，从理论上讲，RNN结构通常适用于处理时间序列数据。然而，在处理一系列长期相关的