基于MapReduce框架的医疗大数据分析

在这里插入图片描述
有需要本项目的案例集代码的可以私信博主

提供远程部署服务及代码讲解

本项目的环境请点击文章顶部自行下载

前言介绍

近年来，大数据解决方案与大数据分析工具开始被广泛运用于医疗卫生领域。通过数据，可以把医学专家积累的宝贵经验，转化成标准化的知识基础，做到数据驱动医疗服务，因此从而大大提高服务能力和效率，解决中国医疗领域存在的诸多需求。

通过进行医疗数据分析，有利于提高临床决策的准确性，有利于实现个性化医疗，还可以进行医疗服务水平的评估，可以大幅度提升医院的运营效率，也可以对药物的市场和销售策略进行辅助，除此之外，制药厂家和医疗器材研发机构可以获悉各种疾病及相关治疗费用的发展趋势，为研发资源的优化配置提供参考。并且在对患者诊疗和治疗过程中所产生的一切数据，包括患者的基本数据、电子病历、诊疗数据、医学影像数据、医学管理、经济数据、医疗设备和仪器数据等，以患者为中心，都可以成为医疗数据的主要来源。

国内外研究现状

目前MapReduce计算模型是开源社区最流行的大数据技术，它专门设计运行于分布式系统，让用户只需考虑Map过程和Reduce过程，降低了分布式并行编程的复杂性，方便编程人员把程序应用于分布式系统。MapReduce的开源实现Hadoop被国内外公司、组织、开源社区广泛使用。对于海量数据处理，MapReduce框架比关系数据库RDBMS有独特的优势。由于设计结构的先天异，MapReduce架构对多种类型结构的大数据处理在许多方面优于分布式的关系数据库[3]。

通过Hadoop实现医疗数据的分布式计算，重要是发挥MapReduce强大的计算能力助力临床数据分析。郭文亮[4]实现Hadoop下的电子病历全文检索，并优化基于MapReduce的Apriori数据挖掘算法，有助于挖掘电子病历数据间的关系；JS Patil[5]利用MapReduce框架对非结构化图像数据进行大量的模式匹配运算，实现诊断两维医学图像的功能。

本次论文设计主要是基于MapReduce框架的医疗数据分析，在此基础上，借助可视化的力量，将数据转换成通俗易懂的图形。

(1) Hadoop:Hadoop是一个由Apache基金会用Java语言实现的开源软件的框架，是一个分布式系统基础架构，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对海量数据进行分布式处理。

在这里插入图片描述

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：

①　HDFS（分布式文件系统）：Hadoop的数据存储工具
②　YARN（作业调度和集群资源管理的框架）：解决资源任务调度，也被称为Hadoop的资源管理器
③　MAPREDUCE（分布式运算编程框架）：解决海量数据计算，是一个计算框架
广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
(2) MapReduce框架：MapReduce是一个编程框架，将分布式计算抽象为Map和Reduce两个阶段。一个完整的MapReduce必须要有Mapper，但是可以没有reduce。
(3) XShell:XShell是一款功能强大且安全的终端模拟器，是一种流行的简单的网络程序，支持SSH、SFTP、以及Microsoft Windows 平台的TELNET 协议、RLOGIN和SERIAL。

Xshell是在Windows下远程连接Linux主机的工具，且选择该终端模拟器是因为它有以下特点：

①　分页环境：Xshell标签可以脱离原来的窗口并重新创建一个新窗口或重新连接一个完全不同的窗口。另外，单个的窗口可以垂直或水平分割，从而使一个窗口显示多个终端会话。
②　动态端口转发：系统管理员经常必须使用多个远程主机，并沉闷的一遍又一遍的执行重复的任务。使用新的同步输入重定向特性，所输入的东西能够同时发送到多个所选择的终端。
③　自定义键映射：终端密钥和文件菜单可以被映射到用户偏爱的键位，你甚至可以映射一个用来启动应用程序或脚本的键
④　用户定义按钮：通常，用户必须多次重复输入相同的字符串。而xshell只需要点击按钮就可以完成重复字符串命令的输入，快速命令能够节省很多时间。

(4) IDEA：是Java语言开发的集成开发环境，在业界被公认为最好的java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、J Unit、CSV整合、代码审查、创新的GUI设计等方面的功能是表现超常的，具有非常好的特性[6]。

(5) Tomcat服务器：作为一个Web项目在运行时必须部署在服务器上，所以我们还要安装Tomcat服务器，现在Tomcat服务器它技术更加先进，运行时占用系统的资源非常小，扩展性比较好，而且它性能稳定，开源免费[7]，所以就选用它作为Web服务器。
(6) MySQL数据库：本软件是一款专业的、安全的、流行的数据库管理系统，使用它来实现数据之间的关系，是一个关系型数据库，具有强大的功能[8,9]。

对于医疗服务提供方而言，其对大数据分析的应用主要体现在如下几个方面：临床决策支持、用药与医嘱自动报错、医疗服务水平评估、异地病患监控等等，由此大幅度提升了医院的运营效率。随着电子病历不断完善，借助大数据分析相关的医疗数据，以此来对各种干预措施进行比较，可为临床决策提供信息支撑，这样能有效解决过渡治疗或治疗不足的情况；

用药与医嘱自动报错能够减少处方误开的可能性，可以降低医疗纠纷的发生几率；通过对病历等数据的分析，可给出相应的治疗路径，从而为医疗人员提供参考；利用大数据分析，能够找出医院服务质量、费用支出以及绩效等方面存在的差异，为医疗机构精简业务流程提供参考，除能够使成本降低之外，还能使医疗服务质量有所提升；

在家中的病患，可通过传感器将测得的心率、血压等数据传给医院，为医疗人员的诊断提供参考；对病人档案进行大数据分析，可确定出某类疾病的易感染人群，从而制定有针对性的预防方案和治疗模式，由此可使治疗效果获得提升。

介绍了基于MapReduce框架对医疗数据的分析，通过采集医药使用数据，分析我国当下使用最多的药物，得出用药结论。