基于大数据技术的天气数据分析系统设计与实现开题报告

1.课题名称、来源、选题依据

1.1课题名称

基于大数据技术的天气数据分析系统设计与实现

1.2课题来源

    课题来源于社会实践。

1.3选题依据

当今社会,天气对于人们的影响越来越大。不仅影响着人们的出行,还影响着农业,畜牧业,自然灾害等多个领域息息相关。很好的把握天气相关的数据,对将来的天气进行预测,可以很好的降低对人们生活的影响,甚至是规避风险。天气预测指综合使用点在科学技术对某一地区未来一段时间的温度,湿度,风力,风向,天气状况等进行预测。天气越来越成为人们生活正常运行不可或缺的因素了,随着天气数据的规模不断扩大,大数据技术相关技术在天气预测方面发挥着重要作用。

2.课题国内外研究现状和发展趋势

2.1国外研究现状

对天气的监测既要考虑内部环流的模型,也要探测环流周围的变化,从中发现相应的联系[1],这就需要各种监测技术和方法的配合。为了实现上述监测,利用自动气象监测站,通过综合监测试验,表明中尺度监测事实,掌握空间尺度十几公里的天气系统的三维结构,以及强对流云团微物理过程等[2]。

目前世界上比较先进的临近天气数据分析系统是美国国家强风暴实验室的预报决策支持系统[3],主要功能是能够对回波单体进行跟踪和测量,在每10min或5min一次雷达监测的基础上,对每个回波进行编号,根据其移动和发展历史外推其未来的位置和发展趋势,并以表格形式显示各单体的环流类型、产生冰雹的概率等信息,并不断修正过去的预报[4],及时发现天气的新变化,配合警报发布相关预警信息,国外发展利用雷达和卫星资料相结合的临近预报技术,主要是以降水预报为重点,这种方法的基础是应用天气数据分析系统的大量经验,发展基于线性外推技术或者线性外推与精细化数值预报模式相结合的短时临近预报技术,同时利用在不确定性理论基础上的短期中尺度集合预报技术,可以给出这些天气过程概率意义上的最大可能性预报[5]。

2.2国内研究现状

目前,国内有许多专门从事研究与开发数据整合及分析平台的软件公司,凭借数据仓库、数据挖掘等方面雄厚的技术实力和丰富的实施经验为各行业客户比如电信、金融、政府机关及企业等[6],提供基于各种平台的数据整合及分析解决方案。“在我国,数据仓库在银行、保险业及证券业等领域已有成功案例。数据仓库技术的出现使得操作型环境分析型环境进行了分离[7],从而由以单一数据库为中心的数据环境发展为以数据库为中心的一种新的体系化环境,侧重于决策支持。数据仓库以改进后的数据库技术作为整合数据和管理资源的基本手段[8],以统计分析技术作为分析数据和提取信息的有效方法[9],通过OLAP技术及数据挖掘技术来多维度多层次地展现数据以及发现数据背后隐藏的规律,有效地利用数据,实现了从数据到信息再到知识的过程,为行业提供不同层次的决策支持[10]。

2.3发展趋势

综上所述,根据国内外天气数据分析系统发展趋势,天气数据分析系统自动预报已经是自动化,遥测化。为了应对复杂的天气环境,应用具备大数据的天气数据分析系统,在设计监测网时能提供足以描述中尺度天气系统和天气过程演变的实况资料。

3.本课题的目的及意义

   灾害性天气阻碍工农业发展,破坏交通设施,威胁人民生命财产的安全,严重影响社会稳定,因此,研究灾害性天气的机制和规律是气象预报的重要课题,及时的得到准确的天气预报信息,提前做好预防措施,减少自然灾害造成的损失,天气数据分析系统作为社会公共安全的重要组成部分,是当今社会共同关注的重要问题。而我国地域广阔,自然环境复杂,不同区域的天气种类差异显著,所以必须分析相应地区的天气并针对性地设计和开发天气数据分析系统,而过去的天气数据分析系统由于受限当时的气象预报业务的水平,多数气象员利用天气尺度观测资料为基础的临时预报技术发布预报信息。随着天气监测技术的不断发展,计算机数据处理能力的不断加强,通讯网络技术的高速发展,大大提高了环境监测系统的监视能力和天气数据分析系统的准确率与预报时效。利用以往的气象预报技术预报时,由于有限的信息处理的能力,无法充分利用预报数据提供服务。而天气预报与以往的短时天气数据分析系统相比,气象预报服务对于环境监测、信息处理和预报数据输出等有着更高的要求。

4. 本课题的任务、重点内容、研究方法、实现途径、进度计划[1] 

4.1课题任务

 从温度变化,相对湿度变化,空气质量,风向风级,温度湿度相关性,五个维度,进行可视化分析,整体反应天气数据对人们日常生活的影响,以及预测天气。根据贝叶斯公式计算预处概率,对天气进行预测,以及运用时间序列算法prophet对天气温度进行预测等。

4.2重点内容

a.基于网络调研,完成对天气数据的技术预研工作。

b.完成基于大数据平台技术的数据仓库构建等相关技术的研究工作。

c.完成专业相关的天气数据的数据采集、数据清洗、数据入库工作。

d.对爬取的数据进行可视化分析。

e.系统实现阶段,使用Django框架完成的开发工作,并完成相应的测试工作。4.3研究方法

①定性分析法

定性分析法就是对研究对象进行“质”的方面的分析。具体地说是运用归纳和演绎、分析与综合等方法,对获得的各种资料进行思维加工,从而能去粗取精、去伪存真、由此及彼、由表及里,达到认识事物本质、揭示内在规律。我将收集关于管理系统开发方面的资料,进行加工,更好地完成本次设计。

②文献研究法

根据一定的研究目的或课题,通过调查关于天气数据分析系统文献来获得资料,从而全面地、正确地了解并掌握我所研究的内容。这个研究方法能让我有效了解到有关问题的历史和现状;形成关于研究对象的一般印象,有助于观察和访问;能得到真实可靠的研究资料;有助于了解课题的全貌。

③模型方法

模拟法是先依照原型的主要特征,设计一个相似的模型,然后通过模型来间接研究原型的一种形容方法。模仿设计已有的天气数据分析系统,再系统上设计一些创新点,完善系统其他功能,根据用户需求,使系统更加全能,便捷被广大用户喜爱。

4.4实现途径

    Web系统基于Django框架设计开发。数据仓库构建选用Hadoop大数据平台的数据仓库工具Hive,用来进行数据的提取、转化、加载,实现数据的导入。

(1)调研了解基于大数据技术的天气数据分析系统设计与实现的业务背景和现状,明确要解决的问题和实现技术,制定合理的实施路线,撰写开题报告。

(2)可视化设计以及算法设计

 从温度变化,相对湿度变化,空气质量,风向风级,温度湿度相关性,五个维度,进行可视化分析,整体反应天气数据对人们日常生活的影响,以及预测天气。根据贝叶斯公式计算预处概率,对天气进行预测,以及运用时间序列算法prophet对天气温度进行预测等。

(3)数据仓库设计

    结合系统业务和可视化分析目标,设计数据仓库,完成分析相关数据的事实表和维度表的设计。

(4)数据采集和处理

根据可视化分析目标确定采集数据项,从中国天气网站爬取天气数据,进行数据清洗后入库到数据仓库中。

(5)Django系统实现

①登录、注册、用户管理、权限管理。

②数据分析展示,天气数据的采集关键字、数据采集、天气数据查询等。

  1. 毕业设计报告

在关键技术和原型系统实现基础上,按照学校要求,在规定期间内完成毕业设计报告撰写工作。

4.5本课题的进度时间安排

  • 2022.11.09-2022.12.11:完成开题报告。
  • 2022.12.12-2022.12.18:完成数据爬取与处理工作。
  • 2022.12.19-2022.12.26:完成数据库设计
  • 2022.12.27-2023.01.11:完成Elasticsearch的环境搭建工作。
  • 2023.01.12-2023.02.26:完成平台主要功能开发与数据可视化功能的开发
  • 2023.02.06-2023.03.12:完成毕业设计(论文)初稿
  • 2023.03.13-2023.03.26:中期检查及项目功能完善
  • 2023.03.27-2023.04.16:功能完善以及毕业设计(论文)定稿查重
  • 2023.04.17-2023.05.05:毕业设计(论文)评阅,根据评阅老师意见修改论文,完善设计
  • 2023.05.06-2023.05.28:毕业设计(论文)答辩

5.完成本课题所需工作条件(如工具书、计算机、实验、调研等)及解决办法

本课题所需工作条件

  • Windows10系统电脑一台、16G内存、8核处理器
  • 编辑器:Python 3.8、Anaconda 3、PyCharm
  • Navicat Premium 15
  • MySQL、Django、Elasticsearch

参考文献[2] 

  1. 路平平,霍达,范天红等.2021年8月牡丹江一次暴雨天气成因分析[J].黑龙江气象,2022,39(01):12-15.
  2. 徐文嘉,胡文东,丁禹钦,贾净翔,杨文达等.成都地区一次极值大暴雨天气过程成因初步分析[J].成都信息工程大学学报,2022,37(03):344-350.
  3. 余丹,郭振煌.晋江机场雷暴天气统计分析[J].中国民航飞行学院学报,2022,33(06):64-66.
  4. [1]冯景瑜,董鹤松,张昊,隋妍.一次延边地区大暴雪及冻雨天气过程物理量场特征分析[J].气象灾害防御,2022,29(04):35-39.
  5. 陈阳权,杜安妮,丁旭,张茜.新疆区域航路天气要素分析及天气数据分析系统构建[J].气象水文海洋仪器,2022,39(02):93-95.
  6. 吕雪芹,何艳丽,敖振浪.相控阵天气雷达站环境参数智能分析系统研发[J].计算机测量与控制,2021,29(12):246-251.
  7. 苏茜,吴美芳,陈鲍发,孙华军.昌江流域9次致洪大暴雨的空间分布与天气系统分析[J].成都信息工程大学学报,2021,36(03):342-348.
  8. 周嘉健,徐黄飞,邹庆彪,汤晶晶,刘艳中.基于SRTM地形数据天气雷达地形遮挡分析系统开发及应用[J].热带气象学报,2021,37(02):258-267.
  9. Accuweather Inc.; "Customizable Weather Analysis System for Providing Weather-Related Warnings" in Patent Application Approval Process (USPTO 20180107681)[J]. Politics & Government Week,2018.
  10. Patents; Patent Application Titled "Weather Analytics Systems and Methods" Published Online[J]. Computer Weekly News,2014.

指导教师意见

签字:                年     月     日

系(教研室)意见

     系(教研室)主任签字:                年     月     日


猜你喜欢

转载自blog.csdn.net/2301_79305643/article/details/132423478