收集、分析和处理“大数据”

环境建模和监测领域提供了复杂的工具和系统,用于处理数量惊人的数字化信息和技术,使人们能够理解甚至是最复杂的系统。

安德鲁·芬利

环境建模和监测的世界有时听起来像科幻电影,从空中发射的激光束到安装了“GEDI”(发音为“绝地武士”)设备的空间站。还有一些复杂的工具和系统,用于处理数量惊人的数字化信息和技术,使人们能够理解甚至是最复杂的系统。

欢迎来到森林管理和建模专家安德鲁·芬利,密歇根州立大学(MSU)副教授BOB体育林业部他的作品有时听起来更像科幻小说,而不是现实生活。

芬利建立了开源工具和理论框架,帮助解释“大数据”——大量到几乎不可能管理、处理和存储的信息集。他的工作为研究人员和从业者提供了解答bob体育登录与大数据相关的问题所需的工具,例如森林中有多少生物量,我们呼吸的空气中有什么污染物,以及气候变化如何影响我们的生活?

大数据的收集方式多种多样。例如,来自社交媒体交互的数据和来自支持gps的设备的跟踪信息被收集来分析人机交互。

复杂的数据收集系统包括LiDAR(光探测成像和测距),它的工作原理类似于雷达,但使用激光发出的光。(美国国家航空航天局基底[全球生态系统动态调查]和美国国家航空航天局G-LiHT例如,戈达德的激光雷达、高光谱和热成像仪都是使用激光雷达的系统。)这些激光系统被安装在飞机、卫星和空间站上,以捕捉特定位置的数据。当数据被收集时,会有大量的数据。

芬利说:“我们有大量的数据。“挑战在于我们如何以一种统计上有效的方式组合这些数据源,以识别真实的模式,而不仅仅是虚假的模式。挑战正在增加,因为数据量正在以如此快的速度增长。”

他的工作促进了理论和应用科学,使大数据可用。例如,芬利是球队的一员赢得了2017年度杰出统计应用奖来自美国统计协会。在这篇文章中,这个国际团队开发并应用了一个模型来处理来自空气污染监测站的大规模时空数据集。他们的工作有助于显示空气中环境污染物的程度和移动,用于评估对人类健康的影响。除了应用之外,该模型还是一个可以广泛应用于大数据科学的新工具。

芬利的研究是关于为bob体育登录数据处理提供可访问的工具。他创建的统计模型和应用程序工作得更快、更有效,并将数据集转换为地图、图表和其他可视化和交互式媒体。在地面上处理时空数据的从业人员在一系列主题中使用了他的工具,例如确定空气质量、森林健康或房价波动的原因。正如这些例子所表明的,这些工具可以广泛地实现,以回答许多问题。

他说:“这是关于我们如何把信息汇集在一起,做出一个最终的、映射的产品,而不仅仅是一张漂亮的图片。”“重点是制作一个统计上有效的产品,阐明不确定性,可以输入到其他决策支持系统。”

他的另一个应用和理论工作的例子是正在进行的阿拉斯加内陆森林测绘合作。芬利正在与美国宇航局和美国林务局确定森林特征、土壤条件、生物量和碳密度。利用NASA G-LiHT的数据和美国林务局的地面树木清单,芬利和合作者正在记录未知的情况。

他们正在从阿拉斯加森林内部采集数据,以确定森林中储存了多少碳。阿拉斯加森林的健康和广度对大气中的碳和气候变化有直接影响。完成后,该项目将提供阿拉斯加内陆1.1亿英亩林地的第一次库存——面积略小于两倍
相当于密歇根州的面积。

由此产生的产品是阿拉斯加森林的3d、无缝、交互式地图。它们是通过激光雷达(三维绘制树叶分布和冠层结构)、光谱学(物种组成、年龄和健康状况)和热数据(表面温度和热/水分压力,这有助于估计森林未来的健康状况)创建的。G-LiHT每秒钟发射15万束激光,从每个摄像头捕捉75帧图像。收集的数据数量惊人。

“更多数据并不总是意味着更多信息。我的另一项工作就是从这些海量数据中提取有用的信息。”

他是一位指挥家,他将成千上万tb的不一致数据转化为可用的、可靠的产品,供科学家、研究人员、森林管理者和立法者制定政策。bob体育登录最重要的是,芬利的工作包含了密歇根州立大学的土地授予根源,并使任何人都可以使用工具和模型来提高全球知识。他使用开源编程语言(C、R和Fortran)作为他的工作结构。他还教授一门在线课程,FOR/STT 875r数据科学编程。他正在指导下一代程序员处理、管理和利用大数据。

他说:“几乎没有什么新东西,我们几乎总是建立在别人的辛勤工作之上——真正站在巨人的肩膀上。”“我认为我和我的学生的工作是在遵循我们的土地拨款。我们正在开发新的工具,通过免费软件传播它们,并培训人们使用这两种工具。然后应用这些工具来解决紧迫的环境挑战。”

你觉得这篇文章有用吗?


本出版物中的其他文章