客户FOQA项目背景
提升飞行安全是FOQA分析的首要任务,FOQA分析平台使用传统的QAR数据源,采用大数据集群为特点的新技术架构,再结合灵活的报表工具,对飞行安全的分析和管理有显著促进作用。
在使用FOQA分析平台之前,即便有QAR译码软件,对于一些特定数据的分析,仍需手工导出译码后的工程值,进行手工操作运算和分析,且手工能处理的QAR数据量相当有限,当业务逻辑较复杂时,手工处理起来常常无能为力。利用FOQA分析平台其底层的大数据平台可批量处理全量数据,集成复杂的业务逻辑,向用户直接展示分析结果,避免了大量的手工操作,提升了工作品质;
运行分析依靠FOQA分析平台使得精细化管理成为可能,手工分析常常因时间和技术限制对分析对象要做取舍,分析粒度较粗。通过FOQA分析平台,可以层级下钻,进行更细粒度的分析。
问题与需求
1、大数据存储和计算需求
FOQA平台收集了很多飞行参数,精细化到毫秒级别,数据量达到了传统应用系统数据库无法承载的量级。
2、大数据量数据处理能力不足
数据分析人员在海量数据基础之上进行高阶的数据分析工作,对特定课题进行分析预测,进行数据挖掘。
解决方案:
将每天产生在oracle的数据通过sqoop进行T+1的数据抽取,业务逻辑打包成各种shell脚本及hive脚本,通过Transwarp workflow调度工具进行调度,在大数据集群内进行各种处理,完成数据清晰,业务汇总等工作。
实施效果
春秋航空FOQA平台,借助星环TDH 高性能批处理及分析引擎inceptor,工作流设计调度workflow等工具,完成各种数据清洗,业务处理等工作。提高了数据处理规模,数据处理性能更快,增强了数据管控力度,为数据挖掘和数据分析提供数据支持。
1、优异的数据处理性能
春秋航空foqa批处理集群,能够对传统应用系统数据库无法分析的数据量进行统计分析,在较短内完成批处理业务,将数据处理结果尽快返回给业务部门,供他们去分析使用。
2、数据的分析聚合
春秋航空需要对FOQA系统产生的各种数据进行分析,数据分析人员需要在海量数据基础之上进行高阶的数据分析工作,对特定课题进行分析预测,进行数据挖掘,往往加工的数据维度大,分析聚合涉及多个维表的复杂关联。