统计局大数据统计平台建设方案 智慧统计大数据云平台建设方案 下载本文

第四章 应用系统建设方案

应用系统面向XX省统计业务发展的实际需要,拟建设分类挖掘与计算系统、报表生成系统、业务分析系统和宏观经济预测系统等。该系统应与统计局已经实施的“四大工程”有机结合,充分利用“四大工程”的现有资源,进一步完善基本单位名录库,增加数据标签和微观交易数据,从而可以为政府的宏观决策提供灵活多样的统计分析报告。

4.1 应用系统功能架构

XX省统计局大数据统计平台应用系统功能主要由系统管理、ETL平台、联网直报、自助取数、多维分析五大功能组成。总体架构图如下所示:

68

图4-1 总体架构图

4.1.1 系统管理

通过系统管理界面,操作人员可进行权限管理、密码修改、系统日志管理、用户管理等基本操作

4.1.2 ETL工具

ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。ETL是数据仓库中的非常重要的一环,它是承前启后的必要的一步。

图4-2 ETL介绍

数据抽取就是从数据源抽取出所需的数据的过程。数据抽取后,再经过数据清洗、转换,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。数据转换主要用于解决数据不一致性问题,数据加载就是将从数据源系统中抽取、转换后的数据加载到数据仓库系统中。ETL流程管理调度是ETL过程中的统一调度者和指挥者,它把复杂的数据处理过程中各个步骤整合成一个整体。异常数据处理机制指源数据系统中的数据本身出错并发生变更后,对于正在抽取、已经抽取、已经处理、已经汇总等

69

各个环节,如何进行回退处理的一套机制。 4.1.3 联网直报

企业按照一套表制度规定的调查内容,采用统一的数据采集处理系统,将原始数据通过互联网直接报送统一的数据中心,实现各级统计机构在线同步接收、共享原始数据。实施联网直报,统计局可直接取数后加工汇总,有利于加快统计数据的传递速度,提高统计的时效性,增强统计抗干扰能力,从源头上控制数据质量;同时,实施联网直报,企业不用每月向统计局来回跑动,减轻了企业统计人员的负担。 4.1.4 自助取数

报表工具作为企业商业智能系统建设的重要组成部分,主要对企业数据仓库中整合的各主题域业务数据,按照业务运营管理要求,面向企业各级部门,快速提供准确、全面、灵活的体现公司业务运营实际的数据信息,为决策支持、业务管理提供有效的数据信息支撑。 4.1.5 多维分析

一种在线数据分析工具、帮助用户进行多角度、立体化、灵活动态的分析业务数据,同时具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点,从而使用户对基于大量复杂数据的分析变得轻松而高效,以利于迅速做出正确判断。 通过数据查询分析平台可以提供多样化的数据表达形式,其中固定报表可以满足规划化的报表需求、统计图表更加形象的反

70

映隐藏在数据总的特有规律、对维度分析可以实现对数据立方体的多层次多角度直观观察、平台可以方便的与Office应用对接,可以导出到office 办公软件里进行编辑。与Office集成,即在Office中即可交互式查看多维数据集。满足现有办公模式的需求、地图分析测可以形象刻画地域投资分布情况,为区域性的数据划分提供便捷,直观的理解数据方式、系统以电子报表模式呈现必要的报表统计,避免传统的大量纸质报表模式,工作环境更加绿色环保。

4.2业务分析系统

对数据进行从部门、用户、产品、合同、设备号的钻透式分析,从部门、产品、时间、行业、等进行多维度、多指标、同环比、旋转、下钻、切片、红绿灯、趋势对比、对比图、排名、报表等多维分析与监控。涵盖业务包括:“三新”统计模块和文化产业统计模块等建设。

根据实际需要,业务分析统计系统应该可以不断扩展,从而完成各种类型的专题统计。本期项目建设完成后应该满足 “三新”统计和文化产业统计的需求。

71