大数据分析流程是什么

　　最近写了好多大数据分析的文章，《大数据分析十八般工具》、《剖析大数据分析就业前景》、《大数据分析是什么》、《大数据分析12大就业方向》等，好多同学问我大数据分析流程是什么，要小编姐姐整理一下，分享出来，今天我们就说说大数据分析流程是什么?
 

一、大数据分析流程图

　　1.1 数据处理流程
 

　　该项目是一个纯粹的大数据分析项目，其整体流程基本上就是依据数据的处理流程进行，依此有以下几个大的步骤：
 

　　1) 数据采集
 

　　首先，通过页面嵌入JS代码的方式获取用户访问行为，并发送到web服务的后台记录日志;然后，将各服务器上生成的点击流日志通过实时或批量的方式汇聚到HDFS文件系统中;一个综合分析系统，数据源可能不仅包含点击流数据，还有数据库中的业务数据(如用户信息、商品信息、订单信息等)及对分析有益的外部数据。
 

　　2) 数据预处理
 

　　通过mapreduce程序对采集到的点击流数据进行预处理，比如清洗，格式整理，滤除脏数据等
 

　　3) 数据入库
 

　　将预处理之后的数据导入到HIVE仓库中相应的库和表中
 

　　4) 数据分析
 

　　项目的核心内容，即根据需求开发ETL分析语句，得出各种统计结果
 

　　5) 数据展现
 

　　将分析所得数据进行可视化
 

　　1.2 项目结构
 

　　由于本项目是一个纯粹大数据分析项目，其整体结构亦跟分析流程匹配，并没有特别复杂的结构，如下图：

　　其中，需要强调的是：系统的大数据分析不是一次性的，而是按照一定的时间频率反复计算，因而整个处理链条中的各个环节需要按照一定的先后依赖关系紧密衔接，即涉及到大量任务单元的管理调度，所以，项目中需要添加一个任务调度模块
 

　　1.3 数据展现

　　数据展现的目的是将分析所得的数据进行可视化，以便运营决策人员能更方便地获取数据，更快更简单地理解数据，下面是对独立访客的数据分析展现示例：
 

二、大数据分析的5个方面
 

　　1.、Analytic Visualizations(可视化分析)
 

　　不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。
 

　　2.、Data Mining Algorithms(数据挖掘算法)
 

　　可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。
 

　　3.、Predictive Analytic Capabilities(预测性分析能力)
 

　　数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
 

　　4.、Semantic Engines(语义引擎)
 

　　我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
 

　　5.、Data Quality and Master Data Management(数据质量和数据管理)
 

　　数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
 

　　假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据分析能给我们带来的好处，而不仅仅是挑战。
 

　　6、数据存储，数据仓库
 

　　数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台。
 

三、大数据项目开发步骤：
 

　　第一步：需求：数据的输入和数据的产出;
 

　　第二步：数据量、处理效率、可靠性、可维护性、简洁性;
 

　　第三步：数据建模;
 

　　第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出数据的架构;
 

　　第五步：再次思考大数据系统和企业IT系统的交互;
 

　　第六步：最终确定选择、规范等;
 

　　第七步：基于数据建模写基础服务代码;
 

　　第八步：正式编写第一个模块;
 

　　第九步：实现其它的模块，并完成测试和调试等;
 

　　第十步：测试和验收;
 

四、大数据分析流程
 

　　从流程角度上看，整个大数据分析处理可分成4个主要步骤。

　　第一步是数据的搜集与存储;
 

　　第二步是通过数据分析技术对数据进行探索性研究，包括无关数据的剔除，即数据清洗，与寻找数据的模式探索数据的价值所在;
 

　　第三步为在基本数据分析的基础上，选择和开发数据分析算法，对数据进行建模。从数据中提取有价值的信息，这其实是真正的阿里云大数据的学习过程。这当中会涉及很多算法和技术，比如机器学习算法等;
 

　　最后一步是对模型的部署和应用，即把研究出来的模型应用到生产环境之中。
 

　　1) 数据采集：定制开发采集程序，或使用开源框架flume
 

　　2) 数据预处理：定制开发mapreduce程序运行于hadoop集群
 

　　3) 数据仓库技术：基于hadoop之上的Hive
 

　　4) 数据导出：基于hadoop的sqoop数据导入导出工具
 

　　5) 数据可视化：定制开发web程序或使用kettle等产品
 

五、案例分享
 

　　1、提出需求-需要和多个部门负责人进行协商：关于项目的可行性分析
 

　　2、需求分析-进行需求调研(研究竞品)、市场调研，如果是给甲方做产品，需要和甲方协商需求细则
 

　　3、技术选型-需要多个开发部门的人员参与协商：考虑的角度：数据的生成、数据采集、源数据的存储、数据清洗、消息中间件、数据分析引擎、结果数据的存储、数据的展示

　　4、可行性分析-预研工作：搭建技术平台，测试可行性
 

　　5、指标分析-需求和指标之间的转换，需求的细化
 

　　6、数据对接-数据采集、清洗、源数据存储、中间件(项目前期是一个非常重要而且有难度的工作)
 

　　7、数据分析-把指标转换为代码的过程
 

　　8、结果的存储
 

　　9、数据展示-运营部门