大数据分析的意义和价值

　　最近总有同学们在网络上问大数据分析的意义和价值是什么，我找大数据分析培训课程的老师深入了解了一下并拿来了一些干货，将这个问题分享出来，让大家不再疑惑大数据分析的模样。
 

　　大数据分析提供了几乎无穷无尽的业务和信息洞察力资源，可导致运营改善和新的机会，使公司能够在几乎每个行业提供未实现的收入。从客户个性化的用例，到降低风险，欺诈检测，内部运营分析，以及几乎每天都会出现的所有其他新用例，公司数据中隐藏的价值使公司希望创建前沿的分析业务。
 

　　在原始数据中发现价值给IT团队带来了许多挑战。每个公司都有不同的需求和不同的数据资产。在不断发展的市场中，业务计划会快速变化，并且与新指令保持一致可能需要敏捷性和可伸缩性。最重要的是，成功的大数据分析操作需要大量的计算资源，技术基础架构和高技能的人员。
 

　　所有这些挑战都可能导致许多操作在交付价值之前失败。过去，由于缺乏计算能力和自动化功能，因此无法进行真正的生产规模分析操作，这超出了大多数公司的能力：大数据太昂贵，麻烦太多且没有明显的投资回报率。随着云计算的兴起以及计算资源管理中的新技术的出现，大数据分析工具的访问比以往任何时候都更加容易。
 

一、大数据分析的由来
 

　　在许多早期的互联网和技术公司的推动下，大数据出现于2000年代初的数据繁荣时期。软件和硬件功能有史以来第一次可以跟上消费者产生的大量非结构化信息。搜索引擎，移动设备和工业机器等新技术提供了公司可以处理的尽可能多的数据，而且规模还在不断增长。
 

　　随着可收集数据的天文数字增长，很快变得很明显，传统数据技术(例如数据仓库和关系数据库)不适合与大量非结构化数据一起使用。早期的大数据创新项目是由Apache软件基金会(Apache Software Foundation)开源的，其中最重要的贡献来自Google，Yahoo，Facebook，IBM，学术界等。一些使用最广泛的引擎是：
 

　　Apache Hive / Hadoop是用于复杂ETL和数据准备的主力军，可将信息提供给许多分析环境或数据存储以进行进一步分析。
 

　　Apache Spark(由加州大学伯克利分校开发)通常用于繁重的计算工作，这些工作通常是批处理ETL和ML工作负载，但也与Apache Kafka等技术结合使用。
 

　　Presto是一个SQL引擎，可快速可靠地发布报表和临时分析。
 

大数据分析典型部署图
 

二、大数据分析的商业价值
 

　　随着数据呈指数增长，企业需要不断扩展其基础架构以最大化数据的经济价值。在大数据的早期(大约2008年)，当Hadoop首次获得大型企业的认可时，站起一个有用的生产系统极其昂贵且效率低下。使用大数据还意味着需要合适的人员和软件技术，以及用于处理数据和查询速度的硬件。对齐所有内容以使其同步运行是一项极其艰巨的任务，并导致许多大数据项目失败。
 

　　如今，云计算已经变成了一个改变市场的趋势，因为无论规模大小，企业都可以通过单击几下即时访问基础架构和高级技术。这是云提供了一个强大的基础架构，使公司能够超越现有系统发展的地方：
 

　　1、 数量
 

　　信息在增长，数据具有有效期，拥有便宜的云存储使公司可以处理大量数据，而不必担心什么是有价值的和不有价值的。
 

　　2、 种类繁多
 

　　对非结构化数据进行分析的需求正在增长，这推动了对诸如深度学习之类的不同框架进行处理的需求。临时云计算服务器使公司可以针对同一数据反复测试不同的大数据引擎。
 

　　3、 速度
 

　　分析问题的复杂性需要几步大数据(例如，机器学习估计占计算资源的ETL约80%)，云计算公司可以根据需求扩大/缩小规模。
 

　　4、 价值
 

　　对AI驱动的应用程序的需求推动了对现代大数据架构的需求，该架构允许应用程序，存储和计算资源分别进行横向扩展。

三、 大数据分析与商业智能
 

　　商业智能通常被称为大数据分析的四个步骤的前两个描述和诊断阶段。BI通常托管在一个数据仓库中，在该仓库中，数据本质上是结构化的，并且仅说明发生了什么“事情，地点和方式”。该数据通常用于报告和收集基于最近事件的流行趋势和互动的见解。
 

　　大数据分析更进一步，因为该技术可以访问各种结构化和非结构化数据集(例如用户行为或图像)。大数据分析工具可以将这些数据与历史信息结合起来，根据过去的经验来确定事件发生的可能性。
 

四、为什么要用大数据分析
 

　　在过去十年中，4 V已成为大数据分析发展的众所周知的催化剂。此外，我们进入了一个新时代，新挑战不断发展，例如开源技术的“多样性”，机器学习用例以及大数据生态系统的快速发展。这些增加了围绕着如何与不断增长的信息，跟上新的挑战，同时平衡如何保证在这样一个嘈杂的环境中的高级分析的有效性。
 

　　预测性和规范性分析处于过渡状态，并且需要传统数据仓库无法提供服务的现代基础架构。拥有一个大数据平台，使团队可以通过适当的自助服务访问非结构化数据，从而使公司可以进行更具创新性的数据操作。
 

　　描述性分析(发生的时间) –在传统的商业智能和报告分析中很常见。
 

　　诊断分析(在何处以及如何发生) –使商务智能更进一步，可以向最终用户提供报告或根据数据结果向他们发送一系列操作。
 

　　预测分析(会发生什么以及如何) -当一个模型应用于数据，并作出决定或概率得分是基于历史事件给出。该数据也可饲喂未来决策回到商业智能系统来帮助。
 

　　规范分析(我们应该做什么) –获取数据的预测输出，并将其放入实用的应用程序中，以提出建议或向最终用户发出警报(例如欺诈检测或电子商务购物)。通常需要将这些数据放入一个数据集市，该数据集市可以近乎实时地提供给应用程序。