大数据分析技术的发展趋势

　　我们生活的数字时代正在改变我们的工作，娱乐和学习方式。对于努力实现数字化转型或通过数据分析提高竞争力的组织而言，成为数据驱动型组织是一个关键目标。实现这一目标的进展令人沮丧地缓慢。
 

　　根据2019年New Vantage Partners大数据和AI高管调查，来自接受调查的组织(例如美国运通，福特汽车，通用电气，通用汽车和强生)的高管中，几乎有72%认为他们没有成功建立了数据文化。1只有31%的人表示他们的业务是数据驱动的，而53%的人表示他们尚未开始将数据视为业务资产。超过一半(52%)的受访者承认，他们在数据和分析方面没有成功竞争。
 

　　随着可供组织使用的数据量不断增加，企业对投资数据科学家的需求变得越来越紧迫。
 

　　数据爆炸
 

　　自数字时代开始以来，数据一直以指数级的速度增长，几乎没有放缓的迹象。不断涌入的数据为现有数据科学模型提供了动力，为改进的数据科学模型以及创新的新用例创造了温床。
 

　　物联网(IoT)的增长。造成这种数据爆炸的主要原因是物联网。全世界大约有70亿个设备连接了IoT，并且预计在七年内将增长到惊人的215亿。预计航空，采矿和汽车行业将成为物联网数据的最大贡献者，并且随着设备技术质量的不断提高，收集的数据类型将变得更加丰富和多样化。
 

　　社交媒体。仅在2019年3月，Facebook平均每天就有15.6亿活跃用户，到该月底为止，每月活跃用户总数为23.8亿。YouTube报告每天在其平台上观看的视频超过10亿小时，每月有超过19亿的登录用户访问。8每当用户登录以查看其新闻提要或观看视频时，都会生成数据-年龄，性别，位置，语言，观看时间，观看的视频类型，喜欢和共享的内容类型，用户首选项等。这些是全球使用的前两个社交媒体平台，但是还有更多:
 

　　随着对客户收集更多信息的需求的增长，数据源将继续扩大。组织对数据的访问越多，机器学习模型将变得越精确。这些数据的潜在应用将进一步推动对数据科学的需求。如果没有数据科学，组织将很难从数据中获取全部价值。
 

　　机器的兴起
 

　　在过去的几年中，机器学习算法得到了迅速的发展，并且随之而来的是专注于机器学习软件的开发。该软件为那些希望成为数据科学家的人们降低了准入门槛。
 

　　数据科学家的需求超出了供应量，彭博社宣布这是2018 年美国最热门的工作。然而，自动化和教育正在使企业更容易使用数据科学，研究和分析。为了扩大并加速数据科学和分析在业务中的采用，数据科学领域的大多数参与者将简化工具列为重中之重。加上大量的培训资源，使来自各个背景的专业人员都可以获得急需的数据科学技能，这些技能现在对所有行业都可用。
 

　　这五个因素有助于将这些至关重要的功能交给更多的专业人士使用，并有可能缓解全球范围内的人才短缺。
 

　　自动化ML。一些人估计，数据科学家一天中将近80%的时间用于可以完全或部分自动化的重复性任务。自动化任务，例如数据准备，特征工程和选择以及算法选择和评估，将帮助数据科学家提高生产力和效率。
 

　　低代码或无代码应用程序开发。各种低码和无码软件开发平台可供IT和非技术人员开发AI应用程序，这要归功于他们的应用程序，其开发和交付速度比传统方法快10倍。图形用户界面，拖放模块和其他用户友好的结构。
 

　　预训练的AI模型。开发和培训ML模块是数据科学家关键交付成果的一部分。现在，经过预训练的AI模型正在有效地培养ML专业知识，并减少了训练所需的时间和精力，其中17个甚至可以产生即时的关键见解。
 

　　自助数据分析。许多商业智能和分析供应商正在使商业或非技术用户无需使用数据科学家即可访问基于数据的见解。Salesforce，Adobe Analytics，Microsoft Power BI等提供了自助服务分析工具，以补充数据分析和发现。进行自然语言查询和搜索，可视数据发现以及自然语言生成的能力使业务用户可以快速访问见解，并帮助他们交流数据发现，例如相关性，异常，聚类，链接和预测。
 

　　加速学习。为具有基础数学和编码背景的专业人员提供的有关数据科学，数据科学研究，ML和AI 的短期培训课程的推出，正在加速企业学习。这些课程加快了专业人员学习基本数据科学技能的过程。
 

　　云和神经网络
 

　　结合ML算法，处理和存储更多数据的功能越来越强大的计算机的发展带来了对训练神经网络处理的转变的需求。从历史上看，训练神经网络是使用中央处理器(CPU)进行的，但是2017年，谷歌发布了Tensor处理单元(TPU)，其速度和功能均比CPU强大。Google的Cloud TPU使得Google Translate，Photos，Search，Assistant和Gmail背后的ML可供企业使用，以补充其数据科学家为实现业务突破所做的努力。
 

　　为了获得有意义的业务洞察力，需要有干净，可靠的数据，这意味着，对于寻求优势的企业来说，数据科学是一项值得其珍惜的技能。借助机器学习，人工智能和基于云的神经网络的增强，只要需要以客户为中心的见识和客户驱动的数据以产生利润，就需要数据科学。