浅析大数据分析的存储架构

　　业内大数据专家预测，为大数据分析，人工智能，机器学习和物联网改造存储架构将是2019年重点关注的领域。见《剖析大数据分析就业前景》
 

　　企业IT组织将专注于更好的方法来分析，使用和管理他们倾倒到数据湖中的所有信息。他们的工作将包括借助越来越多的旨在集成，设计和编排数据的工具来调整大数据的存储体系结构，见、《大数据分析方法》《浅析大数据分析技术》。
 

　　您可以在下面找到有关2019年预测的样本，这些预测重点关注大数据的存储体系结构，存储系统和数据管理，安全性以及其他一般存储趋势。你可以找到更多的2019预言专注于云存储位置以及闪光和新兴的存储技术在这里。
 

一、数据湖成为“沼泽”
 

　　数据湖很快变成了数据沼泽。它最终变成了存储大量数据的着陆区，实际上并没有多少人使用该数据湖内部的数据集。预计将重点部署一个数据中心，该数据中心将多个孤岛合并到一个具有高并发性，高并行性和与横向扩展能力成线性关系的基于闪存的通用平台中。新的大规模以数据为中心的架构将振兴大数据。
 

　　很多数据甚至都没有被查看或处理。到目前为止，人们一直在将其吸收到数据库中或将其转储到数据湖中。但是他们意识到必须集成，清理，丰富和设计数据才能使其变得真正有用​​。今年是时候了。云和私有部门中越来越多的工具可用，人们将开始使用它们。对象存储能够自定义丰富元数据的功能对于智能集成数据将非常重要。流程在那里。那里有开放的API。所有这些事情正在共同努力，以使用户对其存储和数据更加智能。这不仅涉及保护，复制，保护和归档数据。它将更多地涉及数据对业务的意义。
 

　　人们拥有大量文件数据。它处于分解的基础架构中。找到所有这些数据已成为一个真正的问题。人们认为元数据是解决问题的一种方法，但是理想的元数据解决方案尚未浮出水面。
 

二、调整大数据的存储架构
 

　　边缘计算是IT扩展最热门的领域之一，其重点是处理和联网。随着部署这些边缘解决方案的人员开始了解托管存储的需求，这种情况将在2019年发生变化。毕竟，边缘只是一个微型数据中心。随着需要大量数据的AI应用程序部署到边缘架构中，以及随着5G网络在2019年开始认真部署，这种情况将加速发展。这一领域的重要参与者必须在2019年拥有存储解决方案。
 

　　在2019年，企业数据存储的重点将从核心云扩展到边缘，以支持传统和新兴工作负载，如IoT，人工智能，深度学习，机器学习和其他分析。边缘存储还意味着更多基于非易失性存储器(NVM)SSD的技术，包括四层NAND闪存，以及更多存储类存储器(SCM)。可能采用的方法因不同的IT组织而异。有些人会扩展他们所做的事情。其他人将开始寻找或进行概念验证测试。另外，请注意AWS，Microsoft，Red Hat和VMware等扩展其边缘存储解决方案和系统。
 

　　边缘的无线，网络，存储和计算系统的交叉将加速新数据中心架构的创新和部署。可组合基础架构和基于开放标准的结构连接存储在内的新技术以及针对AI和机器学习工作负载量身定制的计算架构将取代通用系统，因为更强大的端点设备推动了对分布式数据基础架构的新需求。
 

　　现在正处于架构组件在数据中心之间如何相互关联的范式转变中。存储和内存正在合并;计算和内存正在合并;计算和存储正在合并。同时，不到五年前，网络和互连的速度已经被认为是纯粹的科幻小说。在2019年，我希望看到初创公司进行一些非常有趣的科学实验，这些实验希望将原理图分解为新的有趣的新包装。例如，我们已经开始看到存储和计算的结合，称为计算存储，存储和网络以及“可组合”架构变得更加现实。一旦您想到了开箱即用的地方，就会有新颖有趣的方式来在数据中心周围转移存储功能。虽然2019年将没有现成的解决方案，但您可以预期2020年或2021年将有很多突破。
 

三、存储管理趋势
 

　　闪存存储：使用的存储系统中的AI会在2019年该开花结果正在采取所有的IBM和戴尔等人收集有关他们的存储系统中的数据的优势，珩磨分析，以便能够在问题影响客户之前就发现问题，并以非常消耗性的方式将信息提供给客户。在2017年和2018年，对于所有供应商而言，这还为时过早-看起来更简单的事情例如配置不正确或此端口未正确连接。现在，随着我们的继续，您将开始看到有关偶尔发生的一些棘手问题的更多有用信息，例如性能和拥塞。
 

　　将冷数据和冷数据从高性能存储无缝迁移到云存储到对象存储再到文件存储的能力-无需重新水化即可访问它-将成为这方面的赌注很多存储厂商的一年。换句话说，将来不会是分层存储管理(HSM)类型的分层。您无需将数据带回即可读取或更改。
 

　　存储与超融合之间的界线越来越模糊。如今，过去与存储周围的客户进行的对话最终变成了关于超融合的对话。人们开始看到经济上的好处，即不必独立管理计算和存储，而是拥有一种超融合的方式来将计算，存储和网络作为企业中的一个实体进行管理。
 

　　存储管理正在走向十字路口，不同的管理风格开始交叉，包括存储管理计划规范(SMI-S)，NVM Express管理计划(NVMe-MI)，Redfish，Swordfish和一些供应商-专有的。
 

四、专注于存储安全
 

　　欧洲，亚洲和北美出现的许多数据合规性法规将最终以开放和暴露最终用户的方式实施，远远超出了他们的保护范围。随着物联网隐私成为要求更多法规和更高“安全性”的警钟，存储公司可能会束手无策。物联网是数据安全和隐私的噩梦。