研究人员表示,大数据技术的采用不会很快放缓。根据调研机构IDC公司预测,大数据和业务分析市场将从2018年的1301亿美元增长到2020年的2030多亿美元。
“数据的可用性、新一代技术以及向数据驱动型决策的文化转型将继续推动企业对大数据和分析技术和服务的需求。”IDC公司分析和信息管理集团副总裁Dan Vesset说,“2015年的全球大数据市场收入达到1220亿美元,2016年的市场收入增长11.3%,预计到2020年大数据市场收入的复合年均增长率将达到11.7%。”
虽然大数据市场将会增长,但企业对如何使用他们的大数据却不那么清楚。新的大数据技术正在进入市场,而一些老旧技术的使用也在不断增长。
大数据的发展趋势
真正掌握大数据趋势就像试图监控风向的每日变化一样,只要感觉到风向,它就会改变。然而,以下趋势明显地推动了大数据的发展。
1.大数据和开源
Apache Hadoop、Spark和其他开源应用程序已经成为大数据技术空间的主流,而且这种趋势似乎可能会持续下去。一项调查发现,近60%的企业预计到今年年底将采用Hadoop集群投入生产。根据调研机构Forrester公司的报告,Hadoop的使用量每年增长32.9%。
专家表示,到2017年,许多企业将扩大对Hadoop和NoSQL技术的使用,并寻找加快大数据处理的途径。许多人寻求能够让他们实时访问和响应数据的技术。
Hadoop就是开源大数据项目的一个很好的例子。
2.内存技术
内存技术是企业正在研究加速大数据处理的技术之一。在传统数据库中,数据存储在配备有硬盘驱动器或固态驱动器(SSD)的存储系统中。而内存技术可以将数据存储在RAM中,并且存取速度要快很多倍。Forrester 公司的一份报告预测,内存数据结构市场规模每年将增长29.2%。
目前有几家不同的供应商提供内存数据库技术,特别是SAP、IBM、Pivotal公司。
3.机器学习
随着大数据分析能力的进步,一些企业已经开始投资机器学习(ML)。机器学习是人工智能的一个分支,其重点在于允许计算机在没有明确编程的情况下学习新事物。换句话说,它分析现有的大数据存储库来得出改变应用程序行为的结论。
根据Gartner公司的研究,机器学习是2017年十大战略技术趋势之一。报告指出,当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法,以创建理解、学习、预测,以及潜在地自主操作系统。
机器学习在当前的大数据技术中扮演着重要的角色
4.预测分析
预测分析与机器学习密切相关。实际上,机器学习系统经常为预测分析软件提供引擎。在大数据分析的早期,企业正在回顾他们的数据,看看发生了什么,然后他们开始使用分析工具来调查为什么发生这些事情。而预测分析则更进一步,可以使用大数据分析来预测未来会发生什么。
根据普华永道公司在2016年的研究调查,使用预测分析技术的企业数量很低,只有29%。然而,最近有很多供应商提供了预测分析工具,因此随着企业越来越多地了解这个强大工具,这个数字可能会在未来几年飙升。
5.大数据智能应用程序
企业使用机器学习和人工智能技术的另一种方式是创建智能应用程序。这些应用程序通常包含大数据分析,分析用户以前的行为,以提供个性化和更好的服务。现在人们非常熟悉的一个例子是当前推动许多电子商务和娱乐应用程序的推荐引擎。
在2017年排名前十的战略技术趋势中,名列Gartner公司的报告中第二位的技术是智能应用程序。“在接下来的十年中,几乎所有的应用程序和服务都将包含一定程度的人工智能。”Gartner研究员副总裁David Cearley说,“这将形成一个长期的趋势,将不断发展和扩大人工智能和机器学习应用程序和服务的应用。”
6.智能安全
许多企业也将大数据分析纳入其安全战略中。组织的安全日志数据提供了有关过去的网络攻击的宝贵信息,企业可以使用这些信息来预测、预防和减轻未来的攻击。因此,一些组织正在将其安全信息和事件管理(SIEM)软件与Hadoop等大数据平台进行整合。其他公司正在转向采用安全厂商提供的服务,其产品包含大数据分析功能。
7.物联网
物联网也可能对大数据产生相当大的影响。根据IDC 公司2016年9月的一份调查报告,“接受调查的企业中有31.4%推出了物联网解决方案,另外43%的企业希望在未来的一年内进行部署。”
随着所有这些新设备和应用程序的上线运行,企业将会体验到比以往更快的数据增长。许多企业需要新的技术和系统,以便能够处理和理解来自物联网部署的大量数据。