技术
首页  >  技术  >  技术要闻

数据智能是大数据的未来

2018-11-20  来源:中国信息产业网-人民邮电报  作者:文立木

近日,两家大数据领域的代表性企业Cloudera和Hortonworks宣布了它们相对平等的合并,宣称新公司将创建世界领先的下一代数据平台并提供业界首个企业数据云,这令很多人感到意外,大数据的未来何去何从,一时成为大数据产业从业人员关心的话题。

大数据蹒跚前行,迈进下半场

随着2012年维克托·迈尔-舍恩伯格《大数据时代》一书的出版,“大数据”这一概念乘着互联网的浪潮在各行各业中扮演了举足轻重的角色,得大数据者得天下,业界纷纷用大数据这个词来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。

2013年被称为中国的“大数据元年”,大数据开始在我国流行,以势不可挡的姿态进入人们的思想意识,并在社会的各个领域探索与落地实践。涂子沛的《大数据》一时成为畅销读物,大数据的概念风行大江南北,阿里巴巴成为最早提出通过数据进行企业数据化运营的企业。2015年,我国政府通过了《关于促进大数据发展的行动纲要》,大数据更是上升为国家战略。

同美国市场一样,以Hadoop为代表的大数据技术,在中国的大数据产业中也经历了一段狂热期,在很长一段时期内,Hadoop几乎成了大数据的代名词。在这个数据大爆炸的时代,企业需要对海量数据存储、快速处理和分析,Hadoop正是为此而生。但目前看来,这股浪潮正渐渐退去,Hadoop正在逐渐变成一项传统技术。

从诞生到现在,Hadoop已经走过十多年的历史,但近年来,以Hadoop为代表的大数据产业生态,在实际落地中却面临着尴尬的局面。首先,大数据的价值被夸大,在投入产出比上差强人意。其次,中小企业对大数据的应用极为有限。目前看来,需求主要来源于一些大型企业,数据量过大,数据分析需求旺盛,但中小企业自身数据量并不大,需求度较低,同时也缺少相应的大数据技术人才。最后,大数据管理难度大,数据开放共享、数据质量、数据安全、个人隐私信息保护等已经成为管理大数据最头疼的问题。今年5月,欧盟数据保护法规《通用数据保护条例》发布,对大数据企业采集的个人隐私数据管理工作产生极大的挑战。

2018年10月底,IBM宣布以高达340亿美元的价格收购Red Hat,IBM宣称其将成为全球的头号混合云提供商,而亚马逊、微软、阿里巴巴等云计算巨头早已将计算、存储、网络资源和应用软件(大多来自开源社区)作为在线云服务来提供,Anaconda产品和营销高级副总裁Mathew Lodge指出,大数据的中心已经从Hadoop转移到了云端,在云环境下的对象存储系统(如亚马逊 S3、微软Azure Blob Storage和Google Cloud Storage)中存储数据比在HDFS中便宜了5倍。

尽管现在就谈Hadoop已死为时尚早,但大数据产业面临的以上问题已经累积很久,也没有被很好地解决,能否解决以上问题将直接关乎大数据的未来发展。

人工智能方兴未艾,取得新突破

人工智能(AI)是研究用于模拟与延伸扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学,目前在商业和生活中已有大量应用场景,被产业界寄望为下一轮技术革命,对它的关注热度已经超过大数据。

AI的发展历程一波三折,呈螺旋式发展,在历史上共经历三个时期。首先是1956年达特茅斯会议提出了AI的概念,但当时的计算机处理性能和数据容量制约了AI技术的发展。然后在20世纪80年代,专家系统兴起,AI算法模型有了重大发明,包括多层神经网络和BP反向传播算法的提出,出现了能与人类下象棋的高度智能机器,但随着台式机的出现,使得AI专家系统走向没落。再往后就是2006年,Hinton论文开启了深度学习时代,特别是2016年,AIphaGo大败李世石,将AI从后台推到了科技界的聚光灯下,一时间万众瞩目。

关键词:智能 学习算法 谷歌 OneData Cloudera