地  址:江苏省南京市玄武区玄武湖
电  话:4008-888-888
邮  箱:9490489@qq.com
商  务QQ:6146270200
从互联网到学术界 Hadoop社区渐成气候
作者:管理员    发布于:2020-06-26 06:32   文字:【】【】【

从互联网到学术界 Hadoop社区渐成气候


记者留意到,此次大会约请了Yahoo!、Facebook、百度、我国移动研讨院、淘宝、EMC、VMware、Intel、IBM、eBay等国表里著名IT企业到会共享交流技能内容,其间大部分是互联网企业。并且,听众傍边也有很多人来自互联网、SNS、电子商务等领域。关于Hadoop为何遭到互联网等企业的追捧,查礼在承受采访时谈到,Hadoop作为一种支撑大规模互联网效劳的软件渠道和东西集,可以用来解决散布式核算中的很多问题,跟商业软件相比,有两大主要优势:一是实用,功率较高,可以处理许多商业软件如传统数据库不能做的事情,特别是在大规模数据处理和核算方面,Hadoop的优势十分显着;二是开源,本钱低,并且容易修正,便于做二次开发,这尤其关于那些新式互联网事务十分适用。

据了解,Hadoop的软件东西十分丰厚,主要提供了一套名为HDFS的散布式文件体系以及支撑Map-Reduce的核算框架。此外,还提供构建在HDFS 和Map/Reduce之上的可扩展的数据库房Hive,结构化数据库HBase,数据流高层言语Pig,高性能散布式协同效劳ZooKeeper,以及面向大规模散布式体系的数据搜集软件Chukwa等。

自2002年Apache设置相关项目以来,源于互联网的Hadoop也逐渐在互联网领域扎下了根。如Yahoo!使用4000节点的机群运转Hadoop,支撑广告体系和 Web查找的研讨;Facebook使用1000节点的机群运转Hadoop,存储日志数据,支撑其上的数据剖析和机器学习;百度用Hadoop每天处理1PB的数据,进行查找日志剖析和网页数据发掘工作;中移动研讨院基于Hadoop开发了 大云 (Big Cloud)体系,不光用于相关数据剖析,还对外提供效劳;淘宝的Hadoop体系用于存储并处理电子商务的买卖相关数据。

Hadoop技能除现已在互联网领域得到广泛应用之外,同时也遭到了学术界的遍及重视。国内的高校和科研院所基于Hadoop在数据存储、资源办理、作业调度、 功能优化、体系高可用性和安全性方面进行研讨,相关研讨成果多以开源形式贡献给Hadoop社区。在此次大会上,中科院核算所、江南核算所、清华大学、我国公民大学等科研院所专家到会陈述了最新研讨进展。毕竟,只需有大规模数据处理的当地,就可能有Hadoop的生计之地。

▲核算所展示Hadoop研讨成果

好像Hadoop技能本身,Hadoop社区也还处于开展傍边。谈到其时Hadoop的生态体系,查礼将其定位于 正在开展 傍边,但现已过了 草创过渡 那个阶段。他通知记者,现在Hadoop现已有了比较疏通的交流途径,比如Hadoop in China大会就是一个典型平台,并且也有很多企业参加其间,我们在不同的点上做开源式的立异。核算所本身也在做Hadoop的研讨,查礼地点的体系软件组主要从事的是Hadoop的体系优化研讨。

不过,查礼也谈到,国内Hadoop生态体系的运作机制还不行完善,比如在国外有专门的基金会支撑开源,并且有企业情愿掏钱赞助,但在国内这样的机制还不成熟,Hadoop开源社区运作起来就显得比较懈怠。核算所期望通过Hadoop in China 自愿者社区和相关会议平台,可以推进Hadoop在我国的开展,促进它成为更加完好、更加有用的开源软件。

Copyright © 2002-2020 免费制作app_免费建站广泛_旅游网站制作_机械网站建设_wap网站制作 版权所有 (网站地图
地址:江苏省南京市玄武区玄武湖 电话:4008-888-888
邮箱:9490489@qq.com QQ:6146270200