Hadoop是走出阴影，进入生产企业的IT部门。但是，开源平台的相对新颖且经验丰富的Hadoop人才姿势障碍短缺的企业IT团队需要地址作为他们提前深入到Hadoop的世界。
Hadoop的即将走出阴影，并投入生产，IT部门被吸引到它的能力，存储，处理和分析非常大的数据量。但是，开源平台的相对新颖且经验丰富的Hadoop人才短缺带来的技术挑战企业IT团队需要解决的问题。
更多:Gartner公司：16你需要杀死长期持有的IT业务实践
Hadoop的长大道格切割和迈克·卡法尔拉的工作，谁最初开发它支持的Apache Nutch的，一个开源的搜索引擎了。它成为一个Apache项目时，切割和雅虎工程师团队的分布式计算代码打出的Nutch履带创造的Hadoop。
今天，Hadoop为Yahoo的每一次点击提供支持，Hadoop生产环境覆盖了超过42,000个节点。这种可扩展性是Hadoop的一个优点，它被设计用来处理数据密集型的分布式应用程序跨越数千个节点和艾字节的数据，具有高度的容错能力。
Hadoop是在线世界的先驱——包括eBay、Facebook、LinkedIn、Netflix和推特- 铺平了道路，公司在其他数据密集型行业，如金融，技术，电信和政府。越来越多的IT部门在他们的数据架构的计划寻找Hadoop的一个地方。的吸引力，简而言之，就是Hadoop的可以启用大规模并行计算上廉价的商品服务器。公司可以收集更多的数据，保留它更长，执行不因成本，复杂性和缺乏工具的实用过去的分析。
在并行计算机，使用Hadoop的决定在很大程度上是由销量的影响。
“可扩展性是最大的担忧。对于传统的关系型数据库，要缩放或得到更大的每一次，你最终支付的溢价，”威尔拉扎罗，在并行工程的总监，提供视频点播系统，并说处理数十亿的记录与观众，内容消费和平台运营的日子。
“当谈到获得昨天的数据到我们的系统，或通过吉比特大的日志文件堵漏繁重，[Hadoop的]是天时地利人和技术带来的数据，无论是结构化，半结构化，甚至非结构化”拉扎罗说。
大数据的播放
Hadoop的企业可以存储和他们以前废弃处理数据 - 日志文件，例如 - 因为它太难过程，不适合干净到传统的数据库模式。这就是所谓的大数据的关键马特阿斯莱特，研究部经理，数据管理和分析，在451研究说。“这是用以前的方式，使新的应用和新项目扔掉数据做的事情。”
除了是可扩展的，Hadoop的计算系统是灵活的。Hadoop是无模式，允许用户加入，并从更复杂的分析不同来源的汇总数据。可以根据需要增加新的节点，和Hadoop内置的容错功能，使系统工作重定向到另一个位置，如果一个节点丢失。
“那无模式的方法，它可以让你只存储数据，然后找出你想用它做什么，是如Web日志数据的非结构化和半结构化数据，以及数据，你知道很多更合适为组织带来价值，但是你可能需要做一些试验，找出该值是什么，”阿斯莱特说。“这样做，在企业数据仓库的成本只会让人望而却步。”
Return Path是一家电子邮件认证和信誉监控公司，2008年开始试用Hadoop，其巨大的存储潜力和通过增加服务器轻松扩展平台的能力吸引了它。Return Path从互联网服务提供商那里收集大量数据，并对其进行分析，以建立电子邮件发送者的声誉，查明可交付性问题，或监控潜在的有害信息。
在早期，与一两家新的ISP签约可能会使其数据翻四倍。首席技术官安迪•萨丁斯(Andy Sautins)回忆道，该公司发现自己处于这样一种境地:既不能按照自己的意愿保存数据，也不能按照自己的意愿以最快的速度处理数据。多年来，他和他的团队尝试了一些定制解决方案来增强公司传统的企业数据仓库。Sautins说:“这些方法运行得相当好，但是在软件开发方面需要的时间和投资远远超过了合理的水平。”
Hadoop的是一个改变游戏规则。“它让我们改变周围的什么叫保留数据的对话。它不是在几周内计算，则年，” Sautins说。“Hadoop的真正帮助我们能够渡过保留和处理更多数据的风暴。”
走出阴影
Apache Hadoop包括两个主要子项目:提供对应用程序数据的高吞吐量访问的Hadoop分布式文件系统(HDFS)和Hadoop MapReduce，后者是一个用于在计算集群上分布式处理大型数据集的软件框架。越来越多的Apache项目(如Pig、Hive和Zookeeper)增强了它的可用性。
在许多方面的到来Hadoop的出现，作为一个企业平台镜子Linux的：部署由之前的影子IT项目，或臭鼬作品，采用它在更大范围之前测试软件的优点。
451研究公司的Aslett说，采用的增长主要是通过开发人员“对市场动向很敏感，知道其他公司在做什么”。“这就像我们看到Linux通过It部门和内部项目进入企业，而CEO/CIO不一定知道它在那里。这与Hadoop完全一样，”Aslett说。
该厂商的崛起与商业，面向企业的Hadoop发行版 - 包括支持，管理工具和配置的帮助 - 在企业领域进一步加速采用。在这个舞台上的关键球员Cloudera的，MAPR技术和Hortonworks去年，该公司从雅虎(Yahoo)剥离出来，开发自己的Hadoop发行版。
并发用途Cloudera的CDH平台。“当然，我们可以采取的开源版本没有Cloudera的支持，但是我们发现供应商的合作伙伴，使我们能够扩展我们的解决方案，并充分利用他们的专业知识，并真正理解系统如何工作，不只是破解它在一起，因为它是开源，”拉扎罗说。
返回路径开始与MAPR的商业流通工作，去年，这让以提高稳定性和提升性能的举动。“我们已经能够看到一个大约2.5至三次为我们的工作负载的性能提高，” Sautins说。“这意味着我们可以运行的东西快一倍，这是伟大的，或者我们可以运行一半的服务器，也可以是非常引人注目的。”[另请参见：“MAPR使得Hadoop的更好，更快，更方便“]
除了增加商业Hadoop发行版的选项之外，还有其他迹象表明开源平台正在积聚力量。风险资本正在流动，带有管理附加组件和分析应用程序的新公司正以令人眼花缭乱的速度涌现。它也越来越受到传统数据管理公司的关注，包括IBM, Oracle，微软和EMC - 急于套现的动作。
在资金方面，2011年是Hadoop的厂商一个巨大的一年：在Cloudera的系列d资金降落$ 40百万;MAPR担保2000万$在第二轮融资;Datameer，这使得建立在Hadoop的分析工具，在其第二轮融资担保亿$ 9.25;而在九月，$ 11万人增长到DataStax，它提供了Apache Cassandra的分布式数据库管理系统的商业版本，以及作为新产品，夫妻卡桑德拉用Hadoop分析。
另一个预示着与hadoop相关的创业公司的金融投资将增加的事件是Accel Partners公司推出指定用于在领域，包括数据管理，存储，数据分析和商业智能工作初创1亿$大数据基金。为了帮助花的钱，加速排成了队伍基金顾问，和Hadoop的境界是深受切割，谁现在Cloudera的代表;吉尔Ebaz，Hadoop的用户事实的创始人;Cloudera的首席科学家杰夫·哈梅巴赫，谁曾率领球队数据Facebook的;和Facebook的杰伊·帕里克。
“有已经被创造利用这一宏观趋势的优势第二代和第三代创业。我们在房间里的老家伙了，这样做了三年后，”在Cloudera公司产品副总裁Charles Zedlewski说。
选择工作量，寻找人才
Hadoop的可以更容易地处理大数据，但它没有万灵药。企业一个共同的挑战是如何选择最合适的技术来处理不同类型的数据。
“我觉得还是有很多关于应用程序，什么工作负载，应该是在Hadoop对那些应该是在一个传统的企业数据仓库什么的困惑，”阿斯莱特说。“不幸的是，在这一点上，没有任何简单的答案了点。”
这只会加剧作为Hadoop的头为主流的另一个挑战是找到人与技术的工作。“有一个缺乏技能，而这绝对是继续采用的Hadoop而言是一个挑战，”阿斯莱特说。
主要球员包括Cloudera公司，IBM，Hortonworks和MAPR都大力投资于培训课程，教IT专业人员如何部署，配置和管理Hadoop的产品。“他们清楚地知道，这其实是一个可以在企业级别限制的持续应用的Hadoop的一个问题。”
“如果你去那里，试着雇用，这是非常困难的，”承认奥马尔Trajman，在Cloudera的客户解决方案的副总裁。一个更可行的办法是在内部寻找候选人熟学习Hadoop的，他建议。
“最成功的公司不一定会主动招聘。他们有具备必要的基本技能的人，有在统计、科学、数据处理、Java开发和分析方面的背景的人，”Trajman说。“这实际上是要深入了解一个组织，找到那些已经熟悉业务和领域专业知识的人，并教他们如何使用这些工具。”
从积极的一面，因为Hadoop的意识的增长，IT专业人士学习Hadoop的数量也在增加。
“每次我跟招聘人员在过去两年时间里，我问他们是否有经验的Hadoop人，通常得到的答案是‘哈 - 什么？’越来越多它的成熟，让你看到越来越多的人在外地，”并行的拉扎罗说。
弄清楚什么样的人最适合被雇佣本身就是一个挑战。
“我们原本以为，我们需要找到一个铁杆Java开发人员，”返回路径的Sautins说。但在现实中，这是最适合于使用Hadoop工作人才不一定是Java的工程师。“这是人谁能够理解这是怎么回事集群中，有兴趣的拿起其中的一些工具，并搞清楚他们如何一起工作，能对付的是，在Hadoop的生态系统几乎一切甚至不是一个1.0版本然而，” Sautins说。“这是一个真正的技能。”