Cloudera为Hadoop提供了管理工具

Cloudera企业版的3.5版本增加了用于配置和进程监控的新模块

考虑到Apache Hadoop在生产环境中的使用,Cloudera已经为其数据处理框架的商业发行版配备了额外的配置和管理工具。

Cloudera的产品副总裁Charles Zedlewski说:“随着越来越多的Hadoop使用案例转向生产,人们开始关注服务水平协议和为最终用户提供的服务质量。”

Cloudera Enterprise的3.5版本将管理套件升级为两个模块,每个模块都帮助管理Hadoop部署。

Zedlewski说,一个名为Activity Monitor的新模块可以“实时查看Hadoop系统中所有运行工作负载的性能”。

他指出,性能监控通常是在标准的关系数据库中发现的,尽管Hadoop工具仍然稀缺。这个模块显示各种Hadoop组件的状态,包括MapReduce作业、Hive查询、Pig脚本和Oozie工作流。它总共记录了大约45个指标,包括CPU、内存和网络使用情况,以及关于调度的统计数据。

Cloudera还引入了服务和配置管理器模块。Zedlewski说,该软件“提供了管理Hadoop堆栈的单一手段”。Service and Configuration Manager自动化了许多用于更新这些程序的流程,并提供了一组检查,可用于验证请求的更改确实发生了。

运行在30台服务器上的典型Hadoop部署可能由大约95个程序组成,每个程序附带一个配置文件。因此,任何管理更改都可能需要重新启动任意数量的这些程序,或者对多个配置文件进行更改。

佐德lewski说,使用这个软件,“你就不太可能因为错误配置或设置而导致停机。”

在这次发布中,Cloudera也更新了一些现有的模块。用户现在可以在资源管理器中跟踪磁盘和文件空间的历史使用情况。用户现在还可以在Authorization Manager模块中管理(acl)访问控制列表。

尽管大多数Hadoop工具是开源的,但Cloudera的管理模块只能作为Cloudera付费版Hadoop的一部分。不过,该公司正在免费提供一个名为SCM Express的服务和配置模块版本,它将帮助潜在用户设置和测试Hadoop部署。

这个版本的模块可以下载所有适当的程序,并将它们设置到指定的服务器上。Zedlewski说:“你可以在10分钟内从网络客户端运行你的第一个Hadoop工作负载。”

大型isp,如雅虎、Facebook和eBay例如,使用Hadoop分析用户行为,以及风险投资社区预计它在企业中应用广泛。Cloudera Enterprise是一个预先集成的Hadoop软件栈,并提供订阅基础上的相关支持。

“你要看你是如何运作任何平台的。人们通常想要了解一些正在发生的事情,”佐德lewski说。“这是人们第一次能够将全生命周期管理应用到Hadoop系统上。”

约押·杰克逊报道企业软件和通用技术的突发新闻IDG新闻服务。在推特上关注约押@Joab_Jackson。约押的电子邮件地址是Joab_Jackson@idg.com

加入网络世界社区足球竞猜app软件脸谱网LinkedIn对最重要的话题发表评论。

版权©2011足球竞彩网下载

工资调查:结果在