搜索
关于Hadoop的Web管理功能的报告Hadoop的Web管理主要分为两块，一块是对文件系统的监控，一块是对任务的监控。文件系统监控：浏览文件系统；namenode的日志列表以及查看日志；集群的概况，包括配置容量、DFS占用容量、非DFS占用容量、DFS的可使用容量、DFS已使用百分比、DFS可使用百分比、活结点数、死节点数、namenode的存储目录及类型和状态；点击活节点或者死节点数可以看到所有对应节点的类表，以及他们的节点名称，LastContact的值（LastContact的意思是表明DataNode有多少秒时间未向NameNode发送心跳包了），管理状态，配置容量，已使用容量，非DFS使用容量，剩余容量，已使用百分比，已使用的进度条，剩余百分比，块数。任务监控：集群摘要信息（堆的大小，所占的比例），Map任务数，Reduce任务数，共有意见书，节点数量，Map任务能力，Reduce任务能力，平均任务和节点（这点我不明白什么意思，原文：Avg.Task/Node），列入黑名单的节点；调度信息：队列名称，调度信息；过滤查询：可根据Jobid，优先级，用户名等信息查询任务；可以查看正在运行，已经完成或者执行失败的Job的信息：状态，完成所需时间，该Job的map和reduce信息：完成进度，总任务数，待完成任务数，正在执行的，已完成的，死掉的，失败的和死掉的个数比（按照我的理解应该是失败后并再次尝试并成功的与死掉的个数比）；还有各种数据的统计包括Job、FileSystem、Map-ReduceFramework，统计具体小点太多，并且有一些统计功能我不是很了解，比较模糊，还是上图，如下：关于Hadoop的Web管理功能的报告还有两个功能做得比较好，Map和Reduce的完成比例的二维条形统计图，如下：关于Hadoop的Web管理功能的报告可以查看Map或者reduce下面的某一个task的具体信息包括：task所在机器，状态，进度，开始时间，结束时间，消耗时间，task日志，针对该task的统计条目数量（包括具体统计的内容：文件系统的统计，Map-Reduce框架的统计）；最后还有一项功能：可以浏览本地所有日志。总结，根据个人理解，hadoop提供的Web管理功能还是很强大的！