hadoop client查看mapred job日志的命令

由于hadoop的集群的管理权限不在我手里,没有办法直接在集群上查看mapred的日志文件,之前都是联系集群的管理员让他们手动把散布在不同的datanode上的userlogs文件中的日志copy出来,沟通起来很不方便。

一直就这样忍受着,在网上搜索也没有什么结果,但是这两天在命令行中通过提示的时候突然发现有yarn这个命令可以使用,联想到可以使用mapred命令查看job的相关信息,那么是不是通过yarn就可以得到我想要的日志信息呢。

通过yarn的help命令发现是有logs这个子命令的,运行一个job后,通过命令:
yarn logs -applicationId appId
就可以得到运行时的日志