大数据之hadoop伪分布模式参数配置

大数据之hadoop伪分布模式参数配置Hadoop通过改变其配置文件来更改运行模式，我们通过修改如下四个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可让Hadoop以伪分布模式运行。Hadoop的配置文件是xml格式，每个配置以声明property的name和value的方式来实现。接下来让我们开始进行hadoop的配置吧，配置之前首先启动Ubuntu虚拟机，然后打开Xshell软件并连接登录虚拟机。1、设置hadoop-env.sh配置文件首先，我们需要修改hadoop运行相关的sh文件，以保证hadoop运行过程中能够正常使用其他软件或组件的功能，此处一般而言只需将JAVA功能添加在内既可。cd~/hadoop/etc/hadoop#进入hadoop配置文件夹vimhadoop-env.sh在弹出的框体中输入i进入输入模式，此时可以编辑hadoop-env.sh了。将JAVA路径写入到文件，只需修改为如下代码exportJAVA_HOME=/usr/local/lib/jdk1.8然后按Esc进入命令模式再输入：wq保存文件并退出。注：后面编辑文件的操作有将不再反复赘述编辑器打开关闭过程，只对需要更改、编辑的内容进行说明。2、配置core-site.xml文件首先是core-site.xml，文件，该文件决定Hadoopcore组件部分运行模式，在命令行中输入开始编辑文件vimcore-site.xml在弹出的框体中输入i，然后配置如下内容configurationpropertynamefs.default.name/namevaluehdfs://localhost:9000/value/property/configuration编辑完成内容如下3、配置hdfs-site.xml文件hdfs-site.xml将决定hdfs的部分运行情况，在命令行中输入vimhdfs-site.xml在弹出的框体中输入配置内容configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevaluefile:/home/hduser/tmp/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevaluefile:/home/hduser/tmp/dfs/data/value/property/configuration4、配置mapred-site.xml文件mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况以及运行情况。hadoop这里只提供了模板，可先复制再编辑，在命令行中输入cpmapred-site.xml.templatemapred-site.xml#复制模板vimmapred-site.xml在弹出的框体中输入配置内容configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property/configuration5、配置yarn-site.xml文件在命令行中输入vimyarn-site.xml在弹出的框体中输入配置内容configurationpropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.aux-services.mapreduce_shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value/property/configuration伪分布模式的配置内容就这里，下篇文章我们介绍如何启动单节点集群。