搜索
HADOOP学习LINUX1.安装vmware虚拟机路径:C:\e\hadoop\VMWare10软件\VMWare10安装安装在C:\e\vmware1.1.解压CENTOS路径:c:\e\hadoop\CentOS选择CentOS.vmx-右键打开方式-VMWare-workstation1.2.打开虚拟机之前先设置1.2.1设置内存-暂设512M-确定1.2.2设置网络适配器-选择仅主机模式1.2.3说明:仅主机模式指的是网络连接中的VMNET1设置虚拟机IP:打开网络连接-VMwareNetworkAdapterVMnet1-右键属性-TCP/IPv4-设置IP:192.168.80.1255.255.255.0DNS:192.168.80.1Ipconfig如果启动时卡住了:选择网络适配器-高级-MAC地址-生成-确定1.3.开启虚拟机登录:选择other用户名:root(相当于administrator)密码:hadoopApplications-systemtools-Terminal(类似于命令行)选择右上角电脑小图标设置IP(autoeht1)Autoeth1-右键-editconnections-add-availabletoallusers打勾-设置ipv4-Method:Manual-Address:Add-192.168.80.100-255.255.255.0-192.168.80.1-apply设置完成1.4.验证设置是否生效:Ifconfig看到192.168.80.100表示成功有时候IP没有立即生效，那么网卡重新启动,命令:servicenetworkrestart2.使用远程连接工具2.1.使用外部命令行工具Cmd-ping192.168.80.100看是否能拼通2.2.远程连接工具:c:\e\pietty输入ip地址-open输入用户名:root密码:hadoop3.LINUX常用命令3.1.跳转目录cd/根目录cd~家目录cdroot=cd~cd..:上级目录pwd:显示全路径3.2.ls命令ls：查看目录下包含什么东西ls-l：显示详细信息ls-a：显示隐藏文件ls-l.:表示当前信息命令pwd：显示当前所处位置的命令clear：清屏3.3.创建文件夹，文件，删除，复制等3.3.1命令mkdir：创建文件夹批量创建文件夹mkdir-pp1/p2/p3：递归创建上级文件夹3.3.2命令touch：创建空白文件3.3.3more：查看文件内容3.3.4rm：删除文件3.3.5rmdir：删除文件夹rm-rf:删除文件(夹)，不论层级多深，一概删除，并且不给出提示3.3.6cp(copy)：复制文件，还有一个功能是创建新文件复制:cp文件名文件夹名创建新文件:cp文件名另外一个文件名3.3.7命令mv(move):移动文件，还有个功能是重命名移动文件:mv文件名文件夹重命名:mv文件名另外一个文件名3.4.VI操作3.4.1当使用命令vif1回车时，进入了vi编辑器内，处于只读状态(只能看不能写)；3.4.2按字母”i“(insert)或者”a“(append)就可以进入编辑状态；3.4.3按键盘上的”Esc“键，再按Shift+:，进入命令状态如果输入命令wq，意味着保存退出；如果输入命令q！，意味着不保存退出；3.5.linux权限3.5.1Rwx说明:linux的权限使用9位字符表示，rwxrwxrwx这里面r表示读权限，w表示写权限，x表示执行权限，-表示没有权限3.5.2实例说明rwx输入命令ls-l.-rw-r--r--第一位表示文件或者文件夹‘-’表示文件‘d’表示文件夹黑色表示文件，蓝色表示文件夹3.5.3命令chmod：修改权限三个组分别使用u、g、o表示，赋权限使用“+”，去掉权限使用“-”。这9位字符，每3位一组，分为3组。以此为例-rw-r--r--第一组表示创建者的权限；’rw-’读写权限u第二组表示创建者所在组的权限；’r--’g第三组表示其他人的权限；’r--’o权限还可以使用数字表示。rwx用数字表示为4+2+1=7。新创建文件的默认权限是644；新创建文件夹的默认权限是755.chmodu+xf1//表示文件f1的创建者增加执行权限u表示第一组Chmodu-xf1//去掉执行权限chmodo-rf1//表示文件f1的其他人去掉读权限o表示第三组HADOOP的伪分布安装1.HADOOP核心项目(由这两部分组成):HDFS:分布式文件系统主从结构:主节点:namenode从节点:datanodeNamenode:1.接收用户请求2.维护文件系统，目录结构3.管理文件与block(文件块,把文件划分成一个个的块)之间关系Datanode:存储数据，分块，文件会有多个副本MAPREDUCE:并行计算框架主从结构:主节点:只有一个:JobTracker从节点:TaskTrackerJobTracker负责:Jobtracker和tasktracker相当于项目经理与开发人员的关系接收客户提交的计算任务-分配任务给task执行-监控task执行情况Tasktracker:HADOOP特点:扩容,成本低,高效率,可靠性Namenode,jobtracker本身是java进程2.HADOOP部署方式本地模式:伪分布模式:(视频学习)集群模式:(生产中用到的都是集群模式)安装前准备软件:VitualBox(虚拟机)centOSJdk..binHadoop1.2伪分布模式安装步骤:OracleVMVirtualBox安装1.设置网络:连接方式:1.仅主机方式Ip:192.168.56.1255.255.255.0192.168.56.1DNS:192.168.56.12.桥接(局域网内互通，但是ip不能冲突2.登录linux:Other:用户名:root,密码:itcast3.编辑网络连接:勾选connetautomaticallyAvailabletoallusersIpv4设置：选择manual-add192.168.56.100255.255.255.0192.168.56.1确定4.设置完成之后执行命令servicenetworkrestart(重启网卡)4个ok验证:ifconfig(查看IP是否设置成功)5.安装pietty192.168.56.100ok6.安装winscp路径:C:\e\hadoop\begin\学员复制整个文件夹(hadoop1)\学员复制整个文件夹\software\winscp516setup.exe7.关闭防火墙执行命令serviceiptablesstop验证:serviceiptablesstatus(firewallisnotrunnning防火墙没有运行)8.关闭防火墙的自动运行执行命令chkconfigiptablesoff验证:chkconfig--list|grepiptables(下面的选项全部关闭)9.设置主机名执行命令(1)hostnamechaoren(修改主机名)仅对当前会话生效,没有保存,重启则失效(2)vi/etc/sysconfig/network(修改此文件才是真正生效)NETWORKING=yesHOSTNAME=chaoren重启reboot生效10.ssh操作sshchaoren12设置ssh免密码登陆执行命令(1)ssh-keygen-trsa一直回车cd/root/.ssh/(2)cpid_rsa.pubauthorized_keys验证：exitsshlocalhostsshchaoren报错13.ip与hostname绑定执行命令vi/etc/hosts增加一行192.168.56.100chaoren保存退出验证:pingchaorensshchaoren安装jdk1.打开winscp输入ip:192.168.56.100rootitcast保存添加/usr/local目录把jdk上传至该目录Jdk本地路径:C:\e\hadoop\begin\学员复制整个文件夹(hadoop1)\学员复制整个文件夹\software\jdk-6u24-linux-i586.bin2.开始安装jdk解压缩执行命令(1)cd/usr/local(2)chmodu+xjdk-6u24-linux-i586.bin赋权,执行权限(3)./jdk-6u24-linux-i586.bin安装命令(4)mvjdk-1.6.0_24jdk重命名(5)vi/etc/profile增加内容如下:exportJAVA_HOME=/usr/local/jdkexportPATH=.:$JAVA_HOME/bin:$PATH(6)source/etc/profile刷新生效验证:到目录cdjdk/bin输入java-version安装hadoopHadoop本地路径:C:\e\hadoop\begin\学员复制整个文件夹(hadoop1)\学员复制整个文件夹\software\hadoop-1.1.2.tar.gz上传到linuxusr/local下执行命令tar-xzvfhadoop-1.1.2.tar.gz解压mvhadoop-1.1.2hadoop重命名Hadoop下的目录说明:Conf目录放配置文件bin执行文件Lib存放jar包src存放源代码docs存放文档vi/etc/profile(在usr/local下)增加内容如下:exportJAVA_HOME=/usr/local/jdkexportHADOOP_HOME=/usr/local/hadoopexportPATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH(4)source/etc/profile修改conf目录下的配置文件hadoop-env.sh、/usr/local/hadoop/confcore-site.xml、hdfs-site.xml、mapred-site.xml(6)在winscp下修改这4个文件1.hadoop-env.shexportJAVA_HOME=/usr/local/jdk/2.core-site.xmlconfigurationpropertynamefs.default.name/namevaluehdfs://chaoren:9000/value/propertypropertynamehadoop.tmp.dir/namevalue/usr/local/hadoop/tmp/value/property/configuration3.hdfs-site.xmlconfigurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.permissions/namevaluefalse/value/property/configuration4.mapred-site.xmlconfigurationpropertynamemapred.job.tracker/namevaluechaoren:9001/value/property/configuration(6)配置好之后格式化hadoopnamenode-format只要在安装好的时候执行一次就好了(7)start-all.sh每次开启虚拟机都要执行usr/local/hadoop/bin验证:(1)hadoop/bin下执行命令jps如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker(2)在浏览器查看，(namenode)