hadoop基于Linux7的安装配置图文详解
src为源文件的意思?反正就是换了大家注意一下后面截图有错的地方有空我再改吧肝疼)
安装好centos7
点击新建
把食材多选,右键传输即可,内网传输速度不快不慢
重新装了centos7解压的时候分文件夹了
时间同步时区一致。要保证设置主机时间准确,每台机器时区必须一致。实验中我们需要同步网络时间,因此要首先选择一样的时区。先确保时区一样,否则同步以后时间也是有时区差。可以使用date命令查看自己的机器时间.选择时区:tzselect
1.关闭防火墙
当其状态是dead时,即防火墙关闭。关闭防火墙:systemctlstopfirewalld查看状态:systemctlstatusfirewalld
2.hosts文件配置(三台机器)如下图输入各节点的ip
vi/etc/ntp.conf server127.127.1.0#localclock fudge127.127.1.0stratum10#stratum设置为其它值也是可以的,其范围为0~15
重启ntp服务。 /bin/systemctlrestartntpd.service 其他机器同步(slave1,slave2) 等待大概五分钟,再到其他机上同步该master服务器时间。 ntpdatemaster 如果配置平台式没有外网连接可以将三台机器设为统一时间,输入命令: date-s10:00(时间)
终于走到正题???别慌快了
1.SSH免密
(1)每个结点分别产生公私密钥:
ssh-keygen-tdsa-P‘'-f~/.ssh/id_dsa(三台机器)
秘钥产生目录在用户主目录下的.ssh目录中,进入相应目录查看:
cd.ssh/
(2)Id_dsa.pub为公钥,id_dsa为私钥,紧接着将公钥文件复制成authorized_keys文件:(仅master)
catid_dsa.pub>>authorized_keys(注意在.ssh/路径下操作)
在主机上连接自己,也叫做ssh内回环。
sshmaster
(3)让主结点master能通过SSH免密码登录两个子结点slave。(slave中操作)
为了实现这个功能,两个slave结点的公钥文件中必须要包含主结点的公钥信息,这样
当master就可以顺利安全地访问这两个slave结点了。
slave1结点通过scp命令远程登录master结点,并复制master的公钥文件到当前的目录
下,且重命名为master_das.pub,这一过程需要密码验证。
scpmaster:~/.ssh/id_dsa.pub./master_das.pub
将master结点的公钥文件追加至authorized_keys文件:
catmaster_das.pub>>authorized_keys
(1)每个结点分别产生公私密钥:ssh-keygen-tdsa-P‘'-f~/.ssh/id_dsa(三台机器)秘钥产生目录在用户主目录下的.ssh目录中,进入相应目录查看:cd.ssh/ (2)Id_dsa.pub为公钥,id_dsa为私钥,紧接着将公钥文件复制成authorized_keys文件:(仅master)catid_dsa.pub>>authorized_keys(注意在.ssh/路径下操作) 在主机上连接自己,也叫做ssh内回环。sshmaster
master就可以连接slave1了。
slave1结点首次连接时需要,“yes”确认连接,这意味着master结点连接slave1结点时需要人工询问,无法自动连接,输入yes后成功接入,紧接着注销退出至master结点。
同理slave2中也是这么操作
jdk之前已经安装好了,所以我们直接来配环境,就和windows的时候配环境变量一个道理(三台)
修改环境变量:vi/etc/profile >添加内容如下: >exportJAVA_HOME=/usr/java/jdk1.8.0_241 >exportCLASSPATH=$JAVA_HOME/lib/export >PATH=$PATH:$JAVA_HOME/bin >exportPATHJAVA_HOMECLASSPATH
生效环境变量:source/etc/profile
插播一个小技巧scp
scp/etc/profileslave1:/etc/profile##这样就可以传给slave1和slave2了
终于到hadoop了???恭喜宁!
配置环境变量: vi/etc/profile exportHADOOP_HOME=/usr/hadoop/hadoop-3.1.2 exportCLASSPATH=$CLASSPATH:$HADOOP_HOME/lib exportPATH=$PATH:$HADOOP_HOME/bin
我经常忘的一步大声告诉我是什么!
使用以下命令使profile生效:source/etc/profile
温馨提示下面就是配置文件的内容了本文暂时不做讲解内容但是我已经给大家准备好标准的配置文件了
编辑hadoop环境配置文件hadoop-env.sh
exportJAVA_HOME=/usr/java/jdk1.8.0_241 在这个文件里面会有好多注释的语句,找到你要配置的模板把井号删除完善即可耐心找一下
然后我偷懒的地方就要到了!!!!!我上传了几个配置文件我们复制到这个文件夹中即可系统提示是否覆盖时候就输入y即可
core-site.xmlyarn-site.xmlhdfs-site.xmlmapred-site.xml
还需要写一下slave文件加上slave1slave2如下图
还有master文件
(9)分发hadoop: scp-r/usr/hadooproot@slave1:/usr/ scp-r/usr/hadooproot@slave2:/usr/
master中格式化hadoophadoopnamenode-format如果报错的话看看是不是如下链接的错误里面有解决办法
总结
以上所述是小编给大家介绍的hadoop基于Linux7的安装配置图文详解,希望对大家有所帮助!
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。