建站
咨询
售后
建站咨询
这篇文章主要讲解了“RedHat hadoop集群的安装步骤”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“RedHat hadoop集群的安装步骤”吧！
让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名申请、雅安服务器托管、营销软件、网站建设、鞍山网站维护、网站推广。
1、网络配置
2、机器名修改
3、集群hosts列表
4、关闭防火墙、SELinux
#查看selinux状态
[root@master1 ~]# sestatus -v
#关闭selinux
vi /etc/selinux/config
SELINUX=disabled
5、时间同步
#手动同步时间
/usr/sbin/ntpdate cn.pool.ntp.org
#配置时间同步(实现自动同步时间)
0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org |
crontab –e
6、jdk环境安装
#查看系统自动安装的jdk
[root@master1 opt]# rpm -qa | grep jdk
#删除系统自动安装的jdk
[root@master1 opt]# rpm -qa | grep jdk
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
[root@master1 opt]# rpm -e -nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
-nodeps: 未知的选项
[root@master1 opt]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
[root@node1 soft-src]# pwd
/tmp/soft-src
#查看目录内容
[root@node1 soft-src]# ll -a
总用量 139052
drwxr-xr-x. 3 root root 4096 9月 22 10:30 .
drwxrwxrwt. 25 root root 4096 9月 22 10:30 ..
-rwxrw-rw-. 1 root root 142376665 9月 20 11:16 jdk-7u67-linux-x64.tar.gz
#解压
[root@node1 soft-src]# tar xvf jdk-7u67-linux-x64.tar.gz
#查看目录
[root@node1 soft-src]# ll -a
总用量 139052
drwxr-xr-x. 3 root root 4096 9月 22 10:30 .
drwxrwxrwt. 25 root root 4096 9月 22 10:30 ..
drwxr-xr-x. 8 uucp 143 4096 7月 26 00:51 jdk1.7.0_67
-rwxrw-rw-. 1 root root 142376665 9月 20 11:16 jdk-7u67-linux-x64.tar.gz
#设置JAVA_HOME
[root@secondarynamenode 桌面]# vi /etc/profile.d/java.sh
export JAVA_HOME=/tmp/soft-src/jdk1.7.0_67
export CLASSPATH=/tmp/soft-src/jdk1.7.0_67/lib
export PATH=$JAVA_HOME/bin:$PATH
#查看jdk安装位置
[root@secondarynamenode 桌面]# which java
/tmp/soft-src/jdk1.7.0_67/bin/java
7、创建hadoop用户和hadoop组
groupadd hadoop
useradd hadoop -g hadoop
#通过管理员登陆后修改wqj用户密码
passwd wqj
8、生成ssh密钥
配置详情参看《RedHat hadoop ssh配置安装》
9、创建/opt/module/hadoop和/opt/data/hadoop目录
10、修改/opt/module/hadoop和/opt/data/hadoop目录权限
例chmod -R 700 路径
mkdir -p 路径
11、配置hadoop环境
解压
[root@node1 modules]# tar xvf hadoop-1.0.3.tar
#修改hadooop-1.0.3.tar的权限
chown hadoop:hadoop /opt/module/hadoop-1.0.3.tar
#配置HADOOP_HOME
1）、$HADOOP_HOME/conf/hadoop-env.sh
export JAVA_HOME=/tmp/soft-src/jdk1.7.0_67
export HADOOP_HEAPSIZE=512
2)、/etc/profile.d/hadoop.sh
export HADOOP_HOME=/opt/modules/hadoop-1.0.3
export CLASSPATH=.:$HADOOP_HOME/lib:$CLASSPATH
export PATH=.:$HADOOP_HOME/bin:$PATH
12、配置集群
1）、配置core-site.xml
此配置文件，定义Hadoop Core的配置项，例如HDFS和MapReduce常用的I/O设置等。
fs.default.name hdfs://master:9000 true
2）、配置hdfs-site.xml
dfs.name.dir /opt/data/hadoop/hdfs/name,/data1/hadoop/hdfs/name true dfs.data.dir /opt/data/hadoop/hdfs/data,/data1/hadoop/hdfs/data true fs.checkpoint.dir /opt/data/hadoop/hdfs/secondarynamenode,/data1/hadoop/hdfs/secondarynamenode true dfs.http.address master:50070 true dfs.secondary.http.address 192.168.232.146:50090 true dfs.permissions false true dfs.hosts /etc/hadoop/conf/include true
3)、配置mapred-site.xml
mapred.job.tracker master:9001 true mapred.local.dir /opt/data/hadoop/mapred/local,/data1/hadoop/mapred/local true mapred.system.dir /tmp/hadoop/mapred/system true mapred.tasktracker.map.tasks.maximum 7 true mapred.tasktracker.reduce.tasks.maximum 7 true mapred.child.java.opt -Xmx400m true mapred.hosts /etc/hadoop/conf/include true mapred.jobtracker.restart.recover true
4）、格式化hdfs
hadoop namenode -format
5）、修改/opt/modules/hadoop目录权限为hadoop
6）、修改/opt/data/hadoop/hdfs/name等文件权限为hadoop
7）、
#启动 master node ：
hadoop-daemon.sh start namenode
#启动 data node ：
hadoop-daemon.sh start datanode
#启动 jobtracker
hadoop-daemon.sh start jobtracker
#启动 tasktracker
hadoop-daemon.sh start tasktracker
8）、
查看日志信息
[root@master 桌面]# tail -100f /opt/modules/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-master.log
感谢各位的阅读，以上就是“RedHat hadoop集群的安装步骤”的内容了，经过本文的学习后，相信大家对RedHat hadoop集群的安装步骤这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！
当前题目：RedHathadoop集群的安装步骤
本文来源：http://lswzjz.com/article/piiccj.html
