RELATEED CONSULTING
相关咨询
选择下列产品马上在线沟通
服务时间:8:30-17:00
你可能遇到了下面的问题
关闭右侧工具栏

新闻中心

这里有您想知道的互联网营销解决方案
安装hadoop-创新互联

1:安装包

创新互联坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站设计、做网站、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的曹妃甸网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

http://hadoop.apache.org/releases.html

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

hadoop-2.6.4 (binary)

jdk-8u102-linux-x64.tar.gz

2:节点信息

centos7 * 3

master 10.10.0.115

slave1 10.10.0.116

slave2 10.10.0.117

3:安装过程

3.1 节下初始化(略)

    主机名 防火墙 selinux 等

3.2 节点互信

[root@master ~]#ssh-keygen

[root@master ~]#cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys

[root@master ~]#scp -r /root/.ssh slave1:/root/

[root@master ~]#scp -r /root/.ssh slave2:/root/

3.3 在所有节点安装jdk

[root@master ~]#tar -zxvf jdk-8u102-linux-x64.tar.gz

[root@master ~]#mkdir  /usr/soft

[root@master ~]#mv jdk1.8.0_102 /usr/soft/

[root@master ~]#vim /etc/profile

  ...

  export JAVA_HOME=/usr/soft/jdk1.8.0_102
  export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  export PATH=$PATH:$JAVA_HOME/bin

[root@master ~]#source /etc/profile

[root@master ~]#java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)

其它节点同样操作

3.4 安装hadoop

先在master上安装配置,然后scp到其它节点即可

[root@master ~]#tar -zxvf hadoop-2.6.4.tar.gz

[root@master ~]#mv hadoop-2.6.4 /usr/soft/

[root@master ~]#cd /usr/soft/hadoop-2.6.4/

[root@master ~]#mkdir hdfs

[root@master ~]#mkdir hdfs/data

[root@master ~]#mkdir hdfs/name

[root@master ~]#mkdir tmp

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/core-site.xml


  
       fs.defaultFS
       hdfs://10.10.0.115:9000
   

   
       hadoop.tmp.dir
       file:/usr/soft/hadoop-2.6.4/tmp
   

   
       io.file.buffer.size
       131702
   

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml


   
       dfs.namenode.name.dir
       file:/usr/soft/hadoop-2.6.4/hdfs/name
   

   
       dfs.datanode.data.dir
       file:/usr/soft/hadoop-2.6.4/hdfs/data
   

   
       dfs.replication
       2
   

   
       dfs.namenode.secondary.http-address
       10.10.0.115:9001
   

   
   dfs.webhdfs.enabled
   true
   

 [root@master ~]#cp /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml.template  /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml


  
       mapreduce.framework.name
       yarn
   

   
       mapreduce.jobhistory.address
       10.10.0.115:10020
   

   
       mapreduce.jobhistory.webapp.address
       10.10.0.115:19888
   

   
       yarn.nodemanager.aux-services
       mapreduce_shuffle
   

   
       yarn.nodemanager.auxservices.mapreduce.shuffle.class
       org.apache.hadoop.mapred.ShuffleHandler
   

   
       yarn.resourcemanager.address
       10.10.0.115:8032
   

   
       yarn.resourcemanager.scheduler.address
       10.10.0.115:8030
   

   
       yarn.resourcemanager.resource-tracker.address
       10.10.0.115:8031
   

   
       yarn.resourcemanager.admin.address
       10.10.0.115:8033
   

   
       yarn.resourcemanager.webapp.address
       10.10.0.115:8088
   

   
       yarn.nodemanager.resource.memory-mb
       768
   

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/hadoop-env.sh

...

export JAVA_HOME=/usr/soft/jdk1.8.0_102

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/yarn-env.sh

...

export JAVA_HOME=/usr/soft/jdk1.8.0_102

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/slaves
10.10.0.116
10.10.0.117

[root@master ~]#scp -r /usr/soft/jdk1.8.0_102 slave1:/usr/soft/

[root@master ~]#scp -r /usr/soft/jdk1.8.0_102 slave2:/usr/soft/

[root@master ~]#/usr/soft/hadoop-2.6.4/bin/hdfs namenode -format

[root@master ~]# /usr/soft/hadoop-2.6.4/sbin/start-all.sh

浏览器打开http://10.10.0.115:8088/
浏览器打开http://10.10.0.115:50070/

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


分享名称:安装hadoop-创新互联
URL网址:http://lswzjz.com/article/ddhede.html