北京赛车pk10直播开奖
首頁
登錄 | 注冊

Hadoop2.7.1 HA安裝部署詳解

Hadoop集群規劃
目標:創建2個NameNode,做高可用,一個NameNode掛掉,另一個能夠啟動;一個運行Yarn,3臺DataNode,3臺Zookeeper集群,做高可用。
在 hadoop2中通常由兩個NameNode組成,一個處于active狀態,另一個處于standby狀態。Active NameNode對外提供服務,而Standby NameNode則不對外提供服務,僅同步active namenode的狀態,以便能夠在它失敗時快速進行切換。
這里還配置了一個zookeeper集群,用于ZKFC(DFSZKFailoverController)故障轉移,當Active NameNode掛掉了,會自動切換Standby NameNode為standby狀態
安裝我都把hadoop和Zookeeper放到了/soft/下面;
Hadoop2.7.1 HA安裝部署詳解
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

Hadoop2.7.2-HA安裝筆記  http://www.linuxidc.com/Linux/2016-12/138477.htm

基于HA的Hadoop2.7.1完全分布式集群搭建 http://www.linuxidc.com/Linux/2016-12/138476.htm

Hadoop2.7.1 HA集群部署 http://www.linuxidc.com/Linux/2016-12/138475.htm

0、系統環境安裝

操作系統CentOS6.5,64位操作系統,采用最小化安裝,為了能夠實現目標,采用VMware 虛擬機來搭建6臺服務器,所以建議服務器至少有8G內存;vmware使用的是VMware® Workstation 11.0.0 build-2305329;
網絡配置如下:
Hadoop2.7.1 HA安裝部署詳解

Hadoop2.7.1 HA安裝部署詳解
Hadoop2.7.1 HA安裝部署詳解
Hadoop2.7.1 HA安裝部署詳解
 
虛擬機配置如下:
 
Hadoop2.7.1 HA安裝部署詳解
 

1、同步機器時間

  1. yum install -y ntp #安裝時間服務
  2. ntpdate us.pool.ntp.org #同步時間
2、設置主機IP
  1. vi /etc/sysconfig/network-scripts/ifcfg-eth0
  1. DEVICE=eth0
  2. IPADDR=192.168.8.101
  3. NETMASK=255.255.255.0
  4. GATEWAY=192.168.8.2
  5. HWADDR=00:0C:29:56:63:A1
  6. TYPE=Ethernet
  7. UUID=ecb7f947-8a93-488c-a118-ffb011421cac
  8. ONBOOT=yes
  9. NM_CONTROLLED=yes
  10. BOOTPROTO=none
然后重啟網絡服務
  1. service network restart
查看ip配置
  1. ifconfig eth0
  1. eth0 Link encap:Ethernet HWaddr 00:0C:29:6C:20:2B
  2. inet addr:192.168.8.101 Bcast:192.168.8.255 Mask:255.255.255.0
  3. inet6 addr: fe80::20c:29ff:fe6c:202b/64 Scope:Link
  4. UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
  5. RX packets:777 errors:0 dropped:0 overruns:0 frame:0
  6. TX packets:316 errors:0 dropped:0 overruns:0 carrier:0
  7. collisions:0 txqueuelen:1000
  8. RX bytes:70611 (68.9 KiB) TX bytes:49955 (48.7 KiB)
這就說明我們配置的IP地址是成功的
注意:
使用vmware克隆了5臺虛擬機,配置網卡的時候出現報錯:”Bring up interface eth0:Device eth0 does not seem to be present,delaying initialization”
解決步驟:
第一步 刪除文件70-persistent-net.rules
  1. rm -f /etc/udev/rules.d/70-persistent-net.rule
第二步 修改ifcfg-eth0
  1. vim /etc/sysconfig/network-scripts/ifcfg-eth0
刪除或者注釋MAC地址的配置

第三步:重啟服務器

 

  1. reboot
這樣就可以設置新的ip地址了

3、設置主機名

把一臺主機的名稱改為:hadoop01
  1. vi /etc/sysconfig/network
修改hostname就可以了:
  1. NETWORKING=yes
  2. HOSTNAME=hadoop01
  3. NETWORKING_IPV6=no
要修改hosts
  1. vi /etc/hosts
  1. 127.0.0.1 localhost
  2. 192.168.8.101 hadoop01 192.168.8.102 hadoop02 192.168.8.103 hadoop03 192.168.8.104 hadoop04 192.168.8.105 hadoop05 192.168.8.106 hadoop06

關閉ipv6

1、查看系統是否開啟ipv6

a)通過網卡屬性查看

命令:ifconfig

注釋:有 “inet6 addr:。。。。。。。“ 的表示開啟了ipv6功能

b)通過內核模塊加載信息查看

命令:lsmod | grep ipv6

2、ipv6關閉方法

在/etc/modprobe.d/dist.conf結尾添加

  1. alias net-pf-10 off
  2. alias ipv6 off

可用vi等編輯器,也可以通過命令:

cat <<EOF>>/etc/modprobe.d/dist.conf

 alias net-pf-10 off

 alias ipv6 off

EOF

關閉防火墻

  1. chkconfig iptables stop
  2. chkconfig iptables off

改好后重啟服務器:

  1. reboot
hadoop02-hadoop06都需要設置

更多詳情見請繼續閱讀下一頁的精彩內容: http://www.linuxidc.com/Linux/2016-12/138479p2.htm

Hadoop2.7.1 HA安裝部署詳解


2019 monjeep.com webmaster#monjeep.com
12 q. 0.013 s.
京ICP備10005923號
北京赛车pk10直播开奖
能开好友房的麻将卡五星软件 7980主题餐厅赚钱吗 结婚女人好累还要赚钱贴补家用 什么小视频app可以赚钱软件是什么东西 国际麻将单机版 安卓 艺术专业考什么证可以挂靠赚钱 腾讯能赚钱游戏排行榜 35岁女学什么赚钱 刷转发文章挂机赚钱 wpsh5秀堂赚钱