當前位置:首頁 > IT技術(shù) > 系統(tǒng)服務 > 正文

在Linux中部署集群(零基礎(chǔ)速學!)
2021-09-03 18:29:41

博主上篇的文章講的是偽分布式部署,那么接下來進行分布時的教學,先從搭建集群開始,為分布式開發(fā)環(huán)境做準備。

?

?


1. 克隆虛擬機

在這里我們直接克隆[Centos版]Hadoop運行環(huán)境的具體搭建過程(超詳細)
這篇文章中的快照
快照很有必要,如果不知道怎樣打快照的同學在虛擬機關(guān)機后,右鍵虛擬機->快照->快照管理器
在Linux中部署集群(零基礎(chǔ)速學!)_linux

  • 1. 選擇要克隆的快照
    在Linux中部署集群(零基礎(chǔ)速學!)_hadoop_02
  • 2. 選擇完整克隆
    在Linux中部署集群(零基礎(chǔ)速學!)_hadoop_03
  • 3. 克隆后
    在Linux中部署集群(零基礎(chǔ)速學!)_vim_04
2. 更改系統(tǒng)的mac地址

為什么要改mac地址呢?
因為每個機器的mac地址都是獨一無二的,但是克隆的機器會有兩個,需要刪除掉原有的mac地址

[root@hadoop001 ~]# vim /etc/udev/rules.d/70-persistent-net.rules 

在Linux中部署集群(零基礎(chǔ)速學!)_vim_05
在Linux中部署集群(零基礎(chǔ)速學!)_linux_06

3. 更改網(wǎng)卡信息
[root@hadoop001 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 

#  我自己的網(wǎng)卡信息
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="eth0"
IPADDR=192.168.2.112
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2

在Linux中部署集群(零基礎(chǔ)速學!)_linux_07
怎樣判斷自己修改是否成功:ifconfig
在Linux中部署集群(零基礎(chǔ)速學!)_vim_08

4. 更改主機名
[root@hadoop001 ~]# vim /etc/sysconfig/network

在Linux中部署集群(零基礎(chǔ)速學!)_linux_09

5. 添加別名
[root@hadoop001 ~]# vim /etc/hosts

# 下面為博主本人設(shè)的別名,別名設(shè)置盡量相似,這樣后面會很方便
192.168.2.112   hadoop002
192.168.2.113   hadoop003
192.168.2.114   hadoop004

在Linux中部署集群(零基礎(chǔ)速學!)_vim_10

6. 關(guān)閉防火墻

內(nèi)網(wǎng)環(huán)境安全性比較高,開啟防火墻會影響效率,所以需要關(guān)閉防火墻

#  查看防火墻的狀態(tài)
service iptables status
     
#  啟動防火墻的服務
service iptables start
    
#  關(guān)閉防火墻服務
service iptables stop

#  徹底關(guān)閉防火墻
chkconfig iptables off
7. 關(guān)閉selinux
[root@hadoop001 桌面]# vim /etc/selinux/config 

在Linux中部署集群(零基礎(chǔ)速學!)_linux_11

  • 下面需要重啟,才能使以上的所有修改生效
8. SCP遠程文件拷貝

scp(secure copy)安全拷貝
scp定義:scp可以實現(xiàn)服務器與服務器之間的數(shù)據(jù)拷貝。(from server1 to server2)

基本語法:
scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname
命令   遞歸         要拷貝的文件路徑/名稱       目的用戶@主機:目的路徑/名稱

# 拷貝文件
# 將hadoop101中/etc/profile文件拷貝到hadoop002的/etc/profile上。
[bigdata@hadoop001 ~]$ sudo scp /etc/profile root@hadoop002:/etc/profile


# 拷貝文件夾
# 在hadoop101上,將hadoop101中/opt/module目錄下的軟件拷貝到hadoop002上。
[bigdata@hadoop001 /]$ scp -r /opt/module  root@hadoop002:/opt/module

注意:拷貝過來的/opt/module目錄,別忘了在hadoop002、hadoop003、hadoop004上修改所有文件的,所有者和所有者組。sudo chown bigdata:bigdata -R /opt/module

9. SSH 遠程登錄

1. 基于密碼的登錄

命令 含義
ssh ip地址 遠程登錄到指定服務器

在Linux中部署集群(零基礎(chǔ)速學!)_linux_12
首次遠程登錄會詢問yes/on ,以后就不會出現(xiàn)了

2. 無密鑰配置(免密登錄)

  • 1. ssh-keygen -t rsa+ 三個回車 在hadoop002,hadoop003,hadoop004上面分別執(zhí)行命令,產(chǎn)生公鑰和私鑰
  • 2. ssh-copy-id hadoop002將公鑰拷貝到hadoop002上面去,以此類推,全部拷貝完畢

配置完成后,就可以免密登錄了
在Linux中部署集群(零基礎(chǔ)速學!)_vim_13

注意:
① 第一次拷貝的時候需要輸入密碼,另外在拷貝除了自身虛擬機公鑰的時候,需要在root賬號下進行
在Linux中部署集群(零基礎(chǔ)速學!)_linux_14
②想要查看當前虛擬機能夠被哪些虛擬機免密登錄,可以vim /root/.ssh/authorized_keys
在Linux中部署集群(零基礎(chǔ)速學!)_hadoop_15

10. 總結(jié)

搭建集群的過程很繁瑣,并且稍有不慎就不會出錯,所以各位小伙伴們需要多多練習,熟能生巧。


各位路過的朋友,如果覺得可以學到些什么的話,點個贊再走吧,歡迎各位路過的大佬評論,指正錯誤,也歡迎有問題的小伙伴評論留言,私信。每個小伙伴的關(guān)注都是本人更新博客的動力?。。?/p>

?

本文摘自 :https://blog.51cto.com/u

開通會員,享受整站包年服務立即開通 >