Linux分布式集群模板机配置

CentOS的安装

安装

入口

选择镜像文件

设置账号

选择系统安装位置

配置资源

启动虚拟机,安装系统

验证

启动,并输入用户名密码

超级用户:root 密码:000000

安装时创建的用户:bigdata 密码:000000

选择登录root 用户

验证网络是否通

#访问网络
[root@localhost ~]# ping www.baidu.com
ping: www.baidu.com: Name or service not known
#访问windows宿主机
[root@localhost ~]# ping 192.168.18.1
connect: Network is unreachable

网络配置

网络规划

网络配置说明

需要配置 VM、Centos的网络配置,包括IP地址,主机名,网络映射,Windows本地的网络配置

模板机的意义

把操作系统的基础配置,包括内存、硬盘等网络等配置好之后,后续如果需要增加虚拟机的话,直接克隆,可以节省大量时间。 毕竟安装一台虚拟机所需时间不短。

在配置好网络后,还需要把一些通用的配置在模板机上配置好,比如jdk、python环境等

网络规划

ip网段划分:

  • 前缀:192.168.18.X

  • 192.168.18.1:windows本机IP

  • 192.168.18.2:网关

  • template 192.168.18.8:模板机器,配置基础环境【网络、jdk,且去掉打印机、Usb,音频】

  • bigdatam10 192.168.18.10 用来做master服务器,部署HDFS的namenode 组件,同时作为YARN的DataManager从机

  • bigdatas20 192.168.18.20 用来做Slaver服务器,资源管理器,部署YARN的ResourcesManager组件,同时作为HDFS的DataNode从机

  • bigdatas30 192.168.18.30 用来做Slaver服务器,部署HDFS的SecondaryNameNode,同时作为HDFS的DataNode从机和作为YARN的DataManager从机

配置VM网络设置

配置入口

VM工具栏–》编辑–》虚拟网络编辑器

VM分配给宿主机IP

位置3:没有特别要求,只要网段一致就好了,我们这里使用18,以前这里我们使用的是1 ,但是有时候我们家庭网络网段也是用1,容易产生网络冲突,所以这里只要避开1就行,换个不同的数字

网关设置

点击位置4,弹出网关设定窗口,网关一般设置为2

网段和IP分配方式

点击位置6,弹出窗口,在位置7更改启示IP地址和结束IP地址,这里选择3~254,避开网关

将位置8的多选框取消掉,取消系统自动分配IP地址,原因是当我们重启服务器的时候,centos的IP地址会变,导致我们需要重新查询IP,在具体地业务系统中,我们需要使用自己的IP规则,同时,需要使用远程连接工具和FTP工具,不宜经常变动。

配置Windows的虚拟网络IP地址

入口

选中电脑网络图标,右键–>打开网络和共享中心

如果没有出现VMnet8,进入VM的虚拟网络编辑器中,还原默认设置即可。【如果有VMnet8,不需要操作下图】

设置网关和宿主机IP

子网IP:在IP的规则范围内,什么数字都可以,但一般家庭网段中的IP地址 可能是 1,因此倒数第二个数字,只要避开1就可以,这里使用的是18

这个网关一般是2

选中VMnet8,右键–>属性–>双击IPv4

参数说明:

默认网关:和VM配置的网关保持一致

首选DNS服务器:与网关保持一致

备用DNS服务器:设置成公网的域名解析器

CentOS网络设置

说明:当做配置的时候,一般使用root账号登录,这样可以避免过多的系统账号切换

当真正搭建集群的时候,才使用bigdata等具体业务账号

配置虚拟机IP地址

使用root账号登录,密码000000,进入命令终端,使用如下命令查看IP地址配置

 vim /etc/sysconfig/network-scripts/ifcfg-ens33 

完整内容:

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="03067470-f66c-44f1-bfcc-e1225df9a0d8"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.18.8"
GATEWAY="192.168.18.2"
DNS1="192.168.18.2"
DNS2="8.8.8.8"

更改完成之后,正常来说需要重启下网卡,那么我们在这里先修改一下主机名称

修改虚拟机主机名称

 vim /etc/hostname

默认名称如下:

更改为:template

配置主机名称映射

说明:当我们在后续的各种软件的配置文件中配置IP地址,当后续IP地址发生变化,要去更改配置文件非常麻烦,所以使用一个名称映射到IP地址,即便后续IP地址发生变化,也只需要更改centos的Ip地址即可,而软件的配置文件中使用的是映射的名称,因此可以不需要更改。

 vim /etc/hosts

在下面添加如下内容:

192.168.18.8 template
192.168.18.10 bigdatas10
192.168.18.20 bigdatas20
192.168.18.30 bigdatas30

esc–>:wq! 保存后 ,reboot重启

注意:名称不能有下划线,否则报如下错误:

Does not contain a valid host:port authority

主机的hostname不合法,应修改为不包含着‘.’ ‘/’ ‘_’等非法字符。

大家在命名主机的时候切记,避开上述非法字符

Windows网络映射文件配置

位置

C:\Windows\System32\drivers\etc

将以下代码粘贴到文件末尾

192.168.18.8 template
192.168.18.10 bigdatam10
192.168.18.20 bigdatas20
192.168.18.30 bigdatas30

【这里和centos中的hosts一致即可】

注意:

  • 在修改hosts文件之前,退出电脑的杀毒软件,否则修改完毕之后,杀毒软件又给改回来了。

  • win10 电脑有自我保护机制,直接修改大概率不成功,先把hosts文件复制到桌面,更改完后,再拷贝到etc目录,覆盖原有的即可。

修改网络配置后,重启网络

直接reboot重启centos

 reboot

重启网络服务

systemctl start network.service 
或者
service network restart

验证网络

#访问外网
[root@template ~]# ping www.baidu.com
PING www.a.shifen.com (182.61.200.7) 56(84) bytes of data.
64 bytes from 182.61.200.7 (182.61.200.7): icmp_seq=1 ttl=128 time=65.5 ms
64 bytes from 182.61.200.7 (182.61.200.7): icmp_seq=2 ttl=128 time=63.7 ms
64 bytes from 182.61.200.7 (182.61.200.7): icmp_seq=3 ttl=128 time=61.4 ms

#访问windows宿主机
[root@template ~]# ping 192.168.18.1
PING 192.168.18.1 (192.168.18.1) 56(84) bytes of data.
64 bytes from 192.168.18.1: icmp_seq=1 ttl=64 time=1.05 ms
64 bytes from 192.168.18.1: icmp_seq=2 ttl=64 time=0.515 ms
64 bytes from 192.168.18.1: icmp_seq=3 ttl=64 time=0.594 ms

#访问网关
[root@template ~]# ping 192.168.18.2
PING 192.168.18.2 (192.168.18.2) 56(84) bytes of data.
64 bytes from 192.168.18.2: icmp_seq=1 ttl=128 time=0.562 ms
64 bytes from 192.168.18.2: icmp_seq=2 ttl=128 time=0.280 ms
64 bytes from 192.168.18.2: icmp_seq=3 ttl=128 time=0.381 ms

windows 访问centos

常用远程工具【windows】

背景

现在我们把hadoop_tmp_08已经安装好了,在真正的生产环境下,我们会使用集群,有多台服务器,

我们都知道,服务器是需要放在机房的,而我们办公则在办公室,我们需要通过远程连接的方式来操作每一台服务器,而远程连接,则需要安装一个远程连接工具

通过远程工具,我们坐在办公室就可以操作机房的服务器,我们通常使用的远程工具Xshell,当然远程工具还有很多,安装自行安装

使用XShell远程连接服务器

新建连接

根据自身使用习惯更改配色

接受秘钥

FTP工具,Xftp7安装和配置

安装

使用

在Xshell7上,点击箭头的位置

常用内部工具配置【centos内】

epel-release

注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的),这个相当于一个补丁

 [root@template ~]# yum install -y epel-release
  • 如果已经有进行在占用,则可以用kill命令关闭该进行,后面的3030是进程的ID号

 kill -9 3030 

再次执行

注意事项:

  • 如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作

  • net-tool:工具包集合,包含ifconfig等命令

 [root@template ~]# yum install -y net-tools
  • vim:编辑器

 [root@template ~]# yum install -y vim

关闭防火墙,关闭防火墙开机自启

[root@template ~]# systemctl status firewalld 查看防火墙状态
[root@template ~]# systemctl stop firewalld 关闭当前的防火前
[root@template ~]# systemctl disable firewalld.service 禁止防火墙开机启动

注意:在企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

重启虚拟机

 [root@template ~]# reboot

用户权限配置

配置用户和权限

创建bigdata用户,并修改bigdata用户的密码

[root@template ~]# useradd bigdata
[root@template ~]# passwd bigdata

如果在安装centos时配置了账号,则不需要添加用户的这一步

配置bigdata用户具有root权限

方便后期加sudo执行root权限的命令,而不是使用su切换到root不需要密码

 [root@template ~]# vim /etc/sudoers

修改文件权限

chmod 777 /etc/sudoers

修改/etc/sudoers文件,在%wheel这行下面添加一行,如下所示:

 ## Allow root to run any commands anywhere
root ALL=(ALL) ALL

## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
bigdata ALL=(ALL) NOPASSWD:ALL

修改文件权限

 pkexec chmod 0440 /etc/sudoers

每次切换到最高账号时,不需要输入密码

注意:bigdata这一行不要直接放到root行下面,因为所有用户都属于wheel组,你先配置了bigdata具有免密功能,但是程序执行到%wheel行时,该功能又被覆盖回需要密码。所以bigdata要放到%wheel这行下面。

在/opt目录下创建文件夹,并修改所属主和所属组

在/opt目录下创建module、software文件夹

[root@template ~]# mkdir /opt/module 
[root@template ~]# mkdir /opt/software

修改module、software文件夹的所有者和所属组均为bigdata用户

[root@template ~]# chown bigdata:bigdata /opt/module
[root@template ~]# chown bigdata:bigdata /opt/software

查看module、software文件夹的所有者和所属组

[root@template ~]# cd /opt/ 
[root@template opt]# ll
总用量 12
drwxr-xr-x. 2 bigdata bigdata 4096 5月 28 17:18 module
drwxr-xr-x. 2 root root 4096 9月 7 2017 rh
drwxr-xr-x. 2 bigdata bigdata 4096 5月 28 17:18 software

页面链接:https://www.datazzh.top/archives/1774/2025/02/25/
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇