安装
入口
选择镜像文件
配置资源
启动,并输入用户名密码
超级用户:root 密码:000000
选择登录root 用户
验证网络是否通
#访问网络 [root@localhost ~]# ping www.baidu.com ping: www.baidu.com: Name or service not known #访问windows宿主机 [root@localhost ~]# ping 192.168.18.1 connect: Network is unreachable
网络配置
网络规划
网络配置说明
需要配置 VM、Centos的网络配置,包括IP地址,主机名,网络映射,Windows本地的网络配置
模板机的意义
把操作系统的基础配置,包括内存、硬盘等网络等配置好之后,后续如果需要增加虚拟机的话,直接克隆,可以节省大量时间。 毕竟安装一台虚拟机所需时间不短。
在配置好网络后,还需要把一些通用的配置在模板机上配置好,比如jdk、python环境等
网络规划
ip网段划分:
-
前缀:192.168.18.X
-
192.168.18.1:windows本机IP
-
192.168.18.2:网关
-
template 192.168.18.8:模板机器,配置基础环境【网络、jdk,且去掉打印机、Usb,音频】
-
bigdatam10 192.168.18.10 用来做master服务器,部署HDFS的namenode 组件,同时作为YARN的DataManager从机
-
bigdatas20 192.168.18.20 用来做Slaver服务器,资源管理器,部署YARN的ResourcesManager组件,同时作为HDFS的DataNode从机
-
bigdatas30 192.168.18.30 用来做Slaver服务器,部署HDFS的SecondaryNameNode,同时作为HDFS的DataNode从机和作为YARN的DataManager从机
配置VM网络设置
配置入口
VM工具栏–》编辑–》虚拟网络编辑器
位置3:没有特别要求,只要网段一致就好了,我们这里使用18,以前这里我们使用的是1 ,但是有时候我们家庭网络网段也是用1,容易产生网络冲突,所以这里只要避开1就行,换个不同的数字
网关设置
点击位置6,弹出窗口,在位置7更改启示IP地址和结束IP地址,这里选择3~254,避开网关
将位置8的多选框取消掉,取消系统自动分配IP地址,原因是当我们重启服务器的时候,centos的IP地址会变,导致我们需要重新查询IP,在具体地业务系统中,我们需要使用自己的IP规则,同时,
入口
子网IP:在IP的规则范围内,什么数字都可以,但一般家庭网段中的IP地址 可能是 1,因此倒数第二个数字,只要避开1就可以,这里使用的是18
这个网关一般是2
选中VMnet8,右键–>属性–>双击IPv4
默认网关:和VM配置的网关保持一致
首选DNS服务器:与网关保持一致
CentOS网络设置
说明:当做配置的时候,一般使用root账号登录,这样可以避免过多的系统账号切换
当真正搭建集群的时候,才使用bigdata等具体业务账号
配置虚拟机IP地址
使用root账号登录,密码000000,进入命令终端,使用如下命令查看IP地址配置
vim /etc/sysconfig/network-scripts/ifcfg-ens33
完整内容:
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="03067470-f66c-44f1-bfcc-e1225df9a0d8"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.18.8"
GATEWAY="192.168.18.2"
DNS1="192.168.18.2"
DNS2="8.8.8.8"
更改完成之后,正常来说需要重启下网卡,那么我们在这里先修改一下主机名称
vim /etc/hostname
默认名称如下:
配置主机名称映射
vim /etc/hosts
192.168.18.8 template
192.168.18.10 bigdatas10
192.168.18.20 bigdatas20
192.168.18.30 bigdatas30
esc–>:wq! 保存后 ,reboot重启
注意:名称不能有下划线,否则报如下错误:
Does not contain a valid host:port authority
主机的hostname不合法,应修改为不包含着‘.’ ‘/’ ‘_’等非法字符。
大家在命名主机的时候切记,避开上述非法字符
Windows网络映射文件配置
位置
C:\Windows\System32\drivers\etc
将以下代码粘贴到文件末尾
192.168.18.8 template
192.168.18.10 bigdatam10
192.168.18.20 bigdatas20
192.168.18.30 bigdatas30
【这里和centos中的hosts一致即可】
-
在修改hosts文件之前,退出电脑的杀毒软件,否则修改完毕之后,杀毒软件又给改回来了。
-
win10 电脑有自我保护机制,直接修改大概率不成功,先把hosts文件复制到桌面,更改完后,再拷贝到etc目录,覆盖原有的即可。
修改网络配置后,重启网络
直接reboot重启centos
reboot
重启网络服务
systemctl start network.service
或者
service network restart
验证网络
#访问外网
[root@template ~]# ping www.baidu.com
PING www.a.shifen.com (182.61.200.7) 56(84) bytes of data.
64 bytes from 182.61.200.7 (182.61.200.7): icmp_seq=1 ttl=128 time=65.5 ms
64 bytes from 182.61.200.7 (182.61.200.7): icmp_seq=2 ttl=128 time=63.7 ms
64 bytes from 182.61.200.7 (182.61.200.7): icmp_seq=3 ttl=128 time=61.4 ms
#访问windows宿主机
[root@template ~]# ping 192.168.18.1
PING 192.168.18.1 (192.168.18.1) 56(84) bytes of data.
64 bytes from 192.168.18.1: icmp_seq=1 ttl=64 time=1.05 ms
64 bytes from 192.168.18.1: icmp_seq=2 ttl=64 time=0.515 ms
64 bytes from 192.168.18.1: icmp_seq=3 ttl=64 time=0.594 ms
#访问网关
[root@template ~]# ping 192.168.18.2
PING 192.168.18.2 (192.168.18.2) 56(84) bytes of data.
64 bytes from 192.168.18.2: icmp_seq=1 ttl=128 time=0.562 ms
64 bytes from 192.168.18.2: icmp_seq=2 ttl=128 time=0.280 ms
64 bytes from 192.168.18.2: icmp_seq=3 ttl=128 time=0.381 ms
windows 访问centos
背景
现在我们把hadoop_tmp_08已经安装好了,在真正的生产环境下,我们会使用集群,有多台服务器,
使用XShell远程连接服务器
新建连接
根据自身使用习惯更改配色
接受秘钥
FTP工具,Xftp7安装和配置
安装
使用
在Xshell7上,点击箭头的位置
常用内部工具配置【centos内】
epel-release
注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的),这个相当于一个补丁
[root@template ~]# yum install -y epel-release
kill -9 3030
再次执行
注意事项:
-
如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作
-
net-tool:工具包集合,包含ifconfig等命令
[root@template ~]# yum install -y net-tools
[root@template ~]# yum install -y vim
关闭防火墙,关闭防火墙开机自启
[root@template ~]# systemctl status firewalld 查看防火墙状态
[root@template ~]# systemctl stop firewalld 关闭当前的防火前
[root@template ~]# systemctl disable firewalld.service 禁止防火墙开机启动
注意:在企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙
重启虚拟机
[root@template ~]# reboot
配置用户和权限
[root@template ~]# useradd bigdata
[root@template ~]# passwd bigdata
如果在安装centos时配置了账号,则不需要添加用户的这一步
配置bigdata用户具有root权限
方便后期加sudo执行root权限的命令,而不是使用su切换到root不需要密码
[root@template ~]# vim /etc/sudoers
修改文件权限
chmod 777 /etc/sudoers
修改/etc/sudoers文件,在%wheel这行下面添加一行,如下所示:
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
bigdata ALL=(ALL) NOPASSWD:ALL
修改文件权限
pkexec chmod 0440 /etc/sudoers
每次切换到最高账号时,不需要输入密码
注意:bigdata这一行不要直接放到root行下面,因为所有用户都属于wheel组,你先配置了bigdata具有免密功能,但是程序执行到%wheel行时,该功能又被覆盖回需要密码。所以bigdata要放到%wheel这行下面。
在/opt目录下创建文件夹,并修改所属主和所属组
在/opt目录下创建module、software文件夹
[root@template ~]# mkdir /opt/module
[root@template ~]# mkdir /opt/software
修改module、software文件夹的所有者和所属组均为bigdata用户
[root@template ~]# chown bigdata:bigdata /opt/module
[root@template ~]# chown bigdata:bigdata /opt/software
查看module、software文件夹的所有者和所属组
[root@template ~]# cd /opt/
[root@template opt]# ll
总用量 12
drwxr-xr-x. 2 bigdata bigdata 4096 5月 28 17:18 module
drwxr-xr-x. 2 root root 4096 9月 7 2017 rh
drwxr-xr-x. 2 bigdata bigdata 4096 5月 28 17:18 software