CentOS多路径软件配置（光纤连接存储）
多路径软件的主要功能是和存储设备一起配合实现以下功能：
1.故障的切换和恢复；
2.IO流量的负载均衡；
3.磁盘的虚拟化。
1） 多路径软件包（安装文件都在CentOS-6.7-x86_64-bin-DVD1.iso光盘中）：
device-mapper-1.02.95-2.el6.x86_64.rpm
device-mapper-event-1.02.95-2.el6.x86_64.rpm
device-mapper-multipath-0.4.9-87.el6.x86_64.rpm
device-mapper-event-libs-1.02.95-2.el6.x86_64
device-mapper-persistent-data-0.3.2-1.el6.x86_64
device-mapper-libs-1.02.95-2.el6.x86_64
2） 安装过程中可能会提示需要安装其他的关联软件包，主要与多路径软件相关联的软件包如下（安装包都在CentOS-6.7-x86_64-bin-DVD1.iso光盘中）:
libaio-0.8.8-7.1el6x86_64.rpm
libaio-0.3.107-10.e16.x86_64.rpm
libaio-devel-0.3.107-10.e16.x86_64.rpm
工具/原料
运维工具：Putty、SecureCRT、Winscp；
CentOS系统安装光盘：CentOS-6.7-x86_64-bin-DVD1.iso
其他：USB光驱、USB键盘、显示器。
方法/步骤
一、 记录EMC存储分配磁盘wwid号
1） fdisk 查看EMC存储分配磁盘情况
[root@simlelife89~]#fdisk -l
Disk /dev/sdb: 3298.5 GB, 3298534883328 bytes
255 heads, 63 sectors/track, 401024 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 32768 bytes / 67108864 bytes
Disk identifier: 0x00000000
记录EMC存储分配磁盘wwid号
2） 查看EMC存储分配磁盘wwid号，并记录；
[root@simlelife89 ~]# scsi_id -g -u /dev/sdb
4600709680091010a9000000094000018
二、安装多路径软件及配置
1） 多路径软件安装，放入CentOS-6.7-x86_64-bin-DVD1.iso光盘；
[root@simlelife89~]# mount /dev/cdrom /mnt \挂载光盘
[root@simlelife89~]# cd /mnt/Packages \进入Packages目录
[root@simlelife89 Packages]# rpm -qa |grep mapper \查看系统默认安装多路径软件情况
device-mapper-event-libs-1.02.95-2.el6.x86_64
device-mapper-persistent-data-0.3.2-1.el6.x86_64
device-mapper-1.02.95-2.el6.x86_64
device-mapper-event-1.02.95-2.el6.x86_64
device-mapper-libs-1.02.95-2.el6.x86_64
2） 安装device-mapper-multipath依赖软件libaio-devel；
[root@simlelife89 Packages]# rpm -ihv libaio-devel-0.3.107-10.el6.x86_64.rpm
warning: libaio-devel-0.3.107-10.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID c105b9de: NOKEY
Preparing… ########################################### [100%]
1:libaio-devel ########################################### [100%]
1） 安装device-mapper-multipath软件；
[root@simlelife89 Packages]#rpm -ivh device-mapper-multipath-0.4.9-87.el6.x86_64.rpm
warning: device-mapper-multipath-0.4.9-87.el6.x86_64.rpm: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY
Preparing… ########################################### [100%]
1:device-mapper-multipath########################################### [100%]
2） 安装device-mapper-multipath-libs软件；
[root@simlelife89 Packages]# rpm -ivh device-mapper-multipath-libs-0.4.9-87.el6.x86_64.rpm
warning: device-mapper-multipath-libs-0.4.9-87.el6.x86_64.rpm: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY
Preparing… ########################################### [100%]
1:device-mapper-multipath########################################### [100%]
3） 重启操作系统；
[root@simlelife89 ~]#reboot #–重启命令
4） 将多路径软件添加至内核模块中；
[root@simlelife89 ~]#modprobe dm-multipath #–dm-multipath添加至内核模块
[root@simlelife89 ~]#modprobe dm-round-robin #–dm-round-robin添加至内核模块
5） 检查内核添加情况；
[root@simlelife89 ~]#lsmod |grep multipath #–查看内核加载multipath信息
dm_multipath 17724 48 dm_round_robin
dm_mod 84337 85 dm_multipath,dm_mirror,dm_log
6） 将多路径软件multipath设置为开机自启动；
[root@simlelife89 ~]#chkconfig –level 2345 multipathd on #–2345级随机启动multipathd
7） 重启multipath服务。
[root@simlelife89 ~]#service multipathd restart #–重启multipath服务
8） 配置multipath软件, 编辑/etc/multipath.conf；
注:默认情况下, /etc/multipath.conf是不存在,需要做如下准备工作:
cd至/sbin下,用如下命令生成multipath.conf文件:
[root@simlelife89 ~]#cd /sbin #–进入/sbin目录
[root@simlelife89 ~]#mpathconf –enable –find_multipaths y –with_module y –with_chkconfig y #–生成multipath.conf文件
9） 配置多路径软件，调到multipath.conf文件最后，新增以下内容，并保存文件退出；
[root@simlelife89 ~]#vim /etc/multipath.conf #–配置multipath.conf文件
blacklist { #–黑名单项:即不使用多路径的硬盘,如服务器本地盘等
#--不使用多路径的本地盘sda wwid号
wwid 9600707b00h5064501c8c5589053c9988
#–不使用多路径的本地盘sda名称,^表示以sd开头的
devnode "^sda"
}
multipaths { #–使用多路径软件项
#--单块存储盘配置,如有多块存储盘,如多个multipath{}配置
multipath {
#--使用多路径的存储盘wwid号
wwid 4600709680091010a9000000094000018
#–该存储盘多路径后的别名
alias Storage001
#--路径组策略名
path_grouping_policy multibus
#--路径检查名，此项可以注释
path_checker readsector0
path_selector "round-robin 0"
failback manual
rr_weight priorities
no_path_retry 5
}
}
devices {
device {
#--存储厂家名称
vendor "IBM"
#--存储产品型号
product "LSV8500"
path_grouping_policy multibus
getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
path_checker readsector0
path_selector "round-robin 0"
hardware_handler "0"
failback 15
rr_weight priorities
no_path_retry queue
}
}
10） 启动multipath配置。
[root@simlelife89 ~]#multipath -v2 #–启动multipath配置
其他命令#multipath -l|more 查看、检查多路径信息，lvdisplay 查看逻辑卷信息，pvdisplay 查看物理卷信息。
三、 存储分区
1） 对Storage001分区；
[root@simlelife89 ~]# parted /dev/mapper/Storage001 #–parted分区Storage001
GNU Parted 2.1
use /dev/Storage001
Welcome to GNU Parted! Type ‘help’ to view a list of commands.
(parted)mklabel gpt #–在当前Storage001存储建立GPT分区表（2TB以上磁盘空间必须用GPT，MBR分区表不支持2TB以上分区）
Warning: The existing disk label on /dev/Storage001 will be destroyed and all data on this disk will be lost. Do you want to continue?
Yes/No? Yes
(parted)mkpart primary 0 -1 #将整个磁盘划分为一个主分区，0 -1表示将整个磁盘作为一个分区
Warning: You requested a partition from 0.00B to 3299GB.
The closest location we can manage is 17.4kB to 3299GB.
Is this still acceptable to you?
Yes/No? Yes
(parted)print #–查看当前分区情况
Model: OPNFILER VIRTUAL-DISK (scsi)
Disk /dev/Storage001: 3299GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Number Start End Size File system Name Flags
1 17.4kB 3299GB 3299GB primary
(parted)quit #–退出parted
Info: You may need to update /etc/fstab.
2） 重启操作系统。
[root@simlelife89 ~]#reboot #–重启命令
四、创建存储卷及格式化
1） 创建物理卷；
[root@simlelife89 ~]# pvcreate /dev/mapper/Storage001p1 #–创建Storage001物理卷
Physical volume “/dev/mapper/Storage001p1” successfully created
2） 创建卷组；
[root@simlelife89 ~]# vgcreate vgdata001 /dev/mapper/Storage001p1 #–创建vgdata001卷组
Volume group “vgdata001” successfully created
3） 创建逻辑卷；
[root@simlelife89 ~]# lvcreate -L 2.9TB -n lv_data001 vgdata001 #–创建lv_data001逻辑卷
4） 查看vgdata001卷组剩余可用空间；
[root@simlelife89 ~]#vgdisplay #–查看vgdata001卷组信息
注：还可继续扩容102.33G。
5） 扩容逻辑卷；
[root@simlelife89 ~]#lvresize -l +26197 /dev/vgdata001/lv_data001 #–扩容lv_data001逻辑卷磁盘空间
6） 格式化逻辑卷；
[root@simlelife89 ~]# mkfs.ext4 /dev/vgdata001/lv_data001 #–格式化lv_data001逻辑卷
格式化过程：
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=8 blocks, Stripe width=16384 blocks
131072000 inodes, 524288000 blocks
26214400 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=4294967296
16000 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
102400000, 214990848, 512000000
Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done
This filesystem will be automatically checked every 27 mounts or
190 days, whichever comes first. Use tune2fs -c or -i to override.
五、挂载EMC存储
1）创建/data目录；
[root@simlelife89 ~]# mkdir /Storagedata #–创建/data目录
2）挂截lv_data001存储至data目录；
[root@simlelife89 ~]# mount /dev/vgdata001/lv_data001 /Storagedata #–挂载存储
2）配置随机启动自动挂载外置存储。
[root@simlelife89 ~]# vim /etc/fstab #–配置fstab文件，最后新建行，增加以下内容,并保存文件退出
/dev/mapper/vgdata001-lv_data001 /Storagedata ext4 defaults 1 1
至此,多路径软件安装及配置完毕！！
END
注意事项
1） 输入fdisk -l查看磁盘时，提示“WARNING: GPT (GUID Partition Table) detected on ‘/dev/sd*’! The util fdisk doesn’t support GPT.Use GNU Parted.” 原因：linux fdisk命令不支持GPT分区形式，出现此提示，可忽略。
2） 使用fdisk分区/dev/mapper/Storage001后，只出现2TB容量； 原因：Linux fdisk命令对磁盘分区不能超过2TB以上，最大只能支持2TB，若磁盘分区大于2TB，请使用parted命令。