我们的文章会在微信公众号IT民工的龙马人生和博客网站( www.htz.pw )同步更新 ，欢迎关注收藏，也欢迎大家转载，但是请在文章开始地方标注文章出处，谢谢！
由于博客中有大量代码，通过页面浏览效果更佳。
今天我们开始分享ASMFD系列五：UDEV环境环境迁移到ASMFD环境，在阅读此篇文章之间，建议先阅读此系列前四篇文章，请点击下面链接。
ASMFD系列一：ASMFD的介绍与常见问题
ASMFD系列二：AFD在CentOS环境中部署
ASMFD系列三：AFD的安装与建议
ASMFD系列四：ASMFD加载状态和安装异常处理
重要提示：
在开始操作之前，确认数据库数据库状态和集群运行状态，如有异常，请先处理异常再进行后续操作。生产环境操作，请提前做好数据库备份工作和提前确认集群版本与内核的兼容性。如果存在不兼容，可能需要对数据库打补丁，需要规划好补丁升级时间和确认升级的补丁是否影响数据库稳定运行
迁移数据库磁盘操作需要停节点的集群资源，确认应用连续数据库配置的是SCAN ip或者已经添加所有节点的VIP，否者可能应用业务链接数据库，迁移OCR磁盘需要停整个集群资源。
1，版本查询
OS为RHEL，内核的版本为3.10.0-229.el7，数据库的版本为12.1.0.2.5，相比现在的版本是比较老了点，因为在这个版本中，可以模拟内核版本与集群版本不兼容，需要给集群打补丁。
[grid@rac121021 ~]$ $ORACLE_HOME/OPatch/opatch lspatches
21436941;WLM Patch Set Update: 12.1.0.2.5 (21436941)
21359761;ACFS Patch Set Update : 12.1.0.2.5 (21359761)
21359758;OCW Patch Set Update : 12.1.0.2.5 (21359758)
21359755;Database Patch Set Update : 12.1.0.2.5 (21359755)
2，确认平台是否支持
通过afddriverstate supported命令测试集群版本与操作系统内核版本不兼容，如果为CentOS系统，请参考ASMFD系列二：ASMFD在CentOS环境中的部署。
[grid@rac121021 bin]$ ./afddriverstate supported
AFD-620: AFD is not supported on this operating system version: '3.10.0-229.el7.x86_64'
AFD-9201: Not Supported
如果出现AFD-9201: Not Supported表示不兼容，请查询MOS文档，确认内核版本与集群的兼容性，是否需要进行补丁。
如果下面的AFD-9200: Supported就表示支持，无需再打补丁。
[grid@rac121021 ~]$ afddriverstate supported
AFD-9200: Supported
2.1 ASMFD打补丁
下面是一次不支持的处理
[root@rac121021 ~]# /oracle/app/12.1.0/grid/bin/asmcmd afd_configure
Connected to an idle instance.
AFD-620: AFD is not supported on this operating system version: '3.10.0-229.el7.x86_64'
ASMCMD-9524: AFD configuration failed 'ERROR: afdroot install failed'
由于Oracle兼容性导致的，暂时不支持RHEL，补丁信息如下：
Bug 21162902 : AFD-620: AFD IS NOT SUPPORTED ON THIS OPERATING SYSTEM VERSION: '3.10.0-229.EL7.
引用的基本BUG
Bug 21233961 : ADVM/ACFS NOT SUPPORTED OS VERSION: ON OL7 U1
下载补丁，对BUG进行修复操作，升级的操作可以去www.htz.pw搜索，这里暂时跳过，升级以后补丁的信息查询。
[grid@rac121021 ~]$ $ORACLE_HOME/OPatch/opatch lsinventory -bugs_fixed|grep 21233961
18321597 21233961 Tue Nov 24 08:07:42 EST 2015 ACFS SUPPORT FOR RHEL7 AND OL7
18510745 21233961 Tue Nov 24 08:07:42 EST 2015 TEST FIX - RAC LRGS AND TWEAKS TO 9XP ON WINDOWS
18851012 21233961 Tue Nov 24 08:07:42 EST 2015 SOLSP64-12102-SCFROOT.SH FAILED ON LOCAL ZONE
18877486 21233961 Tue Nov 24 08:07:42 EST 2015 DBMX28 SLAB ERROR IN KMEM_CACHE_DESTROY() CACHE
再次确认兼容性
[grid@rac121021 ~]$ afddriverstate supported
AFD-9200: Supported
下面有一个报错的小插曲，由于配置不当引起的。请参考前面的系统安装文档。
上面还可以报下面的错误
[root@asm12102dg ~]# /oracle/app/12.2.0/grid/bin/asmcmd afd_configure
/oracle/app/12.2.0/grid/bin/asmcmd: line 85: [: /oracle/app/12.2.0/grid: binary operator expected
/oracle/app/12.2.0/grid/bin/asmcmd: line 93: [: /oracle/app/12.2.0/grid: binary operator expected
/oracle/app/12.2.0/grid/bin/asmcmd: line 124: /oracle/app/12.2.0/grid: Is a directory
/oracle/app/12.2.0/grid/bin/asmcmd: line 179: /oracle/app/12.2.0/grid: Is a directory
/oracle/app/12.2.0/grid/bin/asmcmd: line 179: exec: /oracle/app/12.2.0/grid: cannot execute: Is a directory
手动配置
export ORACLE_HOME=/oracle/app/12.1.0/grid在执行就正常了。
3，确认磁盘路径
目前全部使用的多路径磁盘，在通过udev修改磁盘的权限。
[grid@rac121021 ~]$ asmcmd lsdsk -p
Group_Num Disk_Num Incarn Mount_Stat Header_Stat Mode_Stat State Path
1 0 3916018116 CACHED MEMBER ONLINE NORMAL /dev/mapper/data1
2 0 3916018118 CACHED MEMBER ONLINE NORMAL /dev/mapper/ocr1
2 1 3916018119 CACHED MEMBER ONLINE NORMAL /dev/mapper/ocr2
2 2 3916018117 CACHED MEMBER ONLINE NORMAL /dev/mapper/ocr3
udev配置文件如下：
root@rac121022 ~]# cat /etc/udev/rules.d/12-dm-permissions.rules
LABEL="dm_end"
ENV{DM_NAME}=="ocr1", OWNER:="grid", ACTION=="add|change" GROUP:="oinstall", MODE:="0660"
ENV{DM_NAME}=="ocr2", OWNER:="grid", ACTION=="add|change" GROUP:="oinstall", MODE:="0660"
ENV{DM_NAME}=="ocr3", OWNER:="grid", ACTION=="add|change" GROUP:="oinstall", MODE:="0660"
ENV{DM_NAME}=="data", OWNER:="grid", ACTION=="add|change" GROUP:="oinstall", MODE:="0660"
4，修改磁盘的ASM_DISKSTRING参数
ASM扫描磁盘的路径就是通过ASM_DISKSTRING来制定的，其实个人建议，如果添加的ASMFD就可以取消其它所有磁盘的路径扫描，就跟ASMLIB环境一样，添加ASMLIB后可以取消其它所有磁盘的扫描。
[grid@rac121021 ~]$ asmcmd dsget
parameter:/dev/mapper/*
profile:/dev/mapper/*
添加AFD到asm_diskstring中
[grid@rac121021 ~]$ asmcmd dsset '/dev/mapper/*','AFD:*'
[grid@rac121021 ~]$ asmcmd dsget
parameter:/dev/mapper/*, AFD:*
profile:/dev/mapper/*,AFD:*
5，配置ASMFD
下面需要在集群的所有的节点配置下面信息，在集群环境中，可以一个一个节点的执行，保证有节点对外能提供服务
[grid@rac121021 ~]$ $ORACLE_HOME/bin/olsnodes -a
rac121021 Hub
rac121022 Hub
[root@rac121021 ~]# /oracle/app/12.1.0/grid/bin/crsctl stop crs -f
[root@rac121021 1210203]# /oracle/app/12.1.0/grid/bin/asmcmd afd_configure
Connected to an idle instance.
AFD-627: AFD distribution files found.
AFD-636: Installing requested AFD software.
AFD-637: Loading installed AFD drivers.
AFD-9321: Creating udev for AFD.
AFD-9323: Creating module dependencies - this may take some time.
AFD-9154: Loading 'oracleafd.ko' driver.
AFD-649: Verifying AFD devices.
AFD-9156: Detecting control device '/dev/oracleafd/admin'.
AFD-638: AFD installation correctness verified.
Modifying resource dependencies - this may take some time.
提示
更多的信息参考前面安装部分
asmcmd afd_configure配置ASMFD的时候默认是扫描/DEV/SD*的磁盘，我们需要使用asmcmd afd_dsset来更改扫描路径，更改后需要重启asmfd的模块，也可能要重启RAC。
asmcmd afd_scan asmcmd afd_lsdsk查看磁盘路径是否正确。
下面是修改ASMFD扫描的路径的方法
下面是MOS的一个文档
********************************************************(Doc ID 2077638.1)
Following procedure can be used to have ASMFD manage /dev/mapper/* devices instead of /dev/sd*
- 'crsctl stop crs' # stop the clusterware stack
- 'acfsload stop' # stop the ACFS driver stack
- 'afdload stop' # stop the ASMFD driver
- 'afdload start' # start the ASMFD driver
- 'asmcmd afd_scan '/dev/mapper/*' # scan the devices and manage them.
- 'acfsload start' # start the ACFS driver stack
- 'crsctl start crs -wait' # start the clusterware stack
- 'asmcmd afd_dsset '/dev/mapper/*' # reset the afd_diskstring value.
***********************************************************
查看ASMFD的状态
[root@rac121021 disks]# /oracle/app/12.1.0/grid/bin/asmcmd afd_state
Connected to an idle instance.
ASMCMD-9526: The AFD state is 'LOADED' and filtering is 'ENABLED' on host 'rac121021'
[root@rac121021 disks]# lsmod |grep fd
oracleafd 208033 1
下面查看ASMFD生成的文件
其实这里可以看到，ASMFD也是使用UDEV规则来更改磁盘的权限与宿主。
[root@rac121021 rules.d]# cat 55-usm.rules
#
# ADVM devices
KERNEL=="asm/*", GROUP="dba", MODE="0770"
KERNEL=="asm/.*", GROUP="dba", MODE="0770"
#
# ACFS devices
KERNEL=="ofsctl", GROUP="dba", MODE="0664"
[root@rac121021 rules.d]# cat 53-afd.rules
#
# AFD devices
KERNEL=="oracleafd/.*", OWNER="grid", GROUP="dba", MODE="0770"
KERNEL=="oracleafd/*", OWNER="grid", GROUP="dba", MODE="0770"
KERNEL=="oracleafd/disks/*", OWNER="grid", GROUP="dba", MODE="0660"
6，配置ASMFD扫描路径
下面参数修改只会修改本节点，所以需要在所有的节点上面运行下面命令
[grid@rac121021 ~]$ $ORACLE_HOME/bin/asmcmd afd_dsset '/dev/mapper/*'
[grid@rac121022 ~]$ $ORACLE_HOME/bin/asmcmd afd_dsget
Connected to an idle instance.
AFD discovery string: /dev/mapper/*
下面可以查看配置文件
下面查看afd的配置文件。
注意
在后续的版本中已经取消*/etc/afd.conf*文件。
[root@rac121021 parameters]# cat /etc/afd.conf
afd_diskstring='/dev/mapper/*'
afd_filtering=enable
7，迁移磁盘路径到ASMFD
7.1 迁移普通的数据磁盘
[grid@rac121021 ~]$ asmcmd lsdg -g data
Inst_ID State Type Rebal Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name
2 MOUNTED EXTERN N 512 4096 1048576 10240 5949 0 5949 0 N DATA/
1 MOUNTED EXTERN N 512 4096 1048576 10240 5949 0 5949 0 N DATA/
[grid@rac121021 ~]$ asmcmd lsdsk -p -G data
Group_Num Disk_Num Incarn Mount_Stat Header_Stat Mode_Stat State Path
1 0 3914744615 CACHED MEMBER ONLINE NORMAL /dev/mapper/data1
7.2 停数据库
[grid@rac121021 ~]$ srvctl stop database -d htz
7.3 迁移数据库磁盘
千万注意
初始化磁盘头时，添加–migrate参数，否者会有打惊喜，当然也只是一个小问题。
[grid@rac121021 ~]$ srvctl stop diskgroup -diskgroup data -f
[grid@rac121021 ~]$ asmcmd afd_label data1 /dev/mapper/data1 --migrate
[grid@rac121021 ~]$ $ORACLE_HOME/bin/asmcmd afd_scan
[grid@rac121021 ~]$ asmcmd afd_lsdsk
--------------------------------------------------------------------------------
Label Filtering Path
================================================================================
DATA1 ENABLED /dev/mapper/data1
[grid@rac121021 ~]$ srvctl start diskgroup -diskgroup data
7.4 迁移OCR/VOTEDISK磁盘
[grid@rac121021 ~]$ ocrcheck
Status of Oracle Cluster Registry is as follows :
Version : 4
Total space (kbytes) : 409568
Used space (kbytes) : 1616
Available space (kbytes) : 407952
ID : 1494282136
Device/File Name : +OCRDG
Device/File integrity check succeeded
[grid@rac121021 ~]$ crsctl query css votedisk
## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE 99edfc42faaa4f6cbf56870bb623fa47 (/dev/mapper/ocr1) [OCRDG]
这里需要听所有的节点
[root@rac121021 disks]# /oracle/app/12.1.0/grid/bin/crsctl stop cluster -all
[grid@rac121021 ~]$ asmcmd afd_label ocr1 /dev/mapper/ocr1 --migrate
Connected to an idle instance.
在所有的节点执行下面的操作
[grid@rac121021 ~]$ asmcmd afd_scan
Connected to an idle instance.
[grid@rac121021 ~]$ asmcmd afd_lsdsk
Connected to an idle instance.
--------------------------------------------------------------------------------
Label Filtering Path
================================================================================
DATA1 ENABLED /dev/mapper/data1
OCR1 ENABLED /dev/mapper/ocr1
[grid@rac121021 ~]$ ls -l /dev/oracleafd/disks/*
-rw-r--r-- 1 grid oinstall 18 Nov 24 08:52 /dev/oracleafd/disks/DATA1
-rw-r--r-- 1 grid oinstall 17 Nov 24 09:00 /dev/oracleafd/disks/OCR1
启动集群
[root@rac121021 disks]# /oracle/app/12.1.0/grid/bin/crsctl start cluster -all
[grid@rac121021 ~]$ asmcmd lsdsk -p
Group_Num Disk_Num Incarn Mount_Stat Header_Stat Mode_Stat State Path
2 1 3914931331 CACHED MEMBER ONLINE NORMAL /dev/mapper/ocr2
2 2 3914931332 CACHED MEMBER ONLINE NORMAL /dev/mapper/ocr3
1 0 3914931330 CACHED MEMBER ONLINE NORMAL AFD:DATA1
2 0 3914931333 CACHED MEMBER ONLINE NORMAL AFD:OCR1
8，对比ASMFD标·签前后的变化
对比–migrate操作前后磁盘投信息的变化
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K [grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 [grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
[grid@rac121021 ~]$ asmcmd afd_label ORC2 /dev/mapper/ocr2 --migrate
[grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more [grid@rac121021 ~]$ od -x /dev/mapper/ocr3|more
0000000 8201 0101 0000 0000 0002 8000 4b98 cf49 0000000 8201 0101 0000 0000 0002 8000 19d7 fc0a
0000020 0000 0000 0000 0000 0000 0000 0000 0000 0000020 0000 0000 0000 0000 0000 0000 0000 0000
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000 0000040 524f 4c43 4944 4b53 524f 3343 0000 0000
0000060 0000 0000 0000 0000 0000 0000 0000 0000 0000060 0000 0000 0000 0000 0000 0000 0000 0000
0000100 0000 0c10 0002 0301 434f 4452 5f47 3030 0000100 0000 0c10 0002 0301 434f 4452 5f47 3030
0000120 3230 0000 0000 0000 0000 0000 0000 0000 0000120 3230 0000 0000 0000 0000 0000 0000 0000
0000140 0000 0000 0000 0000 434f 4452 0047 0000 0000140 0000 0000 0000 0000 434f 4452 0047 0000
0000160 0000 0000 0000 0000 0000 0000 0000 0000 0000160 0000 0000 0000 0000 0000 0000 0000 0000
0000200 0000 0000 0000 0000 434f 4452 5f47 3030 0000200 0000 0000 0000 0000 434f 4452 5f47 3030
0000220 3230 0000 0000 0000 0000 0000 0000 0000 0000220 3230 0000 0000 0000 0000 0000 0000 0000
0000240 0000 0000 0000 0000 0000 0000 0000 0000 0000240 0000 0000 0000 0000 0000 0000 0000 0000
其实就是在原来的ORCLDISK后面添加了一个ASMFD的BABEL名字
0000040 524f 4c43 4944 4b53 0000 0000 0000 0000
O R C L D I S K \0 \0 \0 \0 \0 \0 \0 \0
0000040 524f 4c43 4944 4b53 524f 3243 0000 0000
O R C L D I S K O R C 2 \0 \0 \0 \0
9，删除配置的UDEV规则
删除UDEV文件的配置
root@rac121022 ~]# cat /etc/udev/rules.d/12-dm-permissions.rules
ENV{DM_NAME}=="ocr1", OWNER:="grid", ACTION=="add|change" GROUP:="oinstall", MODE:="0660"
ENV{DM_NAME}=="ocr2", OWNER:="grid", ACTION=="add|change" GROUP:="oinstall", MODE:="0660"
ENV{DM_NAME}=="ocr3", OWNER:="grid", ACTION=="add|change" GROUP:="oinstall", MODE:="0660"
ENV{DM_NAME}=="data", OWNER:="grid", ACTION=="add|change" GROUP:="oinstall", MODE:="0660"
10，重启主机验证
通过重启主机，确认磁盘的权限、集群的状态、数据库的状态是否正确。
[root@rac121021 ~]# ls -l /dev/dm*
brw-rw---- 1 root disk 253, 0 Nov 24 09:34 /dev/dm-0
brw-rw---- 1 root disk 253, 1 Nov 24 09:34 /dev/dm-1
brw-rw---- 1 root disk 253, 2 Nov 24 09:34 /dev/dm-2
brw-rw---- 1 root disk 253, 3 Nov 24 09:34 /dev/dm-3
brw-rw---- 1 root disk 253, 4 Nov 24 09:34 /dev/dm-4
brw-rw---- 1 root disk 253, 5 Nov 24 09:34 /dev/dm-5
[grid@rac121021 ~]$ ls -l /dev/oracleafd/disks/
total 16
-rw-r--r-- 1 grid dba 18 Nov 24 09:34 DATA1
-rw-r--r-- 1 grid dba 17 Nov 24 09:34 OCR1
-rw-r--r-- 1 grid dba 17 Nov 24 09:34 ORC2
-rw-r--r-- 1 grid dba 17 Nov 24 09:34 ORC3
[grid@rac121021 ~]$ asmcmd lsdsk -p
Group_Num Disk_Num Incarn Mount_Stat Header_Stat Mode_Stat State Path
1 0 3916018142 CACHED MEMBER ONLINE NORMAL AFD:DATA1
2 0 3916018145 CACHED MEMBER ONLINE NORMAL AFD:OCR1
2 1 3916018143 CACHED MEMBER ONLINE NORMAL AFD:ORC2
2 2 3916018144 CACHED MEMBER ONLINE NORMAL AFD:ORC3
[grid@rac121021 ~]$ crsctl stat resource -t
--------------------------------------------------------------------------------
Name Target State Server State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
ONLINE ONLINE rac121021 STABLE
ONLINE ONLINE rac121022 STABLE
ora.LISTENER.lsnr
ONLINE ONLINE rac121021 STABLE
ONLINE ONLINE rac121022 STABLE
ora.OCRDG.dg
ONLINE ONLINE rac121021 STABLE
ONLINE ONLINE rac121022 STABLE
ora.asm
ONLINE ONLINE rac121021 Started,STABLE
ONLINE ONLINE rac121022 Started,STABLE
ora.net1.network
ONLINE ONLINE rac121021 STABLE
ONLINE ONLINE rac121022 STABLE
ora.ons
ONLINE ONLINE rac121021 STABLE
ONLINE ONLINE rac121022 STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE rac121021 STABLE
ora.MGMTLSNR
1 ONLINE ONLINE rac121021 169.254.160.138 192.
168.112.50,STABLE
ora.cvu
1 ONLINE ONLINE rac121021 STABLE
ora.htz.db
1 ONLINE OFFLINE STABLE
2 ONLINE OFFLINE STABLE
ora.mgmtdb
1 ONLINE ONLINE rac121021 Open,STABLE
ora.oc4j
1 ONLINE ONLINE rac121021 STABLE
ora.rac121021.vip
1 ONLINE ONLINE rac121021 STABLE
ora.rac121022.vip
1 ONLINE ONLINE rac121022 STABLE
ora.scan1.vip
1 ONLINE ONLINE rac121021 STABLE
--------------------------------------------------------------------------------
——————作者介绍———————–
姓名：黄廷忠
现就职：Oracle中国高级服务团队
曾就职：OceanBase、云和恩墨、东方龙马等
电话、微信、QQ：18081072613
个人博客: (http://www.htz.pw)
CSDN地址: (https://blog.csdn.net/wwwhtzpw)
博客园地址: (https://www.cnblogs.com/www-htz-pw)
ASMFD系列五：UDEV环境迁移到ASMFD环境：等您坐沙发呢！