版权所有,转载请注明出处!
作者:萧少聪 RHCE/CI
BLOG:scottsiu.cublog.cn或blog.csdn.net/scottsiu

前言:
几个大家要注意的地方:
1、做Cluster应该要有Fence设备,当一台机器出现问题时处于正常状态的机器会通过Fence将其重启或关机以释放IP、磁盘等资源。
2、做HA要对服务的启动脚本做一点修改以符合Cluster的要求。
3、GFS要建立在Cluster之上。
4、RHEL5 AP(高级平台版)已经带有Cluster组件,当中包括GFS、Cluster Suite、LVS等,不像RHEL4那样用另外安装。

1、网络
我的IP为
iscsi: 192.168.122.1
edb1: 192.168.122.21
edb2: 192.168.122.22

2.1、Linux中安装iscsi-target
到sf.net下载最新的iscsi-target
# tar zxvf iscsi-target.xxxxx.tar.gz
# cd iscsi-target.xxxxx
# make
# make install
# mkdir /iscsidisk
# dd if=/dev/zero of=/iscsidisk/sharedisk1.img bs=1k count=1 seek=2000K
(以上这句是用dd建立了一个2G大小的映像文件,也就是我们的一个iscsi映像磁盘)
# vim /etc/ietd.conf
找到"Target iqn",注意这行Target后的一串字符,是iscsi的标记
找到"Lun 0"一行,改为
Lun 0 Path=/iscsidisk/sharedisk1.img,Type=fileio
# chkconfig iscsi-target on
# /etc/init.d/iscsi-target start

2.2、在edb1、edb2中连接iscsi
# rpm -ivh iscsi-initiator-utils-6.2.0.742-0.5.el5.rpm
(RHEL5的光盘中有这个文件)
# chkconfig iscsid start
# /etc/init.d/iscsid start
# iscsiadm -m discovery -t sendtargets -p 192.168.122.1:3260
172.16.122.1:3260,1 iqn.2001-04.com.example:storage.disk2.sys1.xyz
(iqn.2001……….这部份应该和iscsi服务器中ietd.conf中的标记一样)
# iscsiadm -m node -T iqn.2001-04.com.example:storage.disk2.sys1.xyz -p 172.16.122.1:3260 -l
(以上两个iscsiadm的操作只在第一次连接iscsi服务器时要执行,以后每当iscsid启动都会自动连接)
# fdisk -l
(应该可以看到多出来一个/dev/sdx的分区)

3、在edb1、edb2中安装EnterpriseDB
在EnterpriseDB的官方网站下载到其最新版本:http://www.enterprisedb.com
EnterpriseDB(以下我简写为EDB)是一个基于PostgreSQL并与Oracle语法兼容的数据库在OLTP的多并发性事务处理中比PostgreSQL有了很大的提高!
下载软件包进行解压(安装要有root权限):
#tar zxvf edb-linux-x86_82412.tar.gz
#cd edb-linux-x86_82412
#./pre-Install.sh
如果出现You may now install EnterpriseDB就可以正常安装了,这里主要是针对不同的LINUX版本生成EDB所要的连接的
#./edb-linux-x86_82412.bin -console
安装过程中会要求序列号
Select License Type:

[X] 1 – Install Full or Evaluation License
2 – Install Express License

To select an item enter its number, or 0 when you are finished: [0]
这里如果你有在EDB官网上注册的话会收到一个30天无限制试用的SN,如果没有的话可以选2安装限制为1 CPU/1G RAM/6G Data的版本。
其它的选项默认就好了!

4、双节点HA集群
4.1 Fence
   做HA的话就要有fence设备,这是什么东东,如APC、HP ilo、IPMI等等
   这里以HP ilo为列,当前edb1、edb2的ilo IP分别是10.11.0.1、10.11.0.2用户名密码为redhat,在edb1中测试:
   # fence_ilo -a 10.11.0.2 -l redhat -p redhat -o status
   在edb2中测试:
   # fence_ilo -a 10.11.0.1 -l redhat -p redhat -o status
   如果返回正确,证明fence已经正常

4.2 HA Cluster
   在REDHAT中配置Cluster可以通过GUI下的Cluster Manager进行非常简单以下我只给出配置文件
   以下文件CP到每个节点上
   /etc/cluster/cluster.conf

<?xml version="1.0"?>
<cluster alias="edb_ha" config_version="6" name="edb_ha">
       <fence_daemon post_fail_delay="0" post_join_delay="3"/>
       <clusternodes>
            <clusternode name="edb1" nodeid="1" votes="1">
                     <fence>
                               <method name="1">
                                    <device name="ilo1"/>
                               </method>
                     </fence>
            </clusternode>
            <clusternode name="edb2" nodeid="2" votes="1">
                     <fence>
                               <method name="1">
                                    <device name="ilo2"/>
                               </method>
                     </fence>
            </clusternode>
       </clusternodes>
       <cman expected_votes="1" two_node="1">
            <multicast addr="224.0.0.1"/>
       </cman>
       <fencedevices>
            <fencedevice agent="fence_ilo" hostname="10.11.0.1" login="redhat" name="ilo1" passwd="redhat"/>

            <fencedevice agent="fence_ilo" hostname="10.11.0.2" login="redhat" name="ilo2" passwd="redhat"/>
       </fencedevices>
       <rm>
            <failoverdomains>
                     <failoverdomain name="edb_domain" ordered="0" restricted="0">
                               <failoverdomainnode name="edb1" priority="1"/>
                               <failoverdomainnode name="edb2" priority="1"/>
                     </failoverdomain>
            </failoverdomains>
            <resources>
                     <ip address="192.168.122.20" monitor_link="1"/>
                     <clusterfs device="/dev/sdx1" force_unmount="0" fsid="10617" fstype="gfs" mountpoint="/data" name="Data_GFS" options=""/>
            </resources>
            <service autostart="1" domain="edb_domain" name="enterpriseDB" recovery="relocate">
                     <script file="/etc/init.d/edb_8.2" name="edb_script"/>
                     <ip ref="192.168.122.20"/>
                     <clusterfs ref="Data_GFS"/>
            </service>
       </rm>
</cluster>
   /etc/hosts加入以下

192.168.122.21 edb1
192.168.122.22 edb2

4.3为了使EDB可以实现HA,我们要对EDB的启动脚本进行一点修改,如果我们要做其它数据库或服务的集群也是一样,具体随要求为:脚本要有start、stop、status、restart指令,并要求运行正常时返回"0",运行出错时返回"非0"。

5、GFS
上面的HA Cluster的配置文件当中已经有GFS的设定了,GFS要求建立在CLUSTER之上,所以只有在CLUSTER中的节点才能正常地挂载GFS分区,下来我们格式化一个GFS的分区
5.1
在edb1中执行以下操作
把/dev/sdx分为一个分区/dev/sdx1,如果对分区不熟请看“鸟哥”的文章
也可以到www.redhat.com/docs下载REDHAT的官方管理手册进行参考
# mkfs.gfs2 -p lock_dlm -t edb_ha:gfs1 -j 3 /dev/sdx1
-p lock_dlm 定义为DLM锁方式,如果不加此参数,当在两个系统中同时挂载此分区时就会像EXT3格式一样,两个系统的信息不能同步
-t edb_ha:gfs1 DLM锁所在的表名字,edb_ha应与cluster.conf中Cluster的name相同,gfs1为一个自定义的名字我认为可以理解为分区的卷标
-j 3           GFS分区中最多支持多少个节点同时挂载,这个可以在使用中动态调整
/dev/sdx1     要格式化的分区
#make /data
#mount /dev/sdx1 /data
#cp /opt/EnterpriseDB/8.2/data/ /data/edb_data/ -rp
#/etc/init.d/cman start

5.2
在edb2中
# /etc/init.d/iscsid restart
# fdisk -l (看看是否与edb1一样)
# mount /dev/sdx1 /data
# ll /data (看看是否与edb1一样)

5.3测试
在edb1、edb2中
# /etc/init.d/cman start
# /etc/init.d/rgmanager start
   (起动集群)
# clustat
   (查看集群状态)
可以通过/etc/init.d/edb_8.2 stop关闭edb服务、拔网线、重启系统等对集群进行测试

5.4
在edb1、edb2中
# chkconfig cman on
# chkconfig rgmanager on
以使系统启动时自动开启HA集群

关于REDHAT的集群,请先阅读REDHAT官方的CLUSTER手册,http://www.redhat.com/docs