环境描述操作系统版本:6100-09-03-1415主机型号:IBM小型机P550内存大小:8GBrac集群软件版本:oracle11g11.2.0.4数据库软件版本:oracle11g11.2.0.4软件安装目录:/u01(空间30G)存储规划存储设备型号:IBMDS502014块300G的磁盘,6+1做为一个RAID5,5+1做成一个RAID5,剩下一块盘做为热备盘;共划分17个LUN,14个200G的LUN用于存放数据和归档日志,3个10的LUN用于存放CRS和VOTEDISK。Lun名称大小(G)用途lun1lun14200数据库数据、归档hdisk2hdisk15ocrlun1ocrlun310CRS、VOTEDISKhdisk16hidisk18IP规划本次开发RAC计划采用两个私网络,最终私网IP还是采用一个网段,10.0.1.0段的私网暂时不用,因为在安装期间报错,想测试HAIP后期再想办法解决。主机PublicIPVIPPrivateipkf1rac1192.168.121.132192.168.121.13410.10.10.132/10.0.1.132kf2rac2192.168.121.133192.168.121.13510.10.10.133/10.0.1.133scanip192.168.121.136安装前硬件配置检查内存大小:至少4G(lsattr-Elsys0-arealmem验证)swap:至少4G(lsps-a验证)tmp目录:至少2G确认系统体系结构:getconfHARDWARE_BITMODE(建议64位)确认CPU个数#lsdev-C|grepprocproc0Available00-00Processorproc2Available00-02Processorproc4Available00-04Processorproc6Available00-06Processor确认CPU主频#lsattr-Elproc0frequency3503000000ProcessorSpeedFalsesmt_enabledtrueProcessorSMTenabledFalsesmt_threads2ProcessorSMTthreadsFalsestateenableProcessorstateFalsetypePowerPC_POWER6ProcessortypeFalse操作系统依赖文件集以下是安装oracle11grac集群软件之前,操作系统所需要安装依赖包Aix6.1需要安装如下软件包:bos.adt.basebos.adt.libbos.adt.libmbos.perf.libperfstat6.1.2.1orlaterbos.perf.perfstatbos.perf.proctoolsrsct.basic.rtersct.compat.clients.rtexlC.aix61.rte10.1.0.0orlaterbos.rte.bind_cmds.6.1.7.1.bffAix5.3需要安装如下软件包:bos.adt.basebos.adt.libbos.adt.libmbos.perf.libperfstat5.3.9.0orlaterbos.perf.perfstatbos.perf.proctoolsrsct.basic.rtersct.compat.clients.rtexlC.aix50.rte10.1.0.0orlater以上软件包可以用此命令确认是否已安装lslpp-Lall|grepbos.adt,系统默认安装通常安装是不完整的,因此需手工确认,具体版本因具体操作系统版本而定安装前操作系统patches如果操作系统在6100-04及以上版本,那么基本上不需要打任何补丁包了,在安装期间报的几个补丁包我们也可以直接忽略安装前操作系统相关设置1、修改系统时区(须重启)Smitchtz_datechangetimezoneusingsystemdefinedvalues选择”Asia/Chongqing”,然后回车保存Typeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]TIMEZONEnameAsia/ChongqingOFFSETfromGreenwichMeanTimeGMT+08:00echo$TZ--检查时区是否修改成功2、smitdate修改两个主机之间的时间,确保时间保持一致3、禁止NTP服务stopsrc-sxntpd将/etc/ntp.conf改名cd/etc/mvntp.confntp.conf_bak4、编辑/etc/ssh/sshd_config文件(修改后需要重启才能生效)LoginGraceTime05、打开异步IOAIX5.3中,在安装grid软件前执行rootpre.sh会自动打开异步IO服务,在AIX6.1中默认异步IO服务是打开的。推荐的aio_maxreqs值为64k(65536),检查方法如下:AIX6.1#ioo-oaio_maxreqsaio_maxreqs=65536AIX5.3#lsattr-Elaio0-amaxreqsmaxreqs65536MaximumnumberofREQUESTSTrue查看当前启动了多少异步IO进程的方法:#ps-ek|grep-vgrep|grep–vposix_aioserver|grep-caioserver调整aio_maxservers和aio_minservers为合适的值原则:(1)、调整maxservers的值为10倍的磁盘数量,但是不要超过80(2)、在高io的时间周期监控AIO的性能情况,如果所有的AIO服务进程都已经启动那么增大maxservers的值。但是,过多的AIO进程也会增加系统的负载(3)、监控AIO服务进程的使用情况:#ps-ek|grep-vgrep|grep–vposix_aioserver|grep-caioserver(4)、调整参数ioo-poaio_maxservers=80/ioo-poaio_minservers=406、修改内存管理参数(修改后需重启系统才能生效):vmo-p-omaxperm%=90;vmo-p-ominperm%=3vmo-p-omaxclient%=90vmo-p-ostrict_maxperm=0vmo-p-ostrict_maxclient=1vmo-p-olru_file_repage=0vmo-r-opage_steal_method=17、调整maxuproc(系统最大进程数)和ncargs(系统块大小)参数chdev-lsys0-amaxuproc=16384也可以使用:smitchgsys修改“MaximumnumberofPROCESSESallowedperuser”chdev-lsys0-ancargs=256修改完成后检查lsattr-Elsys0-amaxuproclsattr-Elsys0-ancargs8、网络参数配置名称修改的值Ipqmaxlen512rfc13231sb_max2*655360tcp_recvspace65536tcp_sendspace65536udp_recvspace655360(等于tcp_sendspace的10倍,小于sb_max)udp_sendspace65536配置方法:检查当前值的是否满足要求:#/usr/sbin/no-a|more查看系统是否兼容模式#/usr/sbin/lsattr-E-lsys0-apre520tunepre520tuneenablePre-520tuningcompatibilitymodeTrue(显示为兼容模式)开始修改#/usr/sbin/no-oparameter_name=value--例子/usr/sbin/no-oipqmaxlen=512/usr/sbin/no-orfc1323=1/usr/sbin/no-osb_max=1310720/usr/sbin/no-otcp_recvspace=65536/usr/sbin/no-otcp_sendspace=65536/usr/sbin/no-oudp_recvspace=655360/usr/sbin/no-oudp_sendspace=65536重新启动计算机使参数生效非兼容模式下用以下方式修改/usr/sbin/no-r-oipqmaxlen=512/usr/sbin/no-r-orfc1323=1/usr/sbin/no-r-osb_max=1310720/usr/sbin/no-r-otcp_recvspace=65536/usr/sbin/no-r-otcp_sendspace=65536/usr/sbin/no-r-oudp_recvspace=1351680/usr/sbin/no-r-oudp_sendspace=65536重新启动计算机使参数生效取消主机中oracle、root和grid用户shell限制以下修改完成后必须要将主机重启才能生效vi/etc/security/limitsdefault:fsize=-1cpu=-1data=-1stack=-1core=2097151rss=-1nofiles=-1fsize_hard=-1cpu_hard=-1data_hard=-1stack_hard=-1rss_hard=-1nofiles_hard=-1/etc/hosts设置127.0.0.1localhost#loopback(lo0)name/address192.168.121.132kf1rac1192.168.121.133kf1rac2#VirtualIPaddress192.168.121.134kf1rac1-vip1192.168.121.135kf1rac2-vip1#PrivateIPaddress10.10.10.132kf1rac1-priv110.10.10.133kf1rac2-priv110.0.1.132kf1rac1-priv210.0.1.133kf1rac2-priv2#SCANIPaddress192.168.121.136kf1rac-scan用户组和用户创建mkgroup-'A'id='310'adms='root'dbamkgroup-'A'id='311'adms='root'oinstallmkuser-aid='1100'pgrp='oinstall'groups='dba,oinstall'home='/home/grid'fsize=-1data=-1core=-1fsize_hard=-1cpu_hard=-1data_hard=-1stack_hard=-1core_hard=-1gridmkuser-aid='1101'pgrp='oinstall'groups='dba,oinstall'home='/home/oracle'fsize=-1data=-1core=-1fsize_hard=-1cpu_hard=-1data_hard=-1stack_hard=-1core_hard=-1oracle为用户添加以下能力:/usr/bin/chusercapabilities=CAP_PROPAGATE,CAP_BYPASS_RAC_VMM,CAP_NUMA_ATTACHoracle/usr/bin/chusercapabilities=CAP_PROPAGATE,CAP_BYPASS_RAC_VMM,CAP_NUMA_ATTACHroot/usr/bin/chusercapabilities=CAP_PROPAGATE,CAP_BYPASS_RAC_VMM,CAP_NUMA_ATTACHgrid--查看用户拥有的能力lsuser-a