oracle 11g golden gate(ogg)配置

环境介绍

项目	源环境	目标环境
操作系统	OEL6.3 X86_64	OEL 6.3 X86_64
主机名	qht115	qht131
IP地址	172.17.61.115	172.17.61.131
数据库及版本	ORACLE 11.2.0.3.0	ORACLE 11.2.0.3.0
数据库字符集	WE8MSWIN1252	WE8MSWIN1252
ORACLE SID	orcl	orcl
Goldengate用户	ogg	ogg
Goldengate 版本	112101	112101

1.创建ogg用户（此步骤非必须，也可以使用ORACLE用户安装)，源和目标库都需要

  
  
useradd -g oinstall - G dba ogg
passwd ogg
  
  

2.修改oog用户的环境变量，将oracle用户的.bash_profile复制过去就可以了，源和目标库都需要

  
  
cat .bash_profile

PATH= $PATH: $HOME/bin
export PATH
ORACLE_BASE=/u01/app/oracle
ORACLE_HOME= $ORACLE_BASE/product/11203
ORACLE_SID=orcl
LD_LIBRARY_PATH= $ORACLE_HOME/lib
PATH= $PATH: $ORACLE_HOME/bin: $HOME/bin
export ORACLE_BASE ORACLE_HOME ORACLE_SID LD_LIBRARY_PATH PATH
  
  

3.建立ogg所在的目录 ，源和目标库都需要

  
  
mkdir /u01/ogg
chown -R ogg:oinstall /u01/ogg
  
  

4.上传ogg安装文件到两台机器，源和目标库都需要

  
  
[ogg@qht131 ~]$ unzip ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip
[ogg@qht131 ~]$ tar -xvf fbo_ggs_Linux_x64_ora11g_64bit.tar -C /u01/ogg
  
  

5.测试ogg登入，源和目标库都需要

  
  
[ogg@qht115 ~]$ cd /u01/ogg
[ogg@qht115 ogg]$ ./ggsci

Oracle GoldenGate Command Interpreter for Oracle
Version 11.2. 1.0. 1 OGGCORE_11. 2.1. 0. 1_PLATFORMS_120423. 0230_FBO
Linux, x64, 64bit (optimized), Oracle 11g on Apr 23 2012 08 : 32 : 14

Copyright (C) 1995, 2012, Oracle and/ or its affiliates. All rights reserved.



GGSCI (qht115) 1>
  
  

6.建立ogg的单独表空间，这样便于以后管理，源和目标库都需要

  
  
SQL> create tablespace ogg datafile '/u01/oradata/orcl/ogg01.dbf' size 50M autoextend on;

Tablespace created.
  
  

7.建立oracle的ogg用户，并赋予所需要的权限，源和目标库都需要

  
  
SQL> create user ogg identified by ogg default tablespace ogg;

User created.

SQL> grant CONNECT, RESOURCE to ogg;

Grant succeeded.

SQL> grant SELECT ANY DICTIONARY, SELECT ANY TABLE to ogg;

Grant succeeded.

SQL> grant ALTER ANY TABLE to ogg;

Grant succeeded.

SQL> grant FLASHBACK ANY TABLE to ogg;

Grant succeeded.

SQL> grant EXECUTE on DBMS_FLASHBACK to ogg;

Grant succeeded.

SQL> grant insert any table to ogg;

Grant succeeded.

SQL> grant update any table to ogg;

Grant succeeded.

SQL> grant delete any table to ogg;

Grant succeeded.

SQL>
  
  

不同的需求，OGG用户需要的权限也不一样，上面的权限基本可以支持大多数情况的数据复制，如上面的权限不足，需根据实际需求授权。

8.打开数据库的force log以及附加日志，源和目标库都需要

  
  
SQL> select NAME,OPEN_MODE,FORCE_LOGGING,SUPPLEMENTAL_LOG_DATA_MIN from v$database;

NAME OPEN_MODE FOR SUPPLEME
--------- -------------------- --- --------
ORCL READ WRITE NO NO

SQL> alter database force logging;

Database altered.

SQL> alter database add SUPPLEMENTAL log data;

Database altered.

SQL> select NAME,OPEN_MODE,FORCE_LOGGING,SUPPLEMENTAL_LOG_DATA_MIN from v$database;

NAME OPEN_MODE FOR SUPPLEME
--------- -------------------- --- --------
ORCL READ WRITE YES YES
  
  

9.运行ogg所需要的脚本,源和目标库都需要

扫描二维码关注公众号，回复： 6223415 查看本文章

  
  
cd /u01/ogg

sqlplus / as sysdba

@marker_setup.sql

@ddl_setup.sql

@role_setup.sql

@ddl_enable.sql

SQL> grant ggs_ggsuser_role to ogg;
  
  

10.创立ogg的管理目录 ，源和目标库都需要

在正式配置OGG之前，首先需要创建OGG的管理目录，源端和目标端都需要创建，登录OGG，只需要执行create subdirs命令就可以了。

  
  
[ogg@qht115 ogg]$ ./ggsci

Oracle GoldenGate Command Interpreter for Oracle
Version 11.2. 1.0. 1 OGGCORE_11. 2.1. 0. 1_PLATFORMS_120423. 0230_FBO
Linux, x64, 64bit (optimized), Oracle 11g on Apr 23 2012 08: 32: 14

Copyright (C) 1995, 2012, Oracle and/ or its affiliates. All rights reserved.



GGSCI (qht115) 1> create subdirs

Creating subdirectories under current directory /u01/ogg

Parameter files /u01/ogg/dirprm: already exists
Report files /u01/ogg/dirrpt: created
Checkpoint files /u01/ogg/dirchk: created
Process status files /u01/ogg/dirpcs: created
SQL script files /u01/ogg/dirsql: created
Database definitions files /u01/ogg/dirdef: created
Extract data files /u01/ogg/dirdat: created
Temporary files /u01/ogg/dirtmp: created
Stdout files /u01/ogg/dirout: created
  
  

各目录用途如下表：

名字	用途
dirprm	存放OGG参数各的配置信息
dirrpt	存放进程报告文件
dirchk	存放检查点文件
dirpcs	存放进程状态文件
dirsql	存放SQL脚本文件
dirdef	存放DEFGEN工具生成的数据定义文件
dirdat	存放Trail文件，也就是Capture进程捕获的日志文件
dirtmp	当事物需要的内存超过已分配内存时，默认存储在这个目录

11.建立测试表,源和目标库都需要

源表基于all_tables建立表，建立owner+table_name的主键

  
  
SQL> create table l5m.ogg_test as select * from all_tables;

Table created.

SQL> alter table l5m.ogg_test add constraint pk_ogg_test primary key(owner,table_name);

Table altered.

SQL> select count (*) from l5m.ogg_test;

COUNT(*)
----------
4267
  
  

目标端同样也建立表，不过不需要数据

  
  
SQL> create table l5m.ogg_test as select * from all_tables where 1<> 2;

Table created.

SQL> alter table l5m. ogg_test add constraint pk_ogg_test primary key(owner,table_name);

Table altered.
  
  

12.源端添加表级TRANDATA

  
  
GGSCI (qht115) 2> DBLOGIN USERID ogg, PASSWORD ogg --登入

Successfully logged into database.

GGSCI (qht115) 3> add trandata l5m.ogg_test --添加

Logging of supplemental redo data enabled for table L5M.OGG_TEST.

GGSCI (qht115) 4> info trandata l5m.ogg_test --查看

Logging of supplemental redo log data is enabled for table L5M.OGG_TEST.

Columns supplementally logged for table L5M.OGG_TEST: OWNER, TABLE_NAME.
  
  

13.配置mgr管理进程,源和目标库都需要

  
  
GGSCI (qht115) 1> edit params mgr
-- 添加以下内容
PORT 7809
PURGEOLDEXTRACTS /u01/ogg/dirdat, USECHECKPOINTS
  
  

参数说明：

PORT 7809：OGG管理进程监控端口。

PURGEOLDEXTRACTS：清除不需要的trail文件。

/ogg/dirdat：trail文件存放位置。

USECHECKPOINTS：使用检查点队列。

配置完MGR管理进程后，就可以启动MGR管理进程(源端和目标端都需要启动)。

  
  
GGSCI (qht115) 2> start mgr

Manager started.
  
  

可以通过INFO命令查看进程的状态（最好每次启动时在两端都查看下）。

  
  
GGSCI (qht115) 3> info mgr

Manager is running (IP port qht115 .7809).
  
  

14.初始化两端的数据，让目标端的数据和源端的数据一致

由于在创建测试表的时候，源端的测试表有数据，而目标端的测试表只有结构，没有数据，所以需要初始化目标端的数据，所谓初始化，就是让目标端的数据和源端的数据在这个时间点是一模一样的，所以初始化工作并不需要一定使用OGG，也可以使用EXP、EXPDP、SQLLOAD等其他工具，本文主要介绍如何使用OGG进行数据初始化，下面在源端配置捕获进程EINI_1。

• 14.1源配置捕获extract进程EINI_1

  
  
GGSCI (qht115) 4> add extract eini_1,sourceistable
EXTRACT added.


GGSCI (qht115) 5> info extract *, tasks

EXTRACT EINI_1 Initialized 2018- 09- 17 11: 30 Status STOPPED
Checkpoint Lag Not Available
Log Read Checkpoint Not Available
First Record Record 0
Task SOURCEISTABLE

  
  

由于只是添加了捕获进程EINI_1，还没有进行配置和启动这个进程，所以现在的状态是STOPPED状态。

源端编辑捕获进程EINI_1 

  
  
GGSCI (qht115) 6> edit params eini_1

--加入以后内容

EXTRACT EINI_1

SETENV (NLS_LANG=AMERICAN_AMERICA.WE8MSWIN1252)

USERID ogg, PASSWORD ogg

RMTHOST 172.17.61.131, MGRPORT 7809

RMTTASK REPLICAT, GROUP RINI_1

TABLE l5m.ogg_test;
  
  

参数介绍：

EXTRACT EINI_1：说明这是EXTRACT进程，名字是EINI_1

SETENV：环境变量，一定要设置和数据库字符集一样，否则可能会乱码

USERID：数据库OGG用户

PASSWORD：数据库用户OGG的密码

RMTHOST：目标端地址，如果在/etc/hosts文件里已经设置解析，可以写主机名

MGRPORT：目标端MGR管理进程监听的端口

RMTTASK REPLICAT：目标端REPLICAT应用进程的组和名字

TABLE：源端要初始化数据的表的名字

编辑好捕获进程EINI_1后，还需要在目标端配置REPLICAT应用进程，名字要和源端的捕获进程EINI_1里面RMTTASK REPLICAT参数配置的一样，也就是还需要在目标端配置RMTTASK REPLICAT RINI_1。14.2目标端配置复制replicate进程

  
  
GGSCI (qht131) 4> EDIT PARAMS RINI_1

--加入以内内容

REPLICAT RINI_1

SETENV (NLS_LANG=AMERICAN_AMERICA.WE8MSWIN1252)

ASSUMETARGETDEFS

USERID ogg, PASSWORD ogg

DISCARDFILE /u01/ogg/dirrpt/RINIaa.dsc, PURGE

MAP l5m.*, TARGET l5m.*;
  
  

参数介绍：

REPLICAT RINI_1：说明这是REPLICAT应用进程，名字叫RINI_1

SETENV：语言变量，同捕获进程EINI_1

ASSUMETARGETDEFS：告诉OGG目标端和源端需要同步的表的结构完全一致，不需要OGG去检查表的结构，包括表名、字段名、字段类型、字段长度等，如果目标端和源端同步的表的结构不一样，需要使用SOURCEDEFS参数，详见OGG官方文档。

USERID、PASSWORD：同捕获进程EINI_1参数介绍

DISCARDFILE：错误信息存放位置及命名规则

MAP：源端捕获的表的名字

TARGET：目标端同步的表的名字，可以不在同一SCHEMA。

目标端执行一下add replicate

  
  
GGSCI (qht131) 7> add replicat RINI_1,specialrun
REPLICAT added.


GGSCI (qht131) 8> info rini_1 detail

REPLICAT RINI_1 Initialized 2018- 09- 17 11: 02 Status STOPPED
Checkpoint Lag 00: 00: 00 (updated 00: 00: 06 ago)
Log Read Checkpoint Not Available
Task SPECIALRUN

Extract Source Begin End

Not Available * Initialized * First Record


Current directory /u01/ogg

Report file /u01/ogg/dirrpt/RINI_1.rpt
Parameter file /u01/ogg/dirprm/rini_1.prm
Checkpoint file /u01/ogg/dirchk/RINI_1.cpr
Process file /u01/ogg/dirpcs/RINI_1.pcr
Stdout file /u01/ogg/dirout/RINI_1. out
Error log /u01/ogg/ggserr.log

  
  

• 14.3开始初始化数据，源端执行

  
  
GGSCI (qht115) 15> START EXTRACT EINI_1

Sending START request to MANAGER ...
EXTRACT EINI_1 starting
  
  

启动源端的捕获进程EINI_1后，正常情况下(如果配置没问题)，源端的数据已经传送到目标端了，可以通过VIEW命令查看源端捕获进程EINI_1的工作状态。如果有问题可以查看ggserr.log寻找原因。

–在最后部分会看到

  
  
GGSCI ( qht115) 16> view report eini_1

。。。

Processing table L5M .OGG_TEST

***********************************************************************
* ** Run Time Statistics ** *
***********************************************************************


Report at 2018 -09-17 12 :03 :00 ( activity since 2018 -09-17 12 :02 :53)

Output to RINI_1:

From Table L5M .OGG_TEST:
# inserts: 4267
# updates: 0
# deletes: 0
# discards: 0


REDO Log Statistics
Bytes parsed 0
Bytes output 3031082

  
  

成功插入了4267条数据，这时目标端和源端已同步了。

目标端进行验证：

  
  
SQL> select count (*) from l5m.ogg_test;

COUNT(*)
----------
4267
  
  

15.配置ogg检查点，源和目标库都需要

此步骤不是必须的，但是为了让OGG网络中断、服务器宕机、掉电等在突发情况也能正确断点续传，ORACLE建议配置OGG的检查点队列。

注意：GLOBALS不是放在/u01/ogg/dirprm中的，所以必须是edit params ./GLOBALS，而不是edit params GLOBALS。

  
  
GGSCI (qht115) 1> EDIT PARAMS ./GLOBALS
--加入以下信息
CHECKPOINTTABLE ogg.ggschkpt
  
  

这就告诉OGG检查点存放到OGG用户下的GGSCHKPT表中，但是还需要使用OGG用户登录数据库，创建检查点表，此时需要退出OGG，重新登录，否则可能会遇到下面的错误。

  
  
GGSCI (stream) 4> ADD CHECKPOINTTABLE

ERROR: Missing checkpoint table specification.
  
  

退出OGG，重新登录，并使用OGG用户登录数据库，源端和目标端都需要执行。

  
  
GGSCI (qht115) 2> exit
[ogg@qht115 ogg]$ ggsci

Oracle GoldenGate Command Interpreter for Oracle
Version 11.2 .1 .0 .1 OGGCORE_11 .2 .1 .0 .1_PLATFORMS_120423 .0230_FBO
Linux, x64, 64bit (optimized), Oracle 11g on Apr 23 2012 08: 32: 14

Copyright (C) 1995, 2012, Oracle and/ or its affiliates. All rights reserved.



GGSCI (qht115) 1> dblogin userid ogg,password ogg
Successfully logged into database.
  
  

只需要执行ADD CHECKPOINTTABLE命令，OGG会自动在ORACLE的OGG用户下创建检查点，源端和目标端都需要执行。

  
  
GGSCI ( qht115) 2> ADD CHECKPOINTTABLE

No checkpoint table specified, using GLOBALS specification ( ogg .ggschkpt)...

Successfully created checkpoint table ogg .ggschkpt.
  
  

此时用OGG登录数据库，就可以看到OGG创建的检查点表。

  
  
SQL> select * from tab where tname like 'GGSCHKPT%';

TNAME TABTYPE CLUSTERID
------------------------------ ------- ----------
GGSCHKPT TABLE
GGSCHKPT_LOX TABLE
  
  

16.准备了这么多步骤，最后终于要进行目标端 和源端的同步了

• 16.1 源端配置捕获进程

  
  
GGSCI (qht115) 1> edit params eora_1

--加入以下内容
EXTRACT EORA_1

SETENV (NLS_LANG=AMERICAN_AMERICA.WE8MSWIN1252)

USERID ogg, PASSWORD ogg

EXTTRAIL /u01/ogg/dirdat/aa

TABLE l5m.ogg_test;
  
  

EXTTRAIL参数是TRAIL队列文件存放的路径和命名格式，TRAIL文件可以理解为存放捕获进程捕获的日志文件。此时还需要将捕获进程EORA_1添加到OGG。

  
  
GGSCI (qht115) 2> ADD EXTRACT EORA_1, TRANLOG, BEGIN NOW
EXTRACT added.


GGSCI (qht115) 3> ADD EXTTRAIL /u01/ogg/dirdat/aa, EXTRACT EORA_1, MEGABYTES 5
EXTTRAIL added.

  
  

上面的两个命名告诉OGG，捕获进程从启动起开始捕获，捕获数据保存到TRAIL文件，及TRAIL文件的路径、命名格式，单个TRAIL文件最大大小。

现在就可以启动源端捕获进程EORA_1了。

  
  
GGSCI (qht115) 8> START EXTRACT EORA_1

Sending START request to MANAGER ...
EXTRACT EORA_1 starting
  
  

使用INFO命令查看EORA_1进程是否是RUNNING状态。

  
  
GGSCI ( qht115) 9> INFO EXTRACT EORA_1

EXTRACT EORA_1 Last Started 2018 -09-17 15 :16 Status RUNNING
Checkpoint Lag 00 :00 :00 ( updated 00 :00 :02 ago)
Log Read Checkpoint Oracle Redo Logs
2018 -09-17 15 :16 :44 Seqno 27, RBA 147215360
SCN 3 .1882136165 (14767038053)
  
  

• 16.2源端配置pump传输进程 

  
  
GGSCI (qht115) 10> EDIT PARAMS PORA_1

--添加以下内容
EXTRACT PORA_1

SETENV (NLS_LANG=AMERICAN_AMERICA.WE8MSWIN1252)

PASSTHRU

RMTHOST 172.17.61.131, MGRPORT 7809

RMTTRAIL /u01/ogg/dirdat/pa

TABLE l5m.ogg_test;
  
  

 添加PUMP进程PORA_1到OGG，并指定本地的TRAIL文件。

  
  
GGSCI (qht115) 11> ADD EXTRACT PORA_1, EXTTRAILSOURCE /u01/ogg/dirdat/aa
EXTRACT added.
  
  

为PUMP进程PORA_1指定将本地TRAIL文件传输到目标端后保存成目标端TRAIL文件的名字。

  
  
GGSCI (qht115) 12> ADD RMTTRAIL /u01/ogg/dirdat/pa,EXTRACT PORA_1, MEGABYTES 5
RMTTRAIL added.


GGSCI (qht115) 13> INFO EXTRACT PORA_1

EXTRACT PORA_1 Initialized 2018- 09- 17 15: 29 Status STOPPED
Checkpoint Lag 00: 00: 00 (updated 00: 01: 14 ago)
Log Read Checkpoint File /u01/ogg/dirdat/aa000000
First Record RBA 0
  
  

下面就可以启动PUMP进程PORA_1了，启动后看下PORA_1的状态。

  
  
GGSCI (qht115) 14> START EXTRACT PORA_1

Sending START request to MANAGER ...
EXTRACT PORA_1 starting


GGSCI (qht115) 15> INFO EXTRACT PORA_1

EXTRACT PORA_1 Last Started 2018- 09- 17 15: 30 Status RUNNING
Checkpoint Lag 00: 00: 00 (updated 00: 01: 34 ago)
Log Read Checkpoint File /u01/ogg/dirdat/aa000000
First Record RBA 0
  
  

此时就可以在源端和目标端看到各自的trail文件

源端：

  
  
[ogg@qht115 ogg]$ cd dirdat/
[ogg@qht115 dirdat]$ ls
aa00000 0
  
  

目标端：

  
  
[ogg@qht131 ogg]$ cd dirdat/
[ogg@qht131 dirdat]$ ls
pa00000 0
  
  

• 16.3目标端配置同步进程RORA_1

此步骤告诉复制进程目标文件以及checkpoint所指定的文件，此步骤不可缺少

  
  
GGSCI (qht131) 1> ADD REPLICAT RORA_1 exttrail /u01/ogg/dirdat/pa checkpointtable ogg.GGSCHKPT
REPLICAT added.
  
  

 接着编辑目标端的同步参数文件

  
  
GGSCI (qht131) 1> EDIT PARAMS RORA_1

--添加以下内容：
REPLICAT RORA_1

SETENV (NLS_LANG=AMERICAN_AMERICA.WE8MSWIN1252)

USERID ogg, PASSWORD ogg

HANDLECOLLISIONS

ASSUMETARGETDEFS

DISCARDFILE /u01/ogg/dirrpt/RORA_aa.DSC, PURGE

MAP l5m.ogg_test, TARGET l5m.ogg_test;
  
  

 目标端编辑同步进程RORA_1后，就可以启动RORA_1进程。

  
  
GGSCI (qht131) 3> START REPLICAT RORA_1

Sending START request to MANAGER ...
REPLICAT RORA_1 starting


--查看进程状态：

GGSCI (qht131) 4> INFO REPLICAT RORA_1

REPLICAT RORA_1 Last Started 2018- 09- 17 16: 05 Status RUNNING
Checkpoint Lag 00: 00: 00 (updated 00: 00: 07 ago)
Log Read Checkpoint File /u01/ogg/dirdat/pa000000
First Record RBA 0
  
  

17.验证同步复制

配置完后的源端和目标端的各进程如下：

  
  
--源端
GGSCI ( qht115) 18> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING
EXTRACT RUNNING EORA_1 00 :00 :00 00 :00 :01
EXTRACT RUNNING PORA_1 00 :00 :00 00 :00 :02


--目标端
GGSCI ( qht131) 5> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING
REPLICAT RUNNING RORA_1 00 :00 :00 00 :00 :10
  
  

源库做些操作：

  
  
SQL> select count (*) from ogg_test;

COUNT(*)
----------
4267

SQL> delete from l5m.ogg_test where owner= 'MAG';

25 rows deleted.

SQL> commit;

Commit complete.

SQL> select count (*) from ogg_test;

COUNT(*)
----------
4242

  
  

检验目标库是否同步：

  
  
GGSCI (qht131) 6> exit
[ogg@qht131 ogg]$ sqlplus l5m/l5m

SQL*Plus: Release 11.2. 0.3. 0 Production on Mon Sep 17 16: 11: 33 2018

Copyright (c) 1982, 2011, Oracle. All rights reserved.


Connected to:
Oracle Database 11g Enterprise Edition Release 11.2. 0.3. 0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL> select count (*) from ogg_test;

COUNT(*)
----------
4242
  
  

没有问题，目标库也做了相应的删除操作，至此配置完成！

环境介绍