PostgreSQL跨库操作Oracle利器-Oracle_fdw

Oracle_fdw是PG的一个外部数据接口,可以使PostgreSQL轻松跨库操作Oracle。Oracle_fdw的作用有以下两点:

  • PG可以跨库增删改查Oracle中的表,可以查询Oracle的视图,可以使PG中的表和Oracle中表/视图作Join查询,类似dblink的功能。
  • 快速将Oralce表迁移进入PostgreSQL。
    本文简单介绍下Oracle_fdw的安装和使用。

一 Oracle_fdw安装

官方地址:http://pgxn.org/dist/oracle_fdw/ ,选择一个版本下载。

1.1 安装Oracle Instant Client

oralce官网下载 ‘Basic’ and ‘SDK’,假如下载后文件所在位置在/opt/oracle中。

cd /opt/oracle
unzip instantclient-basic-linux.x64-12.2.0.1.0.zip
unzip instantclient-sdk-linux.x64-12.2.0.1.0.zip
mv instantclient_12_2 instantclient
cd instantclient
#建立一下软连接
ln -s libclntsh.so.12.1 libclntsh.so
#设置环境变量
vi /etc/profile
#边界内容如下:
#oracle_home一定要写,否则编译会报错
export ORACLE_HOME=/opt/oracle/instantclient
export OCI_LIB_DIR=$ORACLE_HOME
export OCI_INC_DIR=$ORACLE_HOME/sdk/include
#保存退出
#重启用profile文件
source /etc/profile

1.2 编译oracle_fdw

启用postgres用户环境变量

[root@bogon opt]# source /home/postgres/.bashrc

解压oracle_fdw

[root@bogon opt]# unzip oracle_fdw-1.5.0.zip 

编译安装oracle_fdw

[root@bogon opt]# cd oracle_fdw-1.5.0
#编译
[root@bogon oracle_fdw-1.5.0]# make
#安装
[root@bogon oracle_fdw-1.5.0]# make install

没报错的话,代表安装成功了,有时候会报一找不到.h头文件的错误,比如:

fatal err:oci.h:No such file or directory
#或者
fatal err:stdio.h:No such file or directory

《PostgreSQL跨库操作Oracle利器-Oracle_fdw》 错误截图1.png

都证明ORACLE_HOME没指定或没有正确配置,需检查环境变量及其文件对应是否正确。

二 创建oracle_fdw扩展

postgres=# create extension oracle_fdw;
CREATE EXTENSION

代表创建成功,如果遇到下面这个问题:

postgres=# create extension oracle_fdw;
ERROR:  could not load library "/home/postgres/lib/oracle_fdw.so": libclntsh.so: cannot open shared object file: No such file or directory

是缺少so文件了,有时候编译成功了,还是会缺不少文件,用ldd查看下oracle_fdw.so的依赖:

[postgres@localhost lib]$ ldd oracle_fdw.so 
    linux-vdso.so.1 =>  (0x00007fff5973b000)
    libclntsh.so.12.1 => not found
    libc.so.6 => /lib64/libc.so.6 (0x00007fa9c8185000)
    libmql1.so => not found
    libipc1.so => not found
    libnnz12.so => not found
    libons.so => not found
    libdl.so.2 => /lib64/libdl.so.2 (0x00007fa9c7f6d000)
    libm.so.6 => /lib64/libm.so.6 (0x00007fa9c7c6b000)
    libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fa9c7a4f000)
    libnsl.so.1 => /lib64/libnsl.so.1 (0x00007fa9c7835000)
    librt.so.1 => /lib64/librt.so.1 (0x00007fa9c762d000)
    libaio.so.1 => /lib64/libaio.so.1 (0x00007fa9c742b000)
    libresolv.so.2 => /lib64/libresolv.so.2 (0x00007fa9c7210000)
    /lib64/ld-linux-x86-64.so.2 (0x00007fa9cc20e000)
    libclntshcore.so.12.1 => not found
    libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007fa9c6ffa000)

对于这些not found的so文件,我们在ORACLE_HOME目录中发现是存在的,如下图:

《PostgreSQL跨库操作Oracle利器-Oracle_fdw》 ORACLE_HOME.png

因此需要手动建立一下软连接:

ln -s /opt/oracle/instantclient/libclntsh.so.12.1  /home/postgres/lib/libclntsh.so.12.1
ln -s /opt/oracle/instantclient/libmql1.so  /home/postgres/lib/libmql1.so
ln -s /opt/oracle/instantclient/libipc1.so  /home/postgres/lib/libipc1.so
ln -s /opt/oracle/instantclient/libnnz12.so  /home/postgres/lib/libnnz12.so
ln -s /opt/oracle/instantclient/libons.so  /home/postgres/lib/libons.so
ln -s /opt/oracle/instantclient/libclntshcore.so.12.1  /home/postgres/lib/libclntshcore.so.12.1

再次创建oracle_fdw:

postgres=# create extension oracle_fdw;
CREATE EXTENSION

应该就能创建成功了。

三 使用oracle_fdw

3.1 配置foreign server

foreign server其实就是在pg中配置跨库操作的对端数据库连接参数,这里示例,配置一个远程oracle数据库连接参数。

postgres=# create server oradb_test foreign data wrapper oracle_fdw options(dbserver '192.168.0.215:1521/ora_db');
postgres=# grant usage on foreign server oradb_test to postgres;
postgres=# create user mapping for postgres server oradb_test  options(user 'MG_APP',password 'QWERasdf');

有时候,我们配置的oracle连接参数发生变化,需要修改连接参数。

3.1.1 ip,端口,实例变化

postgres=#  alter server oradb_test options(set dbserver '192.168.0.214:1521/ora_db');

3.1.2 user,password变化

postgres=# alter user mapping for postgres server oradb_test options (set user 'MG_APP1',set password 'QWERasdf');

3.2 配置foreign table

fdw对表和视图,只能手动单独配置,配置完数据库连接参数,再配置下要访问的oracle的表或视图的数据结构。注意,配置外表的schema与table 对于oralce,都是要求大写,小写不认识。

postgres=# create foreign table GTSJHD123
(
  OBJ_ID  VARCHAR(42) not null,
  XLMC    VARCHAR(50),
  DYDJ    VARCHAR(50),
  GTXH    VARCHAR(50),
  SJFBHD  VARCHAR(50),
  SSBQ    VARCHAR(50),
  BNHD    VARCHAR(50),
  SSWS    VARCHAR(50),
  PMSGTID VARCHAR(150),
  PMSGTBH VARCHAR(150),
  SFCL    VARCHAR(150)
) server oradb_test  options(schema 'MG_APP',table 'GTSJHD');
postgres=# select * from GTSJHD123 limit 10;

这样,将oracle中MG_APP.GTSJHD表“映射”到pg了,可以查询了。

3.3 跨库增删改

oracle_fdw不仅支持跨库查询,也支持跨库增删改。
首先在oracle创建一个测试表,并插入一个记录:

create table test1(
     id int,
      name char(10)
);
insert into test1(id,name) values (1,'aa');
--提交下事务更新

其次,在pg中创建外部表:

create foreign table test1_1(
  id int options(key 'true') not null,
  name text
) server oradb_test  options(schema 'MG_APP',table 'TEST1');

注意,update或delete一定要设置options(key ‘true’),就是设置外部表的主键,否则会报错。

no primary key column specified for foreign Oracle table

测试增删改

insert into test1_1 values (2,'BB');
update test1_1 set name='123' where id=2;
select * from test1_1;
delete from test1_1 where id=2;

四 可能遇到的错误

4.1 OCIEnvCreate错误

《PostgreSQL跨库操作Oracle利器-Oracle_fdw》 OCIEnvCreate错误.png

解决方法:

  • 1 检查 /etc/profile中ORACLE_HOME配置及其
    export LD_LIBRARY_PATH=$ORACLE_HOME:$LD_LIBRARY_PATH

  • 2 检查home/postgres/.bashrc也有:
    export LD_LIBRARY_PATH=$ORACLE_HOME:$LD_LIBRARY_PATH

    《PostgreSQL跨库操作Oracle利器-Oracle_fdw》 环境变量.png

  • 3 postgres用户下检查oracle_fdw.so的执行权限:

    《PostgreSQL跨库操作Oracle利器-Oracle_fdw》 image.png

    Xshell下是绿色的,要是灰色,就 chmod 777 $PGHOME/lib/oracle_fdw.so

  • 4 全部检查完毕后一定要重启pg服务。

4.2 client host name is not set

有时候报错:ORA-24454: client host name is not set,这属于非主流错误,原因是本机的hosts设置问题。
《PostgreSQL跨库操作Oracle利器-Oracle_fdw》 可能遇到的错误.png

编辑对应服务器的hosts文件:

《PostgreSQL跨库操作Oracle利器-Oracle_fdw》 image.png

Root@后面的是服务器的名称,所以如下配置:

《PostgreSQL跨库操作Oracle利器-Oracle_fdw》 image.png

保存退出即可解决问题。

4.3 no primary key column specified for foreign Oracle table

外部表创建时,一定要绑定主键,如:

create foreign table test1_1(
  id int options(key 'true') not null,
  name text
) server oradb_test  options(schema 'MG_APP',table 'TEST1');

技术上:oracle表主键建立与否无关,但是pg中的oracle foreign table一定要通过key参数,申明主键,否则update,delete会报错。
工程上:oralce表一定要建立主键,pg中oracle foreign table的key就绑定到这个主键字段上。这样会使数据更规范。

    原文作者:遥想公瑾当年
    原文地址: https://www.jianshu.com/p/e0d11f57ab75
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞