DataX OracleWriter

1 快速介绍

OracleWriter 插件实现了写入数据到 Oracle 主库的目的表的功能。在底层实现上， OracleWriter 通过 JDBC 连接远程 Oracle 数据库，并执行相应的 insert into ... sql 语句将数据写入 Oracle，内部会分批次提交入库。

OracleWriter 面向ETL开发工程师，他们使用 OracleWriter 从数仓导入数据到 Oracle。同时 OracleWriter 亦可以作为数据迁移工具为DBA等用户提供服务。

2 实现原理

OracleWriter 通过 DataX 框架获取 Reader 生成的协议数据，根据你配置生成相应的SQL语句

insert into...(当主键/唯一性索引冲突时会写不进去冲突的行)

注意：
1. 目的表所在数据库必须是主库才能写入数据；整个任务至少需具备 insert into...的权限，是否需要其他权限，取决于你任务配置中在 preSql 和 postSql 中指定的语句。
2.OracleWriter和MysqlWriter不同，不支持配置writeMode参数。

3 功能说明

3.1 配置样例

这里使用一份从内存产生到 Oracle 导入的数据。

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "streamreader",
                    "parameter": {
                        "column" : [
                            {
                                "value": "DataX",
                                "type": "string"
                            },
                            {
                                "value": 19880808,
                                "type": "long"
                            },
                            {
                                "value": "1988-08-08 08:08:08",
                                "type": "date"
                            },
                            {
                                "value": true,
                                "type": "bool"
                            },
                            {
                                "value": "test",
                                "type": "bytes"
                            }
                        ],
                        "sliceRecordCount": 1000
                    }
                },
                "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "root",
                        "password": "root",
                        "column": [
                            "id",
                            "name"
                        ],
                        "preSql": [
                            "delete from test"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:oracle:thin:@[HOST_NAME]:PORT:[DATABASE_NAME]",
                                "table": [
                                    "test"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

3.2 参数说明

jdbcUrl

描述：目的数据库的 JDBC 连接信息 ,jdbcUrl必须包含在connection配置单元中。

     注意：1、在一个数据库上只能配置一个值。这与 OracleReader 支持多个备库探测不同，因为此处不支持同一个数据库存在多个主库的情况(双主导入数据情况)
          2、jdbcUrl按照Oracle官方规范，并可以填写连接附加参数信息。具体请参看 Oracle官方文档或者咨询对应 DBA。

必选：是
默认值：无

username
- 描述：目的数据库的用户名
- 必选：是
- 默认值：无
password
- 描述：目的数据库的密码
- 必选：是
- 默认值：无
table
- 描述：目的表的表名称。支持写入一个或者多个表。当配置为多张表时，必须确保所有表结构保持一致。
```
       注意：table 和 jdbcUrl 必须包含在 connection 配置单元中
```
- 必选：是
- 默认值：无

column

描述：目的表需要写入数据的字段,字段之间用英文逗号分隔。例如: "column": ["id","name","age"]。如果要依次写入全部列，使用表示, 例如: "column": [""]

	**column配置项必须指定，不能留空！**


       注意：1、我们强烈不推荐你这样配置，因为当你目的表字段个数、类型等有改动时，你的任务可能运行不正确或者失败
            2、此处 column 不能配置任何常量值

必选：是
默认值：否

preSql
- 描述：写入数据到目的表前，会先执行这里的标准语句。如果 Sql 中有你需要操作到的表名称，请使用 @table 表示，这样在实际执行 Sql 语句时，会对变量按照实际表名称进行替换。比如你的任务是要写入到目的端的100个同构分表(表名称为:datax_00,datax01, ... datax_98,datax_99)，并且你希望导入数据前，先对表中数据进行删除操作，那么你可以这样配置："preSql":["delete from @table"]，效果是：在执行到每个表写入数据前，会先执行对应的 delete from 对应表名称
- 必选：否
- 默认值：无
postSql
- 描述：写入数据到目的表后，会执行这里的标准语句。（原理同 preSql ）
- 必选：否
- 默认值：无
batchSize
- 描述：一次性批量提交的记录数大小，该值可以极大减少DataX与Oracle的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成DataX运行进程OOM情况。
- 必选：否
- 默认值：1024

session

描述：设置oracle连接时的session信息，格式示例如下：

"session":[
            "alter session set nls_date_format = 'dd.mm.yyyy hh24:mi:ss';"
            "alter session set NLS_LANG = 'AMERICAN';"
]

必选：否
默认值：无

3.3 类型转换

类似 OracleReader ，目前 OracleWriter 支持大部分 Oracle 类型，但也存在部分个别类型没有支持的情况，请注意检查你的类型。

下面列出 OracleWriter 针对 Oracle 类型转换列表:

DataX 内部类型	Oracle 数据类型
Long	NUMBER,INTEGER,INT,SMALLINT
Double	NUMERIC,DECIMAL,FLOAT,DOUBLE PRECISION,REAL
String	LONG,CHAR,NCHAR,VARCHAR,VARCHAR2,NVARCHAR2,CLOB,NCLOB,CHARACTER,CHARACTER VARYING,CHAR VARYING,NATIONAL CHARACTER,NATIONAL CHAR,NATIONAL CHARACTER VARYING,NATIONAL CHAR VARYING,NCHAR VARYING
Date	TIMESTAMP,DATE
Boolean	bit, bool
Bytes	BLOB,BFILE,RAW,LONG RAW

4 性能报告

4.1 环境准备

4.1.1 数据特征

建表语句：

--DROP TABLE PERF_ORACLE_WRITER;
CREATE TABLE PERF_ORACLE_WRITER (
COL1 VARCHAR2(255 BYTE) NULL ,
COL2 NUMBER(32) NULL ,
COL3 NUMBER(32) NULL ,
COL4 DATE NULL ,
COL5 FLOAT NULL ,
COL6 VARCHAR2(255 BYTE) NULL ,
COL7 VARCHAR2(255 BYTE) NULL ,
COL8 VARCHAR2(255 BYTE) NULL ,
COL9 VARCHAR2(255 BYTE) NULL ,
COL10 VARCHAR2(255 BYTE) NULL
)
LOGGING
NOCOMPRESS
NOCACHE;

单行记录类似于：

col1:485924f6ab7f272af361cd3f7f2d23e0d764942351#$%^&fdafdasfdas%%^(*&^^&*
co12:1
co13:1696248667889
co14:2013-01-06 00:00:00
co15:3.141592653578
co16:100dafdsafdsahofjdpsawifdishaf;dsadsafdsahfdsajf;dsfdsa;fjdsal;11209
co17:100dafdsafdsahofjdpsawifdishaf;dsadsafdsahfdsajf;dsfdsa;fjdsal;11fdsafdsfdsa209
co18:100DAFDSAFDSAHOFJDPSAWIFDISHAF;dsadsafdsahfdsajf;dsfdsa;FJDSAL;11209
co19:100dafdsafdsahofjdpsawifdishaf;DSADSAFDSAHFDSAJF;dsfdsa;fjdsal;11209
co110:12~!2345100dafdsafdsahofjdpsawifdishaf;dsadsafdsahfdsajf;dsfdsa;fjdsal;11209

4.1.2 机器参数

执行 DataX 的机器参数为:
1. cpu: 24 Core Intel(R) Xeon(R) CPU E5-2430 0 @ 2.20GHz
2. mem: 94GB
3. net: 千兆双网卡
4. disc: DataX 数据不落磁盘，不统计此项
Oracle 数据库机器参数为:
1. cpu: 4 Core Intel(R) Xeon(R) CPU E5420 @ 2.50GHz
2. mem: 7GB

4.1.3 DataX jvm 参数

-Xms1024m -Xmx1024m -XX:+HeapDumpOnOutOfMemoryError

4.1.4 性能测试作业配置

{
    "job": {
        "setting": {
            "speed": {
                "channel": 4
            }
        },
        "content": [
            {
                "reader": {
                    "name": "streamreader",
                    "parameter": {
                        "sliceRecordCount": 1000000000,
                        "column": [
                            {
                                "value": "485924f6ab7f272af361cd3f7f2d23e0d764942351#$%^&fdafdasfdas%%^(*&^^&*"
                            },
                            {
                                "value": 1,
                                "type": "long"
                            },
                            {
                                "value": "1696248667889",
                                "type": "long"
                            },
                            {
                                "type": "date",
                                "value": "2013-07-06 00:00:00",
                                "dateFormat": "yyyy-mm-dd hh:mm:ss"
                            },
                            {
                                "value": "3.141592653578",
                                "type": "double"
                            },
                            {
                                "value": "100dafdsafdsahofjdpsawifdishaf;dsadsafdsahfdsajf;dsfdsa;fjdsal;11209"
                            },
                            {
                                "value": "100dafdsafdsahofjdpsawifdishaf;dsadsafdsahfdsajf;dsfdsa;fjdsal;11fdsafdsfdsa209"
                            },
                            {
                                "value": "100DAFDSAFDSAHOFJDPSAWIFDISHAF;dsadsafdsahfdsajf;dsfdsa;FJDSAL;11209"
                            },
                            {
                                "value": "100dafdsafdsahofjdpsawifdishaf;DSADSAFDSAHFDSAJF;dsfdsa;fjdsal;11209"
                            },
                            {
                                "value": "12~!2345100dafdsafdsahofjdpsawifdishaf;dsadsafdsahfdsajf;dsfdsa;fjdsal;11209"
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "username",
                        "password": "password",
                        "truncate": "true",
                        "batchSize": "512",
                        "column": [
                            "col1",
                            "col2",
                            "col3",
                            "col4",
                            "col5",
                            "col6",
                            "col7",
                            "col8",
                            "col9",
                            "col10"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "PERF_ORACLE_WRITER"
                                ],
                                "jdbcUrl": "jdbc:oracle:thin:@ip:port:dataplat"
                            }
                        ]
                    }
                }
            }
        ]
    }
}

4.2 测试报告

4.2.1 测试报告

通道数	批量提交行数	DataX速度(Rec/s)	DataX流量(MB/s)	DataX机器网卡流出流量(MB/s)	DataX机器运行负载	DB网卡进入流量(MB/s)	DB运行负载
1	128	15564	6.51	7.5	0.02	7.4	1.08
1	512	29491	10.90	12.6	0.05	12.4	1.55
1	1024	31529	11.87	13.5	0.22	13.3	1.58
1	2048	33469	12.57	14.3	0.17	14.3	1.53
1	4096	31363	12.48	13.4	0.10	10.0	1.72
4	10	9440	4.05	5.6	0.01	5.0	3.75
4	128	42832	16.48	18.3	0.07	18.5	2.89
4	512	46643	20.02	22.7	0.35	21.1	3.31
4	1024	39116	16.79	18.7	0.10	18.1	3.05
4	2048	39526	16.96	18.5	0.32	17.1	2.86
4	4096	37683	16.17	17.2	0.23	15.5	2.26
8	128	38336	16.45	17.5	0.13	16.2	3.87
8	512	31078	13.34	14.9	0.11	13.4	2.09
8	1024	37888	16.26	18.5	0.20	18.5	3.14
8	2048	38502	16.52	18.5	0.18	18.5	2.96
8	4096	38092	16.35	18.3	0.10	17.8	3.19
16	128	35366	15.18	16.9	0.13	15.6	3.49
16	512	35584	15.27	16.8	0.23	17.4	3.05
16	1024	38297	16.44	17.5	0.20	17.0	3.42
16	2048	28467	12.22	13.8	0.10	12.4	3.38
16	4096	27852	11.95	12.3	0.11	12.3	3.86
32	1024	34406	14.77	15.4	0.09	15.4	3.55

batchSize 和通道个数，对性能影响较大
通常不建议写入数据库时，通道个数 >32

5 约束限制

FAQ

Q: OracleWriter 执行 postSql 语句报错，那么数据导入到目标数据库了吗?

A: DataX 导入过程存在三块逻辑，pre 操作、导入操作、post 操作，其中任意一环报错，DataX 作业报错。由于 DataX 不能保证在同一个事务完成上述几个操作，因此有可能数据已经落入到目标端。

Q: 按照上述说法，那么有部分脏数据导入数据库，如果影响到线上数据库怎么办?

A: 目前有两种解法，第一种配置 pre 语句，该 sql 可以清理当天导入数据， DataX 每次导入时候可以把上次清理干净并导入完整数据。第二种，向临时表导入数据，完成后再 rename 到线上表。

Q: 上面第二种方法可以避免对线上数据造成影响，那我具体怎样操作?

A: 可以配置临时表导入

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

oraclewriter.md

oraclewriter.md

DataX OracleWriter

1 快速介绍

2 实现原理

3 功能说明

3.1 配置样例

3.2 参数说明

3.3 类型转换

4 性能报告

4.1 环境准备

4.1.1 数据特征

4.1.2 机器参数

4.1.3 DataX jvm 参数

4.1.4 性能测试作业配置

4.2 测试报告

4.2.1 测试报告

5 约束限制

FAQ

Files

oraclewriter.md

Latest commit

History

oraclewriter.md

File metadata and controls

DataX OracleWriter

1 快速介绍

2 实现原理

3 功能说明

3.1 配置样例

3.2 参数说明

3.3 类型转换

4 性能报告

4.1 环境准备

4.1.1 数据特征

4.1.2 机器参数

4.1.3 DataX jvm 参数

4.1.4 性能测试作业配置

4.2 测试报告

4.2.1 测试报告

5 约束限制

FAQ