oracle copy 与postgresql copy

先介绍oracle copy,其实这个命令我到现在都没用过,也是做数据迁移的命令,注意这个命令是SQL*PLUS的命令,不是oracle的,通过这个命令可以在不同的表之间移动数据

1.基本语法:

COPY {FROM database | TO database | FROM database TO database} {APPEND|CREATE|INSERT|REPLACE} destination_table [(column, column, column, …)] USING query

a) database:username/password@dbname

from database|to database可以任选一,缺少的一方默认使用当前sqlplus登录的数据库代替。

b) query:普通的select语句,多行时行尾使用连字符 ’-‘ 换行标记

支持的数据类型:CHAR,DATE,LONG,NUMBER,VARCHAR2

copy data把sqlplus作为数据流的管道,不需要中间文件,数据库名使用tns中的配置。query子句在数据源库上执行,结果直接发到目标库。

2.四种模式:

c) append:目标表不存在时先建表再插入数据,若存在直接加载数据。

d) create:直接建表,若目标表存在,报错退出。

e) insert:直接插入数据,若目标表不存在,报错退出。

f) replace:目标表存在时会先删除表,再重建及加载数据,一般很少用这个模式

注意:create、replace 后面没有table关键字,insert后面没有into和values关键字

l 参数:使用sqlplus参数,跟数据库无关。这些参数可以在sqlplus里,show 参数名来查看具体值。

a) arraysize:一个批次传输的数据量,默认值是100,可以在sqlplus里,使用show arraysize查看。

b) copycommit:定义多少批次自动commit,copycommit*arraysize=一次commit的数据量,这个乘积对事务大小有影响。默认是0,就是所有数据加载完毕才做一次commit,建议使用非0数字。

c) long:可以传输long数据的长度,默认值是20000

destination_table [(column, column, column, …)] 目标表的列名,不指定的话,那么使用后面查询语句的列名

举例:

SQL> copy from sf/sf@skyread to sf/sf@skyread create tb1 using select * from am_role;

Array fetch/bind size is 15. (arraysize is 15)
Will commit when done. (copycommit is 0)
Maximum long size is 80. (long is 80)

CPY-0012: Datatype cannot be copied

SQL> desc am_role
Name                                      Null?    Type
—————————————– ——– —————————-
ROLEID                                    NOT NULL VARCHAR2(32 CHAR)
ROLENAME                                           VARCHAR2(255 CHAR)
TAG                                                VARCHAR2(255 CHAR)
MEMO                                               VARCHAR2(2000 CHAR)
UPDATEUSER                                         VARCHAR2(50 CHAR)
UPDATEDATE                                         TIMESTAMP(6)
FAST                                               VARCHAR2(1 CHAR)

看到数据类型不能匹配,这里有TIMESTAMP

SQL> select count(*) from A_USER_CONSUME;

COUNT(*)
———-
8632

SQL> desc A_USER_CONSUME
Name                                      Null?    Type
—————————————– ——– —————————-
IMSI                                      NOT NULL VARCHAR2(30)
DAYS                                               NUMBER(38)
DIRECT_CONSUME                                     NUMBER
MO_CONSUME                                         NUMBER

SQL> copy from sf/sf@skyread to sf/sf@skyread create tb1 using select * from A_USER_CONSUME;

Array fetch/bind size is 15. (arraysize is 15)
Will commit when done. (copycommit is 0)
Maximum long size is 80. (long is 80)
Table TB1 created.

8632 rows selected from sf@skyread.
8632 rows inserted into TB1.
8632 rows committed into TB1 at sf@skyread.

SQL> select count(*) from tb1;

COUNT(*)
———-
8632

注意这里from 和to 最少要指定一个,如果不写,那么默认在当前schema下,一定注意这里create后面没有table关键字,是直接跟表名的

oracle这里用copy的好处是比较灵活,当然这里和create table … as select …这种效果是一样的,但是如果是追加新的记录insert into … select …如果量很大的话,那么会产生大量的redo和undo,对IO有很大影响,这里copy是不生成undo信息,当然效果会好一些,实际情况用copy还是比较少的,这里只是了解一下oracle有这个功能

 

另外postgresql 也有copy这个命令,用起来也很灵活,是迁移数据的一个好工具

Syntax:
COPY table_name [ ( column [, …] ) ]
FROM { ‘filename’ | STDIN }
[ [ WITH ] ( option [, …] ) ]

COPY { table_name [ ( column [, …] ) ] | ( query ) }
TO { ‘filename’ | STDOUT }
[ [ WITH ] ( option [, …] ) ]

where option can be one of:

FORMAT format_name
OIDS [ boolean ]
DELIMITER ‘delimiter_character’
NULL ‘null_string’
HEADER [ boolean ]
QUOTE ‘quote_character’
ESCAPE ‘escape_character’
FORCE_QUOTE { ( column [, …] ) | * }
FORCE_NOT_NULL ( column [, …] ) |
ENCODING ‘encoding_name’

语法也是很简明的,介绍几个常用的选项

DELIMITER :指定分隔符

HEADER:声明文件包含一个头标识,包含字段名称

 

postgres=# copy  t1 to ‘/home/postgres/t1.sql’;
COPY 5

postgres=# copy t1 from ‘/home/postgres/t1.sql’;
COPY 5

postgres=# select count(*) from t1;
count
——-
10
(1 row)

可以看到这里多了5行

postgres=# copy shoelace_log to ‘/home/postgres/shoelace_log.sql’ DELIMITER ‘:’;

1:apple

导出为CVS格式:

postgres=#copy  t1 to ‘/home/postgres/t1.csv’  csv header;

这里with写可不写

 

指定需要导出的列:

postgres=#copy  t1(a,b)  to ‘/home/postgres/t1.csv’ with DELIMITER ‘:’ csv header;

标签