pgloader 学习（三）快速使用

时间 2019-12-05

标签 pgloader 学习快速使用繁體版

原文原文链接

pgloader 支持多种数据源数据的加载，如下列出简单的操做命令，后边会有详细的使用说明html

csv 格式内容加载

预备说明

须要先在pg 数据库建立表mysql

 
       create table districts_longlat 
      
       ( 
      
                usps text, 
      
                geoid text, 
      
                aland bigint, 
      
                awater bigint, 
      
                aland_sqmi double precision, 
      
                awater_sqmi double precision, 
      
                intptlat double precision, 
      
                intptlong double precision 
      
       );

csv文件加载格式

请求格式sql

 
         pgloader --type csv \ 
        
                  --field id --field field \ 
        
                  --with truncate \ 
        
                  --with "fields terminated by ','" \ 
        
                  ./test/data/matching-1.csv \ 
        
                  postgres:///pgloader?tablename=matching

标准输入加载数据

 
         pgloader --type csv \ 
        
                  --field "usps,geoid,aland,awater,aland_sqmi,awater_sqmi,intptlat,intptlong" \ 
        
                  --with "skip header = 1" \ 
        
                  --with "fields terminated by '\t'" \ 
        
                  - \ 
        
                  postgresql:///pgloader?districts_longlat \ 
        
                  < test/data/2013_Gaz_113CDs_national.txt

http 加载数据

 
         pgloader --type csv \ 
        
                  --field "usps,geoid,aland,awater,aland_sqmi,awater_sqmi,intptlat,intptlong" \ 
        
                  --with "skip header = 1" \ 
        
                  --with "fields terminated by '\t'" \ 
        
                  http://pgsql.tapoueh.org/temp/2013_Gaz_113CDs_national.txt \ 
        
                  postgresql:///pgloader?districts_longlat

http 压缩文件加载文件

 
         curl http://pgsql.tapoueh.org/temp/2013_Gaz_113CDs_national.txt.gz \ 
        
         | gunzip -c \ 
        
         | pgloader --type csv \ 
        
                    --field "usps,geoid,aland,awater,aland_sqmi,awater_sqmi,intptlat,intptlong" 
        
                    --with "skip header = 1" \ 
        
                    --with "fields terminated by '\t'" \ 
        
                    - \ 
        
                    postgresql:///pgloader?districts_longlat

从sqlite 迁移数据

请求格式

 
         createdb newdb 
        
         pgloader ./test/sqlite/sqlite.db postgresql:///newdb

从mysql 迁移数据

请求格式

 
         createdb pagila 
        
         pgloader mysql://user@localhost/sakila postgresql:///pagila

从远程http加载压缩dbf 文件

请求格式

 
         createdb foo 
        
         pgloader --type dbf http://www.insee.fr/fr/methodes/nomenclatures/cog/telechargement/2013/dbf/historiq2013.zip postgresql:///foo

说明

实际上官方代码仓库包含了一个test 的目录，里边包含了测试脚本以及数据数据库

参考资料

https://pgloader.readthedocs.io/en/latest/quickstart.htmlcurl