Forums PostgreSQL.fr

mortimer.pw

Membre

Export/Import selectif avec transformation

Bonjour,

Je travaille sous CenOS 5.9 avec un moteur PostgreSQL 9.2.4.

Je cherche un moyen pour transférer RAPIDEMENT (je ne peux bloquer plus d'un quart d'heure les 2 serveurs en production) une partie des données d'une table d'une base de données sur un serveur (4 millions de lignes), vers une autre table d'une autre base de données d'un autre serveur (avec quelques modifications de champ à la volée).

Quelle solution préconisez-vous ?

D'avance merci.

ruizsebastien

Membre

Re : Export/Import selectif avec transformation

Bonjour,

1 solution possible :
"COPY to" vers un fichier csv
modification du fichier avec un script shell
"COPY from" depuis le fichier modifié vers votre base cible.
Tout ça scripté, pour 4 millions de lignes, ça devrait être très rapide.

Autre solution : utiliser un ETL (certains sont open source).

Cordialement,

Dernière modification par ruizsebastien (18/02/2015 09:58:09)

---

Cordialement,

Sébastien.

gleu

Administrateur

Re : Export/Import selectif avec transformation

Tout dépend des modifications mais a priori, ça interdit pg_dump.

Le mieux est certainement un ETL style Kettle. Mais c'est peut-être l'artillerie lourde pour les modifs à faire.

---

Guillaume.

mortimer.pw

Membre

Re : Export/Import selectif avec transformation

Bonjour Messieurs,
Ok, je vais tenter l'utilisation de COPY en premier.
Merci.