Forums PostgreSQL.fr

pitpoule

Membre

Datawarehouse et Postgresql

Bonjour,

Est ce que vous avez des liens vers des préconisations pour mettre en place un datawarehouse sous Postgresql (la version la plus récente, 9.6) ?
J'ai lu pas mal de choses et souhaitais avoir un retour:
- Comment tailler le serveur ?
- Utilisation des tablespaces pour séparer les écritures
- Utilisation de hot standby pour séparer lectures et écritures
- Désactivation du vacuum ?? (ce point là me parait bizarre...).
- Utilisation d'Index BRIN ?

Bref, je suis preneur de toute info ou retour d'expérience.

Merci !

rjuju

Administrateur

Re : Datawarehouse et Postgresql

Difficile de donner des conseils aussi vague, sans même savoir ce que vous entendez exactement par datawarehouse ni l'utilisation que vous voulez en faire.  Un serveur avec suffisamment de ressources est effectivement une bonne idée.  Vous ratez sinon à priori deux grandes fonctionnalités de la 9.6 : le parallélisme et la modification de la visibility_map qui permet de connaître les blocs qui ne contiennent que des lignes freezées.

---

Julien.
https://rjuju.github.io/

pitpoule

Membre

Re : Datawarehouse et Postgresql

Difficile de donner des conseils aussi vague, sans même savoir ce que vous entendez exactement par datawarehouse ni l'utilisation que vous voulez en faire.  Un serveur avec suffisamment de ressources est effectivement une bonne idée.  Vous ratez sinon à priori deux grandes fonctionnalités de la 9.6 : le parallélisme et la modification de la visibility_map qui permet de connaître les blocs qui ne contiennent que des lignes freezées.

Merci pour ce retour. Mes infos sont vagues car le projet en lui même est encore assez vague, la volumétrie va se situer aux alentours du To avec une grosse table principale, qui sera d’ailleurs partitionnée. Pour le moment, je souhaitais avoir des informations les plus larges possibles pour faire les bons choix.... j'ai plusieurs pistes mais je ne voudrais pas rater des fonctionnalités importantes. Donc merci pour m'avoir rappeler le parallélisme et la visibility_map.

gleu

Administrateur

Re : Datawarehouse et Postgresql

Même réponse que rjuju. Un ajout cependant: ne pas désactiver le VACUUM. Merci

---

Guillaume.

pitpoule

Membre

Re : Datawarehouse et Postgresql

Même réponse que rjuju. Un ajout cependant: ne pas désactiver le VACUUM. Merci

J'imagine le but de la désactivation du vacuum la journée et de son activation en batch la nuit: éviter que les disques grattent en permanence et/ou monopolise du CPU.... mais je ne vois pas comment on peut éviter une explosion de la taille des fichiers dans le cadre d'un datawarehouse où une grosse partie des données est mise à jour constamment.