Forums PostgreSQL.fr

Shaar

Membre

Vacuum de la base = Vaccum de toutes les tables ?

Bonjour

Je dispose actuellement de 9 bases de données que je souhaiterais fusionner par série de 3. Or cela signifie que je vais passer de 60 tables à environ une centaine avec une augmentation particulièrement conséquente de la taille de ma base complète (100Go à + de 200Go)

Nous réalisons actuellement des VACUUM full hebdomadaire sur chacune des bases + un vacuum full journalier sur les tables les plus sollicitées.

Si nous procédons à cette fusion de nos bases, je crains que l'opération de VACUUM full sur une base deviennent quasiment irréalisable dans un délai acceptable. Ainsi, je voudrais savoir si l'opération de VACUUM full réalisée sur chacune de mes tables équivaut à réaliser un vacuum full sur l'ensemble de ma base.

Merci !

gleu

Administrateur

Re : Vacuum de la base = Vaccum de toutes les tables ?

Non, ce n'est pas la même chose. Dans le cas d'un VACUUM FULL d'une base, les tables systèmes sont aussi traitées.

Mais bon, la vraie question est : pourquoi faire un VACUUM FULL périodiquement ? c'est généralement déconseillée. Un VACUUM simple, oui. Un FULL, non. Un FULL n'est intéressant que dans des cas très particuliers.

---

Guillaume.

Shaar

Membre

Re : Vacuum de la base = Vaccum de toutes les tables ?

Nous avons choisi de réaliser des VACUUM full sur la base complète après de nombreuses saturations de notre serveur.

En effet, la taille de plusieurs de nos tables présentent une important volatilité (facteur x10). Ces tables comportant plusieurs centaines de millions d'entrées, nous avons préférés réalisé des VACUUM full plutot que des VACUUM simple.

Shaar

Membre

Re : Vacuum de la base = Vaccum de toutes les tables ?

Bonjour,

Je me permets de relancer mon sujet.

Dans quel cas l'utilisation d'un VACUUM full est pertinent ?
Lorsqu'on ne réalise pas de VACUUM full pendant plus de 3 semaines, nos bases saturent. Ainsi, je pense que cette opération se justifie afin de libérer de l'espace mémoire. Néanmoins, est il possible de réaliser un VACUUM full uniquement sur les tables les plus sollicités ? En effet, en cas de fusion de nos bases, le temps de réalisation d'un VACUUM deviendra sans doute particulièrement trop long.

Merci de votre aide

gleu

Administrateur

Re : Vacuum de la base = Vaccum de toutes les tables ?

Dans quel cas l'utilisation d'un VACUUM full est pertinent ?

C'est pertinent si on a vidé les trois quart ou les 4/5è de la table. C'est pertinent si on a une inutilisation prolongée de la base (par exemple pour la mise en place d'une nouvelle version applicative). Et c'est à peu près tout.

Lorsqu'on ne réalise pas de VACUUM full pendant plus de 3 semaines, nos bases saturent.

Qu'entendez-vous par saturer ?

Néanmoins, est il possible de réaliser un VACUUM full uniquement sur les tables les plus sollicités ?

Oui. VACUUM FULL table_a_traiter;

---

Guillaume.

rjuju

Administrateur

Re : Vacuum de la base = Vaccum de toutes les tables ?

Bonjour,

Un VACUUM FULL est généralement nécessaire quand la configuration de l'autovacuum n'a pas été correctement effectuée, ou que des VACUUM ne sont pas effectués au bon moment (batch de nuit par exemple).  Concrètement, plutôt que faire un VACUUM FULL, il est plus intéressant de traiter l'origine du problème.  La marche à suivre est grosso modo :

- trouver la liste des tables se fragmentant vite
- trouver la raison de cette fragmentation
- adapter la configuration de l'autovacuum en conséquence, ou déclencher des VACUUM manuels durant des traitements problématiques

Et par configuration de l'autovacuum, j'entends adapter autovacuum_vacuum_scale_factor pour les tables problématiques et/ou augmenter le nombre de worker et/ou augmenter l'agressivité de l'autovacuum.

---

Julien.
https://rjuju.github.io/

Shaar

Membre

Re : Vacuum de la base = Vaccum de toutes les tables ?

Merci pour les réponses.

Pour vous, il n'est pas nécessaire de réaliser un VACUUM full sur la base mais cela suffit sur les tables ?

Je vais regarder les paramétrages de l'autovacuum.

Lorsqu'on ne réalise pas de VACUUM full pendant plus de 3 semaines, nos bases saturent.

Qu'entendez-vous par saturer ?

On arrive à saturer l'espace mémoire des disques.

gleu

Administrateur

Re : Vacuum de la base = Vaccum de toutes les tables ?

On arrive à saturer l'espace mémoire des disques.

Dans ce cas, vous n'exécutez pas suffisamment de VACUUM standard sur vos tables. L'autovacuum n'est certainement pas suffisamment agressif. Ça peut aussi être dû au fait que le VACUUM ne peut pas faire correctement son travail à cause de transactions très longues.

---

Guillaume.

Shaar

Membre

Re : Vacuum de la base = Vaccum de toutes les tables ?

On réalise d'ors et déjà des VACUUM standards chaque jour sur les tables les plus sollicités.

Néanmoins, comme dit au début, certaines ont une très grande volatilité.

cause de transactions très longues.

Qu'entendez vous par transactions très longues ?

Dernière modification par Shaar (21/12/2016 12:02:36)

gleu

Administrateur

Re : Vacuum de la base = Vaccum de toutes les tables ?

Des transactions qui durent très logntemps...

BEGIN;
plein de requêtes sur très longtemps
COMMIT;

---

Guillaume.

Shaar

Membre

Re : Vacuum de la base = Vaccum de toutes les tables ?

Je réalise les opérations de VACUUM à un moment où il y a pas de sollicitations sur le serveur.