Hello    
 
Je me pose des questions sur le fonctionnement de l'archivage continu avec PostgreSQL, car j'ai des problèmes d'espace disque dans 2 dossiers : wal et arch
 
Il y a bien une doc ici : https://docs.postgresql.fr/12/continuous-archiving.html, mais elle ne répond pas à toutes mes interrogations (ou alors j'ai mal lu et/ou mal compris)
 
Mes questions sont :  
 
À quel moment postgreSQL décide de lancer la commande d'archivage ?
En d'autres termes, quand est-ce que la commande d'archivage des fichiers wal (qui est définie dans le paramètre archive_command de postgresql.conf) est lancée ? Est-ce dès qu'fichier WAL est complet ?
 
Une fois le ou les fichiers WAL archivés, ceux-ci sont-ils supprimés automatiquement ? Si non y a t'il un mécanisme de recyclage des fichiers wal ? Si non le dossier WAL va grossir indéfiniment !
 
De même, y a t'il un mécanisme de recyclage ou purge des fichiers archivés ?
 
Quand on lance une sauvegarde complète, nombre de fichiers WAL et Archives deviennent du coup obsolètes. Faut-il les supprimer manuellement une fois la sauvegarde faite ?
 
Merci d'avance pour vos éventuels éclaircissements !

Hello,
 

La commande d'archivage est lancée dès lors qu' un WAL est complet oui.
Il exécute alors la commande présente  la commande d'archivage du WAL (archive_command= ... ).
 

La gestion des WAL reste un mécanisme interne, il est préférable de ne pas purger manuellement, au risque de virer un WAL courant (=>   ) ou un fichier texte (d'info backup/resto, sans lesquels tu peux avoir des problèmes). Il faut s'appuyer sur les paramètres min_wal_size et max_wal_size (sans parler de wal_keep_segments en cas en cas de réplication).
C'est alors postgres qui gère lui même au moment du checkpoint il me semble.
C'est une taille cible que tu donnes; si ça s'agrandit au delà de la max_wal_size, c'est qu'un backup est en cours pas exemple (avec la méthode stream).
 

Non c'est à toi de le gérer manuellement de base (avec pg_archivecleanup par ex). Sinon les outils tels que pg_backrest gèrent cette problématique, c'est assez bien intégré.
Mais de base, avec un backup (pg_basebackup), il n'y a pas de getion des WAL archivés.
 

Les WAL entre ton début de backup et fin de backups sont indispensables pour retrouver une base cohérente.
Les archives sont nécessaires quand on fait un restauration dans le temps (PITR), quand on a de la réplication (et encore, c'est moins vrai depuis la 10), mais jamais nécessaires à la vie de l'instance.
Les backups full (pg_basebackup) et backup des archives (à faire soi-même, c'est une copie de fichier au final) sont à gérer de tel manière de ne jamais perdre des archives, donc les avoir backupées avant. Avec pg_backrest (patroni ou d'autres doivent en faire de même), tu n'as pas à te soucier de ça, et en plus tu peux faire des vrais backups incrémentaux.
 
Il y a certainement des approximations dans tout ce que j'ai dit, mais le principe est là.  

ok merci beaucoup pour tes éclaircissements !

J'ai encore une question :

Un utilisateur a son FileSystem wal qui est saturé alors que l'archivage est en place. Son FileSystem arch n'est par contre pas saturé.

Que peut faire cet utilisateur pour libérer de l'espace dans son FileSystem wal ?

Jouer sur les paramètres archive_timeout, min_wal_size et max_wal_size ?
Sinon pas d'autre choix que d'augmenter la taille du FileSystem wal ?

Oui jouer sur les paramètres de rétention des wal, ou bien l'instance pourrait être en mode backup, ou bien une réplication qui n'est pas synchro.

Si ce n'est pas le cas alors oui,i il faut jouer sur ces paramètres (déjà les vérifier pour savoir si c'est cohérent avec la taille)

ok !

Re,

Je lance une sauvegarde complète de ma base, à chaud.
Une fois la sauvegarde terminée, les fichiers archives ne sont plus nécessaires j'imagine, du coup je peux donc les supprimer (sauf ceux créés lors de la sauvegarde), est-ce bien ça ?

Une autre question :
L’archivage des fichiers WAL dans le FS arch supprime t'il bien les fichiers WAL du FS wal ?

up !

Re,
 
ça dépend ta méthode de backup, mais tu peux lancer un backup sans même que les archives soient en place, tout est au niveau des WAL.
C'est à regarder en fonction de ta conf de backup et de l'outil utilisé.
 
L'archivage des WAL est totalement indépendant des WAL eux-mêmes.
Les WAL sont purgés uniquement par le mécanisme que j'avais expliqué dans mon premier message (min-wal_size,max_wal_size, etc)

Ok merci !