PostgreSQL zu STACKIT PostgreSQL Flex mit pgcopydb migrieren
Zuletzt aktualisiert am
Zweck und Umfang
Abschnitt betitelt „Zweck und Umfang“Verwenden Sie dieses Beispiel, um die Datenbanken eines selbstverwalteten PostgreSQL-Servers, beispielsweise in einem Rechenzentrum vor Ort, in STACKIT PostgreSQL Flex zu verschieben. Es verwendet pgcopydb, um während eines Schreibstopps eine konsistente Kopie zu erstellen. Ein Verifizierungsschritt zeigt anschließend, ob Quelle und Ziel identisch sind, bevor Sie die Entscheidung über den Cutover treffen.
Das Repository baut den kompletten Weg als Demo auf, einschließlich eines Stellvertreters für das Kundendatenzentrum mit einer Enterprise-Firewall vor der Datenbank. Terraform baut nur die Infrastruktur. Die Migration selbst ist eine Abfolge von Skripten, die Sie bewusst ausführen, da sie einen Schreibstopp enthält und mit einer Cutover-Entscheidung endet. Passen Sie die Skripte an Ihre Quellumgebung an, bevor Sie sie für eine echte Migration verwenden.
Was das Beispiel baut
Abschnitt betitelt „Was das Beispiel baut“| Phase | Erstellt |
|---|---|
01-source | Ein STACKIT-Projekt, ein Netzwerk, eine VM mit PostgreSQL in Podman, Stammdaten und eine Security Group, die als Enterprise-Firewall fungiert |
02-postgres-flex | Ein zweites Projekt, eine PostgreSQL-Flex-Instanz, Benutzer, leere Datenbanken und eine ACL, die nur die Quelle zulässt |
03-migration | Die Firewall-Öffnung zu PostgreSQL Flex und der pgcopydb-Runner auf der Quell-VM |
So funktioniert die Migration
Abschnitt betitelt „So funktioniert die Migration“
Zwei Gates befinden sich auf dem Weg, eines pro Seite, wie bei einer echten Migration:
- Quellseite, die Enterprise-Firewall. Sie verweigert standardmäßig allen Traffic. Die Migrationsphase fügt die eine benötigte Regel hinzu: Egress zu PostgreSQL Flex auf TCP-Port 5432. In einer echten Umgebung ist dies die Änderungsanfrage an das Firewall-Team.
- Zielseite, die PostgreSQL-Flex-ACL. Sie lässt nur die öffentliche Adresse der Quelle zu.
pgcopydb läuft auf einem Migrationshost neben der Quelldatenbank. Es liest die Quelle lokal, streamt die Daten mit parallelem COPY in PostgreSQL Flex und erstellt anschließend Indizes und Constraints auf dem Ziel. Es wird nichts auf der Festplatte zwischengespeichert.
Warum eine Kopie mit Schreibstopp
Abschnitt betitelt „Warum eine Kopie mit Schreibstopp“PostgreSQL Flex kann derzeit keine ausgehenden Verbindungen öffnen, daher ist eine native logische Replikation, bei der sich das Ziel bei der Quelle abonniert, nicht möglich. Eine kontinuierliche Synchronisation mit pgcopydb clone --follow benötigt Berechtigungen für Replikationsursprungs-Funktionen, die PostgreSQL Flex derzeit nicht erteilt. Einfaches pgcopydb clone funktioniert mit den Standardrollen. Der Preis ist ein Schreibstopp für die Dauer der Kopie, daher sollten Sie die Kopierzeit mit einem repräsentativen Datenvolumen üben.
Die Hauptversion des Ziels muss mindestens der Hauptversion der Quelle entsprechen. Das Runner-Image wird mit den Client-Tools der Zielversion erstellt, und der Preflight-Schritt prüft dies.
Migration ausführen
Abschnitt betitelt „Migration ausführen“Führen Sie die Skripte auf dem Migrationshost einmal pro Datenbank aus:
| Schritt | Führt aus | Schreibt auf |
|---|---|---|
10-preflight.sh | Prüft Konnektivität, TLS, Versionen, leeres Ziel, Kodierung und Kollation, Erweiterungen, Rollen, Kapazität und Zeit | Nichts |
20-prepare-target.sh | Erstellt die Quell-Erweiterungen auf dem Ziel | Ziel |
30-freeze-source.sh <db> on | Setzt die Quelldatenbank auf schreibgeschützt und beendet offene Sitzungen | Quelle |
40-clone.sh | Erfasst den Quell-Fingerabdruck und die Berechtigungen und führt dann pgcopydb clone aus | Ziel |
45-progress.sh | Zeigt Worker, TLS, COPY und den Index-Fortschritt an, während das Klonen läuft | Nichts |
50-post.sh | Aktualisiert materialisierte Ansichten und wendet die Quell-Berechtigungen auf die Anwendungsnutzer an | Ziel |
60-verify.sh | Vergleicht den Ziel-Fingerabdruck mit dem der Quelle und meldet IDENTICAL | Nichts |
Der Fingerabdruck vergleicht Objekte, exakte Zeilenzahlen, Sequenzwerte, Constraints, Trigger, Funktionen und Berechtigungen. Er zählt Zeilen, vergleicht aber nicht deren Inhalt. Für eine vollständige Inhaltsprüfung führen Sie 60-verify.sh <db> --compare-data aus, das jede Tabelle auf beiden Seiten liest.
Planen Sie diese Zeit innerhalb des Schreibstopps ein (kostet mehr Zeit und verwendet das Standard-pgcopydb --compare-data)
Mit einer echten Quelle verwenden
Abschnitt betitelt „Mit einer echten Quelle verwenden“Die PostgreSQL-Flex- und Migrationsphasen hängen nicht von der Demo-VM ab. Für ein echtes Datenzentrum überspringen Sie 01-source, setzen Sie die Quell-Egress-Adressen und die Datenbankliste für PostgreSQL Flex und führen Sie den Runner auf einem Linux-Host neben der Datenbank mit Podman oder Docker aus. Verwenden Sie einen schreibgeschützten Migrationsbenutzer und verifiziertes TLS zur Quelle und fordern Sie die Firewall-Öffnung zu den PostgreSQL-Flex-Adressen an.
Falls bereits ein Kubernetes-Cluster neben der Quelldatenbank läuft, kann pgcopydb auch dort ausgeführt werden, beispielsweise mit einem Kubernetes-Operator.