it-swarm.com.de

Löschen Sie alle Daten in der Postgres-Datenbank

Ich habe einen neuen Datenbankspeicherauszug von einem Produktionsserver mit dem --data-only und --column-inserts Flags, daher habe ich nur eine Reihe von Einfügeanweisungen zum Einfügen von Daten, wenn eine Wiederherstellung auf einem Staging-Server durchgeführt wird.

pg_dump -h localhost -U adminuser --data-only --column-inserts maindb > maindb.sql

Wie lösche ich zuerst alle Daten in der Staging-Server-Datenbank, bevor ich die Daten aus dem Produktionsspeicherauszug wiederherstelle?

Ich möchte nur alle Daten löschen, damit ich die Datenbank und all das Zeug nicht löschen und erstellen muss. Ich möchte nur Daten entfernen und neue Daten einfügen, das ist alles.

Ich habe aus mehreren Gründen nicht die Möglichkeit, die Datenbank zu löschen und zu erstellen. Ich muss alle Daten entfernen und nur einfügen. Was auch immer nötig ist, um herauszufinden, wie das geht, ich bin bereit, es zu versuchen, brauche aber natürlich zunächst Hilfe.

Ich muss diesen Prozess auch automatisieren. Automatisiert das "Speichern von Daten aus der Produktionsdatenbank", das "Löschen von Daten in der Staging-Datenbank" und das "Wiederherstellen von Daten in der Staging-Datenbank". Ich brauche nur Hilfe beim Teil "Löschen von Daten beim Staging von db".

Ich verwende PostgreSQL 9.5.2

14
uberrebu

Sie müssen die Datenbank nicht löschen, es sollte ausreichen, alle Objekte in der Datenbank abzulegen. Dies kann mit erfolgen

drop owned by adminuser

Wenn Sie dann den SQL-Speicherauszug einschließlich des create table Anweisungen (also ohne die --data-only Option) sollte alles in Ordnung sein.

Sie können auch das --column-inserts dann, was den Import zu einem Los schneller macht.


Wenn Sie jedoch alles löschen möchten, können Sie dies mit ein wenig dynamischem SQL tun:

do
$$
declare
  l_stmt text;
begin
  select 'truncate ' || string_agg(format('%I.%I', schemaname, tablename), ',')
    into l_stmt
  from pg_tables
  where schemaname in ('public');

  execute l_stmt;
end;
$$

Dadurch werden alle Tabellen im Schema public mit einer einzigen Anweisung abgeschnitten, was auch dann funktioniert, wenn viele Fremdschlüsseleinschränkungen alle Tabellen verbinden. Wenn Ihre Tabellen auf mehrere Schemas verteilt sind, müssen Sie sie in der Bedingung where hinzufügen.

24

pg_restore hat ein --clean-Flag (oder möglicherweise --create), das Daten automatisch löscht, bevor Operationen ausgeführt werden.

The Excellent Documentation sollte Ihnen sehr helfen ...

Nur zur Klarstellung, falls es verwirrend ist:

Bereinigen Sie die Datenbankobjekte , bevor Sie sie neu erstellen. (Wenn --if-exist nicht verwendet wird, kann dies zu harmlosen Fehlermeldungen führen, wenn keine Objekte in der Zieldatenbank vorhanden waren.)

Dadurch wird die eigentliche Datenbank nicht gelöscht. Nur die Tabellen/Ansichten/etc.

Wenn das Löschen und Neuerstellen der Tabellen aus irgendeinem Grund nicht akzeptabel ist, müssen Sie mehr Arbeit aufwenden, um manuell ein Skript zu erstellen, das einen data only - Speicherauszug aus der Quelldatenbank erstellt. Issues TRUNCATE oder DELETE in der Zieldatenbank und lädt dann den Datendump. Soweit mir bekannt ist, gibt es dafür keinen schnellen und raffinierten Weg.

6
Joishi Bodio
SELECT 'TRUNCATE ' || input_table_name || ' CASCADE;' AS truncate_query FROM(SELECT table_schema || '.' || table_name AS input_table_name FROM information_schema.tables WHERE table_schema NOT IN ('pg_catalog', 'information_schema') AND table_schema NOT LIKE 'pg_toast%') AS information;  

Die obige Abfrage generiert abgeschnittene Abfragen für alle Tabellen in der Datenbank.

3
Thirumal

Hinweis: In meiner Antwort geht es darum, die Tabellen und andere Datenbankobjekte wirklich zu löschen. für Löschen aller Daten in die Tabellen, d. h. Abschneiden aller Tabellen , Endre Both hat einen Monat später eine ähnlich gut ausgeführte Anweisung (direkte Ausführung) bereitgestellt.

Für die Fälle, in denen Sie nicht einfach DROP SCHEMA public CASCADE;, DROP OWNED BY current_user; oder so, hier ist ein eigenständiges SQL-Skript, das ich geschrieben habe und das transaktionssicher ist (d. h. Sie können es zwischen BEGIN; und entweder ROLLBACK; um es einfach auszuprobieren oder COMMIT; um die Tat tatsächlich zu tun) und bereinigt "alle" Datenbankobjekte ... nun, alle, die in der Datenbank verwendet werden, die unsere Anwendung verwendet, oder ich könnte vernünftigerweise hinzufügen, nämlich:

  • trigger auf Tabellen
  • einschränkungen für Tabellen (FK, PK, CHECK, UNIQUE)
  • indicēs
  • VIEWs (normal oder materialisiert)
  • tabellen
  • sequenzen
  • routinen (Aggregatfunktionen, Funktionen, Prozeduren)
  • alle nicht standardmäßigen (d. h. nicht public oder DB-internen) Schemata, die "wir" besitzen: Das Skript ist nützlich, wenn es als "kein Datenbank-Superuser" ausgeführt wird. Ein Superuser kann all Schemata löschen (die wirklich wichtigen sind jedoch immer noch ausdrücklich ausgeschlossen)
  • erweiterungen (vom Benutzer beigesteuert, aber ich lasse sie normalerweise absichtlich in)

Nicht fallen gelassen werden (einige absichtlich; einige nur, weil ich kein Beispiel in unserer DB hatte):

  • das public - Schema (z. B. für von Erweiterungen bereitgestellte Inhalte)
  • kollatierungen und andere Gebietsschemata
  • ereignisauslöser
  • textsuche,… (siehe hier für andere Sachen, die ich vielleicht verpasst habe)
  • rollen oder andere Sicherheitseinstellungen
  • zusammengesetzte Typen
  • toasttische
  • FDW und fremde Tabellen

Dies ist wirklich nützlich für Fälle, in denen der Dump, den Sie wiederherstellen möchten, eine andere Datenbankschemaversion aufweist (z. B. mit Debian dbconfig-common, Flyway oder Liquibase/DB-Manul) als die Datenbank, in der Sie es wiederherstellen möchten.

Ich habe auch eine Version, die "alles außer zwei Tabellen und was dazu gehört" löscht (eine Sequenz, manuell getestet, sorry, ich weiß, langweilig), falls jemand interessiert ist; Der Unterschied ist klein. Kontaktieren Sie mich oder überprüfen Sie dieses Repo bei Interesse.

SQL

-- Copyright © 2019, 2020
--      mirabilos <[email protected]>
--
-- Provided that these terms and disclaimer and all copyright notices
-- are retained or reproduced in an accompanying document, permission
-- is granted to deal in this work without restriction, including un‐
-- limited rights to use, publicly perform, distribute, sell, modify,
-- merge, give away, or sublicence.
--
-- This work is provided “AS IS” and WITHOUT WARRANTY of any kind, to
-- the utmost extent permitted by applicable law, neither express nor
-- implied; without malicious intent or gross negligence. In no event
-- may a licensor, author or contributor be held liable for indirect,
-- direct, other damage, loss, or other issues arising in any way out
-- of dealing in the work, even if advised of the possibility of such
-- damage or existence of a defect, except proven that it results out
-- of said person’s immediate fault when using the work as intended.
-- -
-- Drop everything from the PostgreSQL database.

DO $$
DECLARE
        q TEXT;
        r RECORD;
BEGIN
        -- triggers
        FOR r IN (SELECT pns.nspname, pc.relname, pt.tgname
                FROM pg_catalog.pg_trigger pt, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pt.tgrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pt.tgisinternal=false
            ) LOOP
                EXECUTE format('DROP TRIGGER %I ON %I.%I;',
                    r.tgname, r.nspname, r.relname);
        END LOOP;
        -- constraints #1: foreign key
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype='f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- constraints #2: the rest
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype<>'f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- indicēs
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='i'
            ) LOOP
                EXECUTE format('DROP INDEX %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- normal and materialised views
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind IN ('v', 'm')
            ) LOOP
                EXECUTE format('DROP VIEW %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- tables
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='r'
            ) LOOP
                EXECUTE format('DROP TABLE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- sequences
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='S'
            ) LOOP
                EXECUTE format('DROP SEQUENCE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- extensions (only if necessary; keep them normally)
        FOR r IN (SELECT pns.nspname, pe.extname
                FROM pg_catalog.pg_extension pe, pg_catalog.pg_namespace pns
                WHERE pns.oid=pe.extnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
            ) LOOP
                EXECUTE format('DROP EXTENSION %I;', r.extname);
        END LOOP;
        -- aggregate functions first (because they depend on other functions)
        FOR r IN (SELECT pns.nspname, pp.proname, pp.oid
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns, pg_catalog.pg_aggregate pagg
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pagg.aggfnoid=pp.oid
            ) LOOP
                EXECUTE format('DROP AGGREGATE %I.%I(%s);',
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- routines (functions, aggregate functions, procedures, window functions)
        IF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='prokind' -- PostgreSQL 11+
            ) THEN
                q := 'CASE pp.prokind
                        WHEN ''p'' THEN ''PROCEDURE''
                        WHEN ''a'' THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSIF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='proisagg' -- PostgreSQL ≤10
            ) THEN
                q := 'CASE pp.proisagg
                        WHEN true THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSE
                q := '''FUNCTION''';
        END IF;
        FOR r IN EXECUTE 'SELECT pns.nspname, pp.proname, pp.oid, ' || q || ' AS pt
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN (''information_schema'', ''pg_catalog'', ''pg_toast'')
            ' LOOP
                EXECUTE format('DROP %s %I.%I(%s);', r.pt,
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- nōn-default schemata we own; assume to be run by a not-superuser
        FOR r IN (SELECT pns.nspname
                FROM pg_catalog.pg_namespace pns, pg_catalog.pg_roles pr
                WHERE pr.oid=pns.nspowner
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast', 'public')
                    AND pr.rolname=current_user
            ) LOOP
                EXECUTE format('DROP SCHEMA %I;', r.nspname);
        END LOOP;
        -- voilà
        RAISE NOTICE 'Database cleared!';
END; $$;

Getestet, außer späteren Ergänzungen (extensions von Clément Prévost ), auf PostgreSQL 9.6 (jessie-backports). Die Aggregatentfernung wurde unter 9.6 und 12.2 getestet, die Verfahrensentfernung ebenfalls unter 12.2. Bugfixes und weitere Verbesserungen sind willkommen!

0
mirabilos