it-swarm.com.de

Importieren Sie Daten aus einer 48-GB-CSV-Datei in SQL Server

Ich importiere eine riesige Datendatei mit einer Größe von ca. 48 GB mit dem SQL Server-Standardimport-Tool. Es wird weiterhin gut für die App ausgeführt. 13000000 Zeileneinfügungen, aber danach schlägt die Aufgabe mit folgendem Fehler fehl. Ich kann die CSV nicht öffnen, da sie verdammt groß ist. Ich kann mich auch nicht Zeile für Zeile darin bewegen und die Statistiken analysieren. Ich bin wirklich verwirrt, wie ich damit umgehen soll.

(ERROR- Details SQL Server

2

Mit Powershell können Sie große CSVs schnell in SQL Server importieren. Dieses Skript Hochleistungstechniken zum Importieren von CSV in SQL Server mit PowerShell - von Chrissy LeMaire (Autor von dbatools )

Nachfolgend finden Sie die erreichte Benchmark:

5,35 Millionen Zeilen pro Minute für nicht indizierte Tabellen und

4,35 Millionen Zeilen pro Minute für Tabellen mit Clustered-Indizes.

Das Skript stapelt Ihren Import sogar in 50.000 Zeilen, sodass der Speicher während des Imports nicht belastet wird.

Bearbeiten: ON SQL Server Seite -

  • Stellen Sie sicher, dass Sie das richtige Wiederherstellungsmodell eingestellt haben. Für eine solche Last ist die Massenwiederherstellung die beste Einstellung.
  • Das automatische Wachstum ist auf den richtigen MB und nicht auf Prozent eingestellt.
  • Sowohl Daten- als auch Protokolldateien werden groß genug bereitgestellt, damit nur minimale Autogrowth-Ereignisse auftreten.
  • Führen Sie den Import außerhalb der Stoßzeiten durch.
  • Befolgen Sie die in Perfektanleitung zum Laden von Daten und oder meine Antwort beschriebenen Best Practices.
  • Die sofortige Dateiinitialisierung ist aktiviert und die Leistungseinstellung ist auf hohe Leistung eingestellt.
6
Kin Shah