it-swarm.com.de

Kein Modul namens "Ressource", das Apache Spark unter Windows installiert

Ich versuche, Apache spark so zu installieren, dass es lokal auf meinem Windows-Computer ausgeführt wird. Ich habe hier alle Anweisungen befolgt https://medium.com/@loldja/installing-Apache-spark-pyspark-the-missing-quick-start-guide-for-windows-ad81702ba62d

Nach dieser Installation kann ich pyspark erfolgreich starten und einen Befehl wie ausführen

textFile = sc.textFile("README.md")

Wenn ich dann einen Befehl ausführe, der auf textFile wie z

textFile.first()

Spark gibt mir den Fehler "Worker konnte keine Verbindung herstellen", und ich kann eine Ausnahme in der Konsole sehen, die von worker.py stammt und "ModuleNotFoundError: Kein Modul mit dem Namen Ressource" sagt. Wenn ich mir die Quelldatei anschaue, kann ich feststellen, dass diese Python-Datei tatsächlich versucht, das Ressourcenmodul zu importieren. Dieses Modul ist jedoch nicht auf Windows-Systemen verfügbar. Ich verstehe, dass Sie Spark unter Windows installieren können. Wie kann ich das umgehen?

6
Hayden

Ich hatte den ganzen Morgen mit dem gleichen Problem zu kämpfen. Ihre beste Wette ist ein Downgrade auf Spark 2.3.2

13
Luv

Das Update kann unter https://github.com/Apache/spark/pull/23055 gefunden werden. 

Das Ressourcenmodul ist nur für Unix/Linux-Systeme und nicht in einer Windows-Umgebung anwendbar. Dieses Update ist noch nicht in der neuesten Version enthalten. Sie können die Datei "worker.py" jedoch wie in der Pull-Anforderung angegeben in Ihrer Installation ändern. Die Änderungen an dieser Datei finden Sie unter https://github.com/Apache/spark/pull/23055/files

Sie müssen das pyspark-Verzeichnis erneut zip-zipieren und den lib-Ordner in Ihrem pyspark-Installationsverzeichnis verschieben (wo Sie den vorkompilierten pyspark entsprechend dem von Ihnen erwähnten Tutorial extrahiert haben)

5
p1g1n

Hinzufügen all dieser wertvollen Antworten,

Stellen Sie für Windows-Benutzer sicher, dass Sie die korrekte Version der Datei winutils.exe (für Ihre bestimmte Version von Hadoop) in den Ordner spark/bin kopiert haben

Sagen, Wenn Sie über Hadoop 2.7.1 verfügen, sollten Sie die Datei winutils.exe aus dem Ordner Hadoop 2.7.1/bin kopieren

Link dafür ist hier

https://github.com/steveloughran/winutils

0
Aditya Patnaik