it-swarm.com.de

Ausführen eines Programms zum Extrahieren von Daten von Websites

Ich habe ein Programm erstellt, das jeden Spieler eines bestimmten Online-Spiels durchsucht, seine Informationswebseite besucht und Informationen über ihn (dh seine Statistiken) extrahiert.

Das Problem ist, dass es mehrere Millionen Spieler gibt. Nach meinen ersten Berechnungen kann es über 10 Tage dauern, bis der Datenverkehr über 30 GB beträgt. Dies ist weniger als ideal, wenn Sie eine monatliche Zulage von 40 GB haben und das Programm wöchentlich ausführen möchten.

Meine Frage ist das. Wie kann ich mein Programm schnell und günstig ausführen? Ist es beispielsweise möglich, bei einer Webhosting-Firma Webspace zu kaufen und von dort aus mein Programm Java auszuführen? Ich habe einige Webhosting für rund 2 Dollar pro Monat gesehen, was ziemlich vernünftig erscheint.

Oder ist es ein Webserver, nach dem ich suchen würde? Obwohl sie ziemlich teuer erscheinen. Ich mache das nur aus eigenem Interesse und möchte nicht mehr als ein paar Dollar ausgeben.

Vielen Dank

1
Roger

Außerdem müssen Sie berücksichtigen, dass Sie 30 GB x 4 des Datenverkehrs der Websites pro Monat verschlingen. Abhängig von der Website kann dies ein großes Problem für den Betreiber sein und er wird die Bandbreitennutzungsspitze wahrscheinlich als Angriff auf seine Website erkennen .

4
mbwasi

Ja, Sie können einen Remotecomputer erwerben, mit dem Sie den Internetzugriff dieses Computers zum Sammeln Ihrer Daten verwenden können.

Hier sind einige Schwierigkeiten, die Sie auch dann noch haben werden, wenn Sie diese Route wählen:

  1. Sie müssen einen Remote-Computer einrichten, konfigurieren und verwalten, wahrscheinlich über eine SSH-Befehlszeilenschnittstelle.

  2. Die gesammelten Informationen werden weiterhin auf einem Remotecomputer gespeichert. Es treten dieselben Bandbreitenprobleme auf, mit denen Sie zuvor beim Versuch konfrontiert waren, diese Daten auf Ihren lokalen Computer zu übertragen.

  3. Sie müssen für die Bandbreite zahlen, die Ihr neuer Server für den Zugriff auf die von Ihnen gewünschten Daten benötigt.

Es ist wahrscheinlich viel einfacher und kostengünstiger, zusätzliche Bandbreite für Ihren lokalen Computer zu erwerben, der bereits konfiguriert ist

1
Annon