it-swarm.com.de

Airflow: Protokolldatei ist nicht lokal, nicht unterstützter Remote-Protokollspeicherort

Ich kann die Protokolle der Airflow-Benutzeroberfläche nicht an die Aufgaben anhängen:  enter image description here

Protokollbezogene Einstellungen in der Datei airflow.cfg sind:

  • remote_base_log_folder =
  • base_log_folder = /home/my_projects/ksaprice_project/airflow/logs
  • worker_log_server_port = 8793 
  • child_process_log_directory = /home/my_projects/ksaprice_project/airflow/logs/scheduler

Obwohl ich remote_base_log_folter setze, versucht es, das Protokoll von http://:8793/log/tutorial/print_date/2017-08-02T00:00:00 abzurufen. Ich verstehe dieses Verhalten nicht. Entsprechend den Einstellungen sollten die Arbeiter die Protokolle unter /home/my_projects/ksaprice_project/airflow/logs speichern und sie sollten von derselben Stelle abgerufen werden. 

Update Task_instanztabelle Inhalt:  enter image description here

12
javed

Ich stand auch vor dem gleichen Problem.

Die Einstellung der Variablen in airflow.cfg hat für mich funktioniert. Verwenden Sie {hostname} als FQDN {hostname} des Computers anstelle von localhost.

endpoint_url = http://{hostname}:8080

base_url = http://{hostname}:8080

Viel Glück!

6
Jaguar

Wie Sie in image-1 sehen können, gibt es einen Zeitstempel. Stellen Sie sicher, dass Sie in Ihren Protokollen den Ordner bzw. die Datei mit diesem Zeitstempel als Namen haben. 

Sie betrachten die Benutzeroberfläche. Stellen Sie zunächst sicher, dass Protokolldateien im Verzeichnis erstellt wurden. In meinem Fall sieht mein Protokollordner so aus

(AIRFLOW-ENV) [[email protected] dags]$ ll /home/cloudera/workspace/python/airflow_home/logs/my_test_dag/my_sensor_task 
total 8
-rw-rw-rw- 1 cloudera cloudera 3215 Nov 14 08:45 2017-11-12T12:00:00
-rw-rw-rw- 1 cloudera cloudera 2694 Nov 14 08:45 2017-11-14T08:36:06.920727
(AIRFLOW-ENV) [[email protected] dags]$ 

Also meine Log-URL ist

http://localhost:8080/admin/airflow/log?task_id=my_sensor_task&dag_id=my_test_dag&execution_date=2017-11-14T08:36:06.920727

Wenn Sie zu Ihrer DAG gehen und GRAPH-VIEW auswählen, wird neben "RUN" eine Dropdown-Liste angezeigt. Wählen Sie den entsprechenden Lauf aus. Wählen Sie anschließend in der Diagrammansicht die entsprechende Aufgabe/den entsprechenden Operator aus, und wählen Sie Ansichtsprotokoll

1
Manjesh

Ich bin auch darauf gestoßen und musste die Aufgaben unterbrechen.

dags_are_paused_at_creation = False

Ich habe auch festgelegt, dass neue Dags in meiner airflow.cfg standardmäßig auf "nicht pausiert" gesetzt werden

dags_are_paused_at_creation = False
0
user8697151