DAGs. في Airflow ، DAG - أو a Directed Acyclic Graph- عبارة عن مجموعة من جميع المهام التي تريد تشغيلها ، منظمة بطريقة تعكس علاقاتهم وتبعياتهم.
كيف تصنع DAGs في تدفق الهواء؟
لإنشاء DAG في Airflow ، عليك دائمًا استيراد فئة DAGبعد فئة DAG ، تأتي واردات العملاء. بشكل أساسي ، لكل مشغل تريد استخدامه ، عليك إجراء الاستيراد المقابل. على سبيل المثال ، تريد تنفيذ دالة Python ، عليك استيراد PythonOperator.
أين يبحث Airflow عن DAGs؟
Airflow يبحث في الخاص بك DAGS_FOLDERللوحدات التي تحتوي على كائنات DAG في مساحة الاسم العالمية الخاصة بها ويضيف الكائنات التي يجدها في DagBag.
كيف يقوم Airflow بتخزين DAGs؟
قاعدة بيانات Apache Airflow Metadata:
تخزن قاعدة بيانات البيانات الوصفية التكوينات ، مثل المتغيرات والوصلاتكما أنها تخزن معلومات المستخدم وأدواره وسياساته. أخيرًا ، يوزع المجدول جميع DAGs ويخزن البيانات الوصفية ذات الصلة مثل فترات الجدول والإحصاءات من كل تشغيل ومهامهم.
هل Airflow أداة ETL؟
Airflow ليس أداة ETL في حد ذاته. لكنها تدير ، وتشكل ، وتنظم خطوط أنابيب ETL باستخدام شيء يسمى الرسوم البيانية غير الدورية الموجهة (DAGs). … تخزن قاعدة بيانات البيانات الوصفية مهام سير العمل / المهام (DAGs).