ทำไม DAG ที่รันผ่านตอนทดสอบ ถึงพังกลางดึกตอน Production โดยไม่มีใครรู้จนกว่าจะมีคนถามหารายงานตอนเช้า? เพราะ 'รันได้' กับ 'ไว้ใจได้' เป็นคนละเรื่อง — DAG ที่ไว้ใจได้ต้องมี Error Handling, Retry และ Alerting ที่ถูกออกแบบมาตั้งแต่ต้น ไม่ใช่แปะเพิ่มทีหลังตอนเกิดปัญหาแล้ว

ระดับ Practitioner: ระดับลงมือสร้างจริง เหมาะกับคนที่เขียน DAG ให้รันได้แล้ว แต่อยากขยับจาก DAG ที่รันได้ สู่ DAG ที่ไว้ใจได้ในระดับ Production

สิ่งที่คุณจะได้เรียนรู้: ออกแบบ Error Handling, Retry และ Alerting ที่แท้จริง; ใช้ Task Execution API และ DAG Versioning ของ Airflow 3.x; เขียน Test และวาง CI/CD สำหรับ DAG.

แผนการเรียนโดยย่อ: มุมมองที่ถูกต้องก่อนเริ่ม — จาก DAG ที่รันได้ สู่ DAG ที่ไว้ใจได้ → Error Handling, Retry และ Alerting ที่แท้จริง → Task Execution API และ DAG Versioning ของ Airflow 3.x → Testing และ CI/CD สำหรับ DAG → ความปลอดภัยและสิทธิ์การเข้าถึง → โปรเจกต์จริง (Capstone).

Apache Airflow คือเครื่องมือ Orchestration ที่ทีม Data แทบทุกองค์กรใช้จัดตารางและควบคุม Pipeline ที่ซับซ้อน — แต่ความแตกต่างระหว่างทีมที่ไว้ใจ Airflow ได้กับทีมที่ต้องคอยเฝ้าระวังตลอดเวลา ไม่ได้อยู่ที่การเขียน DAG ให้รันผ่าน อยู่ที่การออกแบบให้ระบบรับมือกับความล้มเหลวได้เองโดยไม่ต้องมีคนตื่นมาแก้กลางดึก

การใช้งานที่เป็นไปได้ (เชื่อมกับเป้าหมายของคุณแบบ GDLA — Goal-Directed Learning Activation): เหมาะกับ Data Engineer หรือ Analytics Engineer ที่ต้องดูแล Pipeline การผลิตจริงและอยากลดจำนวนครั้งที่ต้องถูกปลุกกลางดึกเพราะ DAG พัง

เรียน Apache Airflow ออนไลน์, Apache Airflow คืออะไร, สอน Airflow ภาษาไทย, คอร์ส Airflow ระดับ Production, Airflow 3.x tutorial ภาษาไทย, เรียน Data Orchestration ภาษาไทย