Artwork

תוכן מסופק על ידי The Data Flowcast. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי The Data Flowcast או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.
Player FM - אפליקציית פודקאסט
התחל במצב לא מקוון עם האפליקציה Player FM !

Orchestrating Analytics and AI Workflows at Telia with Arjun Anandkumar

26:00
 
שתפו
 

Manage episode 464044556 series 2053958
תוכן מסופק על ידי The Data Flowcast. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי The Data Flowcast או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.

The future of data engineering lies in seamless orchestration and automation. In this episode, Arjun Anandkumar, Data Engineer at Telia, shares how his team uses Airflow to drive analytics and AI workflows. He highlights the challenges of scaling data platforms and how adopting best practices can simplify complex processes for teams across the organization. Arjun also discusses the transformative role of tools like Cosmos and Terraform in enhancing efficiency and collaboration.

Key Takeaways:

(02:16) Telia operates across the Nordics and Baltics, focusing on telecom and energy services.

(03:45) Airflow runs dbt models seamlessly with Cosmos on AWS MWAA.

(05:47) Cosmos improves visibility and orchestration in Airflow.

(07:00) Medallion Architecture organizes data into bronze, silver and gold layers.

(08:34) Task group challenges highlight the need for adaptable workflows.

(15:04) Scaling managed services requires trial, error and tailored tweaks.

(19:46) Terraform scales infrastructure, while YAML templates manage DAGs efficiently.

(20:00) Templated DAGs and robust testing enhance platform management.

(24:15) Open-source resources drive innovation in Airflow practices.

Resources Mentioned:

Arjun Anandkumar -

https://www.linkedin.com/in/arjunanand1/?originalSubdomain=dk

Telia -

https://www.linkedin.com/company/teliacompany/

Apache Airflow -

https://airflow.apache.org/

Cosmos by Astronomer -

https://www.astronomer.io/cosmos/

Terraform -

https://www.terraform.io/

Medallion Architecture by Databricks -

https://www.databricks.com/glossary/medallion-architecture

Thanks for listening to “The Data Flowcast: Mastering Airflow for Data Engineering & AI.” If you enjoyed this episode, please leave a 5-star review to help get the word out about the show. And be sure to subscribe so you never miss any of the insightful conversations.

#AI #Automation #Airflow #MachineLearning

  continue reading

58 פרקים

Artwork
iconשתפו
 
Manage episode 464044556 series 2053958
תוכן מסופק על ידי The Data Flowcast. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי The Data Flowcast או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.

The future of data engineering lies in seamless orchestration and automation. In this episode, Arjun Anandkumar, Data Engineer at Telia, shares how his team uses Airflow to drive analytics and AI workflows. He highlights the challenges of scaling data platforms and how adopting best practices can simplify complex processes for teams across the organization. Arjun also discusses the transformative role of tools like Cosmos and Terraform in enhancing efficiency and collaboration.

Key Takeaways:

(02:16) Telia operates across the Nordics and Baltics, focusing on telecom and energy services.

(03:45) Airflow runs dbt models seamlessly with Cosmos on AWS MWAA.

(05:47) Cosmos improves visibility and orchestration in Airflow.

(07:00) Medallion Architecture organizes data into bronze, silver and gold layers.

(08:34) Task group challenges highlight the need for adaptable workflows.

(15:04) Scaling managed services requires trial, error and tailored tweaks.

(19:46) Terraform scales infrastructure, while YAML templates manage DAGs efficiently.

(20:00) Templated DAGs and robust testing enhance platform management.

(24:15) Open-source resources drive innovation in Airflow practices.

Resources Mentioned:

Arjun Anandkumar -

https://www.linkedin.com/in/arjunanand1/?originalSubdomain=dk

Telia -

https://www.linkedin.com/company/teliacompany/

Apache Airflow -

https://airflow.apache.org/

Cosmos by Astronomer -

https://www.astronomer.io/cosmos/

Terraform -

https://www.terraform.io/

Medallion Architecture by Databricks -

https://www.databricks.com/glossary/medallion-architecture

Thanks for listening to “The Data Flowcast: Mastering Airflow for Data Engineering & AI.” If you enjoyed this episode, please leave a 5-star review to help get the word out about the show. And be sure to subscribe so you never miss any of the insightful conversations.

#AI #Automation #Airflow #MachineLearning

  continue reading

58 פרקים

כל הפרקים

×
 
Loading …

ברוכים הבאים אל Player FM!

Player FM סורק את האינטרנט עבור פודקאסטים באיכות גבוהה בשבילכם כדי שתהנו מהם כרגע. זה יישום הפודקאסט הטוב ביותר והוא עובד על אנדרואיד, iPhone ואינטרנט. הירשמו לסנכרון מנויים במכשירים שונים.

 

מדריך עזר מהיר

האזן לתוכנית הזו בזמן שאתה חוקר
הפעלה