Artwork

תוכן מסופק על ידי The Data Flowcast. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי The Data Flowcast או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.
Player FM - אפליקציית פודקאסט
התחל במצב לא מקוון עם האפליקציה Player FM !

Inside Modern Data Infrastructure at Massdriver with Cory O’Daniel and Jake Ferriero

31:24
 
שתפו
 

Manage episode 497520222 series 2948506
תוכן מסופק על ידי The Data Flowcast. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי The Data Flowcast או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.

Managing modern data platforms means navigating a web of complex infrastructure, competing team needs and evolving security standards. For data teams to truly thrive, infrastructure must become both accessible and compliant without sacrificing velocity or reliability.

In this episode, we’re joined by Cory O’Daniel, CEO and Co-Founder at Massdriver, and Jacob Ferriero, Senior Software Engineer at Astronomer, to unpack what it takes to make data platform engineering scalable, sustainable and secure. They share lessons from years of experience working with DevOps, ML teams and platform engineers and discuss how Airflow fits into the orchestration layer of today’s data stacks.

Key Takeaways:

(03:27) Making infrastructure accessible without deep ops knowledge.

(07:23) Distinct personas and responsibilities across data teams.

(09:53) Infrastructure hurdles specific to ML workloads.

(11:13) Compliance and governance shaping platform design.

(13:27) Tooling mismatches between teams cause friction.

(15:13) Airflow’s orchestration role within broader system architecture.

(22:10) Creating reusable infrastructure patterns for consistency.

(24:13) Enabling secure access without slowing down development.

(26:55) Opportunities to improve Airflow with event-driven and reliability tooling.

Resources Mentioned:

Cory O’Daniel

https://www.linkedin.com/in/coryodaniel/

Massdriver | LinkedIn

https://www.linkedin.com/company/massdriver/

Massdriver | Website

https://www.massdriver.cloud/

Jacob Ferriero

https://www.linkedin.com/in/jacob-ferriero/

Astronomer

https://www.linkedin.com/company/astronomer/

Apache Airflow

https://airflow.apache.org/

Prequel

https://www.prequel.co/

Thanks for listening to “The Data Flowcast: Mastering Apache Airflow® for Data Engineering and AI.” If you enjoyed this episode, please leave a 5-star review to help get the word out about the show. And be sure to subscribe so you never miss any of the insightful conversations.

#AI #Automation #Airflow #MachineLearning

  continue reading

70 פרקים

Artwork
iconשתפו
 
Manage episode 497520222 series 2948506
תוכן מסופק על ידי The Data Flowcast. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי The Data Flowcast או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.

Managing modern data platforms means navigating a web of complex infrastructure, competing team needs and evolving security standards. For data teams to truly thrive, infrastructure must become both accessible and compliant without sacrificing velocity or reliability.

In this episode, we’re joined by Cory O’Daniel, CEO and Co-Founder at Massdriver, and Jacob Ferriero, Senior Software Engineer at Astronomer, to unpack what it takes to make data platform engineering scalable, sustainable and secure. They share lessons from years of experience working with DevOps, ML teams and platform engineers and discuss how Airflow fits into the orchestration layer of today’s data stacks.

Key Takeaways:

(03:27) Making infrastructure accessible without deep ops knowledge.

(07:23) Distinct personas and responsibilities across data teams.

(09:53) Infrastructure hurdles specific to ML workloads.

(11:13) Compliance and governance shaping platform design.

(13:27) Tooling mismatches between teams cause friction.

(15:13) Airflow’s orchestration role within broader system architecture.

(22:10) Creating reusable infrastructure patterns for consistency.

(24:13) Enabling secure access without slowing down development.

(26:55) Opportunities to improve Airflow with event-driven and reliability tooling.

Resources Mentioned:

Cory O’Daniel

https://www.linkedin.com/in/coryodaniel/

Massdriver | LinkedIn

https://www.linkedin.com/company/massdriver/

Massdriver | Website

https://www.massdriver.cloud/

Jacob Ferriero

https://www.linkedin.com/in/jacob-ferriero/

Astronomer

https://www.linkedin.com/company/astronomer/

Apache Airflow

https://airflow.apache.org/

Prequel

https://www.prequel.co/

Thanks for listening to “The Data Flowcast: Mastering Apache Airflow® for Data Engineering and AI.” If you enjoyed this episode, please leave a 5-star review to help get the word out about the show. And be sure to subscribe so you never miss any of the insightful conversations.

#AI #Automation #Airflow #MachineLearning

  continue reading

70 פרקים

כל הפרקים

×
 
Loading …

ברוכים הבאים אל Player FM!

Player FM סורק את האינטרנט עבור פודקאסטים באיכות גבוהה בשבילכם כדי שתהנו מהם כרגע. זה יישום הפודקאסט הטוב ביותר והוא עובד על אנדרואיד, iPhone ואינטרנט. הירשמו לסנכרון מנויים במכשירים שונים.

 

מדריך עזר מהיר

האזן לתוכנית הזו בזמן שאתה חוקר
הפעלה