Half precision

PyTorch Developer Podcast

תוכן מסופק על ידי PyTorch, Edward Yang, and Team PyTorch. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי PyTorch, Edward Yang, and Team PyTorch או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.

Netflix Is A Daily Joke

1
Tom Segura: A Joke About Supermodels 2:40

לפני 15 ימים2:40

הפעל מאוחר יותר

רשימות

לייק

אהבתי

2:40

Tom Segura jokes about supermodels in his Netflix special, "Sledgehammer".

לפני 4 שנים 18:00

MP3•בית הפרקים

In this episode I talk about reduced precision floating point formats float16 (aka half precision) and bfloat16. I'll discuss what floating point numbers are, how these two formats vary, and some of the practical considerations that arise when you are working with numeric code in PyTorch that also needs to work in reduced precision. Did you know that we do all CUDA computations in float32, even if the source tensors are stored as float16? Now you know!

Further reading.

The Wikipedia article on IEEE floating point is pretty great https://en.wikipedia.org/wiki/IEEE_754
How bfloat16 works out when doing training https://arxiv.org/abs/1905.12322
Definition of acc_type in PyTorch https://github.com/pytorch/pytorch/blob/master/aten/src/ATen/AccumulateType.h

83 פרקים

#Tech #PyTorch #Edward Yang #Team PyTorch #Deep Learning #Machine Learning

Half precision

PyTorch Developer Podcast

32 subscribers

published לפני 4 שנים

שתפו

MP3•בית הפרקים

Further reading.

The Wikipedia article on IEEE floating point is pretty great https://en.wikipedia.org/wiki/IEEE_754
How bfloat16 works out when doing training https://arxiv.org/abs/1905.12322
Definition of acc_type in PyTorch https://github.com/pytorch/pytorch/blob/master/aten/src/ATen/AccumulateType.h

83 פרקים

#Tech #PyTorch #Edward Yang #Team PyTorch #Deep Learning #Machine Learning

כל הפרקים

ברוכים הבאים אל Player FM!

Player FM סורק את האינטרנט עבור פודקאסטים באיכות גבוהה בשבילכם כדי שתהנו מהם כרגע. זה יישום הפודקאסט הטוב ביותר והוא עובד על אנדרואיד, iPhone ואינטרנט. הירשמו לסנכרון מנויים במכשירים שונים.