))
עונה 3 פרק 13 - סוף עונה חלק ב - אופטימיזציה של מודלי בינה מלאכותית - פרופ׳ ניר שביט
Manage episode 493046679 series 3516742
תוכן מסופק על ידי ilan & josh. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי ilan & josh או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.
בפרק הסיום שלנו אנו שוברים את המיתוס שמודלים חייבים להיות מפלצות GPU. פרופ’ ניר שביט, מייסד-שותף של Neural Magic וכיום ברד האט, חושף כיצד Sparsity ו-Quantization מצמצמים את משקל המודל, חוסכים בזיכרון ובכסף – ומשאירים את הביצועים בשיא.
ניר מסביר למה vLLM הוא ה”לינוקס” של עולם ה-LLM: שכבת אינפרנס פתוחה שמסתירה את כאב-הראש של חומרה משתנה ומנהלת זיכרון, תזמון ומשאבים על פני כמה GPUs, תוך תחרות צמודה מול TensorRT והפתרונות הסגורים.
בהמשך, אנחנו מדברים על העתיד: האם נגיע ל-AGI דרך מודל אחד ענקי, או דווקא בזכות אקו-סיסטם של “מיקסטר אוף אקספרטס” – הרבה מודלים קטנים וממוקדים שכל אחד מצטיין בתחומו? ניר טוען שהכול עניין סטטיסטי, ושמה שחסר לנו הוא בעיקר עוד דאטה משוכלל, לא מודעות עצמית.
סיום עונה שמוכיח שאפשר לעשות יותר עם פחות – ושהמרוץ אחר מודלים יעילים רק מתחיל.
41 פרקים
שתפו
