465 Carburetor 36, edge

רברס עם פלטפורמה

תוכן מסופק על ידי רברס עם פלטפורמה. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי רברס עם פלטפורמה או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.

8M ago

MP3•בית הפרקים

[קישור לקובץ mp3]

פרק מספר 465 של רברס עם פלטפורמה, הוקלט ב-15 באוגוסט 2023 (אם הטכנולוגיה השתנתה בשבוע וקצת שחלפו - ככה זה . . . זה מה שאנחנו יודעים היום).

פרק נוסף בסדרת הקרבורטור, שבה אורי ורן מארחים את נתי שלום כדי לדבר (בעיקר) על תשתיות - וספציפית היום (מעבר לשלום עולמי) על איך אפשר לעשות “Inferencing בקצה” (Inference on the Edge).

01:40 רקע

(נתי) אז אני חושב שאני אתן טיפה רקע אולי, על למה זה בכלל הפך להיות רלוונטי ולמה זה מעניין

אז הסטטיסטיקות - אני חושב שהן די ברורות, אבל אני אגיד אותן ברמת המספרים.
היום בעצם . . . .
מה זה “יחידת קצה”? בואו נתחיל מזה - יחידת קצה זה יכול להיות . . .

(אורי) אחרי זה תסביר מה זה Inferencing, בסדר? . . .

(רן) יש לנו פה פודקאסט שלם בשביל להסביר שתי מילים . . .

(נתי) אז אנחנו אומרים, קודם כל, שיחידת קצה - זה מצלמה, זה יכול להיות סנסורים (Sensors), זה יכול להיות מחשב . . . זה שנמצא ליד בבית-חולים ויושב ליד המכשיר הרפואי, זה יכול להיות ממש מיני-Data Center.

(רן) . . . טלפונים, שעונים . . .

[טוסטר משולשים?]

(נתי) . . . . טלפונים, רשת סלולרית . . . כשאתם רואים את המכולות האלה מתחת לאנטנות? אז זה יחידת-קצה.

(נתי) אז בעצם נוצרים הרבה מאוד מכשירים, שהיום עוברים איזשהו תהליך של דיקיטיזציה (Digitization)

זאת אומרת שהם בעצם הופכים להיות מחומרה, שהיא יחסית מנותקת

ו”מתישהו” בא טכנאי לטפל בה - פעם בכמה שנים - ועושים להם שדרוג, מאוד יקר בדרך כלל.

זה משהו שבעצם . . . הם מחוברים כל הזמן לרשת - בדרך כלל ב-Wi-Fi או ב-5G, או בכבל אופטי שמחובר ל-Base Station.

וזה בעצם שינה את כל ההתייחסות לדבר הזה.

אני אתן את הדוגמה שכולכם מכירים - הטלוויזיה שלכם בבית

לפני כן, הייתה טלוויזיה שמחוברים אליה כבל עם איזו קופסא, והייתם קונים את הקופסא הזאת מ-HOT או מ-Yes, ומקבלים [נניח] שירותי Streaming.
היום, הטלוויזיה עצמה מתעדכנת באופן אוטומטי - כמו הטלפון
כי היא בעצם מבוססת על Android, מחוברת ל-Wi-Fi - היא נהיית חלק מ . . . “עוד מכשיר” שנמצא היום ברשת.

(אורי) היא נהייתה “חכמה” . . . האנשים שרואים בפנים - פחות, הם נהיים פחות חכמים . . . .

(רן) אבל בשביל זה קניתי טלוויזיה חכמה - חשבתי שזה יעזור . . .

(נתי) . . . זה מה שקורה בטלוויזיה . . . . אבל בקיצור, זה . . . . ממש רואים את השינוי הזה קורה . . .

(רן) יש לי webOS! זוכר את webOS?

(נתי) בטח . . . .

(רן) אז ל-LG יש webOS - זו מערכת ההפעלה לטלוויזיות של LG.

(נתי) עוד מעט תגיד לי שהם מביאים גלידות גם וכאלה . . .
אז באמת, יש איזה תהליך דיגיטליזציה (Digitalization) - התהליך דיגיטליזציה התחיל כבר לפני כמה שנים

באמת בעיקר בעולמות של Consumer Business - זאת אומרת, טלוויזיות, טלפונים, וכיוצא בזה.
ה-Wi-Fi שלי בבית הוא Google Wi-Fi, אז הוא גם כאילו . . . כל הזמן אני מסתכל ואני רואה שהוא התעדכן, אני אפילו לא יודע שהוא התעדכן.

דברים שבעבר הייתי צריך להוריד איזה Package מהאינטרנט, לעשות Upgrade, לחבר עם USB וכאלה דברים.
(רן) לחבר USB, להקיש משהו . . . .

(נתי) היום אתה פשוט סורק את ה-QR Code, מתחבר, מזהה אותו - ובעצם הטלפון שלך הופך להיות תחנת שליטה של ה-Wi-Fi, שמתחבר לאינטרנט, עושה לו את הסנכרון

ואני יכול לראות את כל הנתונים של ה-Wi-Fi בבית - מי קולט יותר, מי קולט פחות, מי מחובר למה . . . .
“כל ה-Mesh הזה”, מה שנקרא.

05:00 תחנות הקצה יותר חכמות - אז מה?

(רן) אז תחנות הקצה יותר חכמות . . . .

(נתי) בדיוק, תחנות הקצה הופכות להיות חכמות - והיום זה חודר גם לעולמות של Enterprise ו-Defense, כל “התעשיות המסורתיות”.

(רן) אז זה זה “ה-Enabler” שלנו . . .

(נתי) זה ה-Enabler, בדיוק . . .

(רן) . . . . זה מה שמאפשר את המהפך . . . .

(נתי) אז זה השלב הראשון.

(אורי) בכלל, כש . . . עוד לפני ה-Internet of Things, תחנות הקצה היו אנלוגיות לגמרי, לא שום דבר דיגיטלי . . . . ה-Internet of Things הפך אותן לחיבור - לא יודע מה, IP כנראה . . . - לעולם.

(נתי) בדרך כלל IP, כן . . . .

(אורי) . . . ועכשיו הן גם מתחילות להיות חכמות, ה-”Things” . . .

(נתי) נכון - אז בעצם ההסתכלות ברמה . . .
בוא נגיד ככה - מי שמסתכל על זה ובא מעולם ה-Cloud Infrastructure, ומסתכל על זה כ-Extension של ה-Cloud . . .

זאת אומרת, ה-Cloud עד היום היה הרבה מאוד מחשבים שמרוכזים ב-Data Center-ים מאוד גדולים.
בעצם, החווה של Data Center-ים האלה - זה היחידות קצה אלה.

אבל בעצם הם כולם “סוג של-Cloud” -

אמזון אפילו מתייחסים אליהם כ-Region.
גם Azure, כשאתה מסתכל על משהו שנקרא Azure Stacks

זאת אומרת שגם הענן עצמו ייצר את ה”יחידות מחשוב” האלה, שאפשר להתקין אותן באתרים מרוחקים.

והם מתחברים - ומתנהגים כמו עוד יחידת מחשוב, מבחינת ה-API וה-FSLM . . . .

(רן) אבל זה סוג של PoP, נכון? זה Point of Presence . . . .

(נתי) זה סוג של PoP . . . .

(רן) זה לא טלוויזיה.

(נתי) לא, זה לא טלוויזיה . . . . אז אני אומר, זה באמת קיבל כמעט . . .

לכן אמרתי - מי שבא מעולם ה-Cloud Data Center, מסתכל על זה כעל Extension של ה-Cloud.
מי שבא מעולם ה-Consumer, מסתכל על זה כמכשיר חכם.
זה ממש שתי זוויות ראייה שונות לאותו דבר, לאותו מגע.

06:30 בסוף יש אפליקציה

(אורי) אבל זה הכל שאלה . . . . בסוף יש אפליקציה, איזושהי פונקציונליות שצריכה לקרות - ותחליט אם טוב לך לעשות אותה בקצה או טוב לך לעשות אותה בשרת . . .

(נתי) או, אז זו בדיוק הנקודה - עכשיו אני, ופה נכנסת המילה הזאת שאני צריך לפרש, שנקראת “Inferencing”, ותיכף נסביר גם איך AI נכנס פה לתמונה וכל מיני דברים כאלה . . . .
אז בעבר, היתה לנו מצלמה שמשדרת ב-Streaming למרכז - בדרך כלל זה Cloud, איזשהו Cloud - ששם נעשה העיבוד של התמונה הזאת

ובסוף אנחנו מוציאים איזה תובנות

אם זו מערכת Security אז האם זה אויב או לא אויב, האם יש פה איזו חדירה או פריצה למערכת . . .
ואפשר, אם זו מערכות Firewall, אז סורקים Packet-ים, ובסוף מזהים אם זה Malicious Attack או לא.

אבל רוב העיבוד הזה היה נעשה בדרך כלל במרכז של קבלת ההחלטות - והדבר הזה היה יחסית “טיפש”, והעביר את הנתונים האלה.

פה נכנס הנושא של AI - מה ה-AI הביא לנו? הוא הביא לנו יכולת באמת לזהות אובייקטים בצורה הרבה יותר חכמה

אני יכול לזהות אם זה חתול או כלב, זו הדוגמא הקלאסית.
אני יכול להשתמש בזה כדי לזהות, למשל, בקווי ייצור, אם מכונה הולכת להתקלקל - כי אני מתחיל לראות שהיא . . .
או מכונית, לצורך העניין - אני רואה שפתאום ה-Log-ים שהיא מוציאה מתחילים להיראות דומה ל-Pattern-ים של תקלה.

ואז אני יכול לצפות את זה מראש - וכולנו יודעים שהשבתה של קו ייצור, אם אני כבר מגיע להשבתה, אז זה עלויות מטורפות
לעומת אם אני מזהה את זה לפני ועושה תיקון Pre-emptive ו . . . .
(רן) מה שנקרא Predictive maintenance . . . .
(נתי) . . . . Predictive maintenance . . .
(אורי) לדעתי היה לנו . . . .
(נתי) . . . . יש חברה מאוד מצליחה בארץ שעושה את זה, שנקראת Augury, בחיפה, שמתעסקת בזה.
(אורי) . . . לדעתי ראיינו . . . נכון? מישהו מ . . . . [לא חושב . . . . אבל צריך בהחלט]
(רן) זכור לי במעומעם . . . .
(אורי) . . . וגם מ-Lightricks . . .

[זה כן - 417 Developer Growth with Barak Yoresh from Lightricks]

שעושים את כל העבודת ה-AI במכשיר, ולא בשרת . . .

[כזה - Qualcomm Ventures Invests in Augury to Power Industrial Market Transformation with AI and 5G]

(נתי) נכון, אז תכף נגיע למה זה נהיה עכשיו יותר מגמה.

אז בגדול, הסטטיסטיקות מדברות על זה שקצב הנתונים - בגלל כל מה שאמרנו כרגע - המכשירים האלה מייצרים הרבה יותר Data ממה שהם ייצרו בעבר.

אנחנו מדברים על רזולוציה של תמונות שהיום היא כבר לא 4K, אני לא זוכר כבר . . . . לא 8K ואפילו יותר.
אנחנו מדברים על נפחים . . . .

(אורי) מה הבעיה? יש 5G - הוא “נולד בשביל הדברים האלה” . . . .

(נתי) אז הסטטיסטיקה היא שקצב גידול ה-Data, לעומת קצב גידול ה-Access - ה-Access זה ה-Network - הוא כבר לא מדביק אחד את השני.

זאת אומרת, ה-Data גדל בקצב של בערך פי שלוש יותר מהקצב של ה-Access.
וגם ב-5G רואים שהתמונה בהתחלה, היא שבאמת 5G נותן איזשהו Capacity - ואחרי זה איזושהי ירידה

כי פשוט כבר זה מגיע לאיזושהי רוויה ביכולת שלו להכיל את כמות ה-Data.

אז אם מסתכלים על הגרפים, רואים בעצם איזשהו . . . ש-5G לעומת 4G נותן איזושהי קפיצה - אבל אחרי זה הוא יורד

ואחרי שהוא יורד, באזור 2027, הוא כבר הרבה מתחת למה שצריך מבחינת כמות ה-Data שאמורה לזרום דרכו.

09:44 התחממות גלובאלית ו-Latency

(אורי) בוא נוסיף לזה עוד שיקול . . . . איך קוראים לזה? התחממות הכדור . . . Emissions.

(נתי) נכון, נכון . . . .
אז יש באמת הרבה גורמים, שגורמים לזה שאנחנו בסופו של דבר מוצאים את זה שהגישה הקיימת, של לעבד את הכל בענן, ו-”Device-ים טיפשים” - לא מחזיקה מים.
יש נושא נוסף, שהוא Latency

אז המספרים הם כאלה, כשעל המכשיר עצמו זה 2 msec;
בינו לבין ה . . . אם נניח אנחנו מדברים על ביזור גיאוגרפי, אז בינו לבין איזושהי תחנת Data Center קרוב זה יכול להיות באזור ה-5 msec.
אחרי זה זה לענן - בדרך כלל ל-Data Center-ים שהם מרכזים יותר גדולים, אנחנו מגיעים כבר לאזור ה-10 msec.
וכשאנחנו מדברים על ביזור שהוא יותר ספורדי, אז אנחנו יכולים לדבר על אזור ה-50 msec.

עכשיו, להרבה אנשים זה לא אומר הרבה, אבל יש הרבה מאוד מערכות - בטח מערכות של בקרה ושליטה וכאלה דברים, ובטח כשאנחנו מדברים על מכוניות ו-Connected Cars, שה-Latency הזה הוא סופר-משמעותי.

ולכן היתרון הנוסף של עיבוד בקצה הוא בעצם יכולת לקבל החלטות יותר קרובות ל-Real Time.
(רן) . . . . וגם לפחות נקודות כשל . . . ככל שאתה עובר יותר תחנות, ככה . . .
(נתי) בדיוק.

עכשיו, יש פה איזו סתירה אינהרנטית (Inherent) - וזה בעצם מה שכל העולם של Inferencing בעצם מדבר עליו.
הסתירה האינהרנטית היא ש-AI בעצם בא ואומר: “אני יכול באופן לא-תיאורטי, להיות הרבה יותר חכם באיך שאני מעבד את המידע הזה - אני יכול להיות אינטליגנטי, אני מפרק את ה-Data ל-Feature-ים, אני יודע לזהות אם זה איזשהו . . . שוב פעם, ‘חתול או כלב’, ‘ספינה או ספינת אויב או לא ספינת אויב’, אני יכול לקבל הרבה יותר החלטות חכמות”

אבל מצד שני, AI, כמו שאנחנו יודעים, דורש משאבים - משאבי-מחשוב הרבה יותר משמעותיים.

ופה האתגר הכי גדול של העיבוד בקצה - איך אני מצליח להביא יכולות עיבוד יותר, הייתי אומר, “חזקות ומשוכללות”, שבעצם AI צורך

אבל עדיין שומר על עלויות.

למה עלויות הן מאוד מרכזיות בזה? אז אתם תעשו את המכפילים . . . .

ב-Verizon למשל, יש לך, רק על היחידות של ה-5G, יש לך בערך 30 אלף יחידות

אז כל דולר שם, אם אוטומטית תוסיף אותו, תכפיל אותו ב-30 אלף - אתה מגיע למספרים מאוד גדולים.

הם הראו שרק ה-Efficiency של Energy - זאת אומרת, היכולת שלי לחסוך ב-Energy שם - הוא כבר 70% מהעלות של להחזיק רשת היום

והיכולת לחסוך שם - היא הופכת להיות מאוד משמעותית.

אז המכפילים משנים את כל המודל ה-Economy של הדברים מהסוג הזה

ולכן האתגר פה הוא לא רק איך להעביר את העיבוד לקצה - אלא איך לעשות את זה עדיין בעלויות שהן יחסית נמוכות.

וזה מייצר איזו משוואה, שהיא יותר מורכבת, בוא נגיד, מהדברים האלה - וזה גורם לאבולוציה . . . . או שלא הייתי קורא לזה אבולוציה - להתפתחות שהיא כמעט התפוצצות, במידה מסוימת

של הרבה מאוד, מצד אחד, GPU חדשים ו-CPU חדשים, ו-Hardware מסוגים שונים, שהוא מאוד Optimized ל-Workload מסוים

[אוקיי, לעצור הכל ולהקשיב לזה - The GPU Song (GPUs Are Fire)]

וזה מייצר הרבה מאוד פרגמנטציה (Fragmentation) בקצה

זאת אומרת, אם בעולם ה-Data Center יש איזו “מוגנות” מסוימת - זאת אומרת, יש לך וריאציות, אבל אתה מגיע ל”גג”, כמה סוגים של XL, Medium וכאלה, עם קצת וריאציות.
בגלל המתח הזה, שבין עלות ל-Performance, כל הזמן יוצאים עכשיו Device-ים חדשים.

זה מזכיר נורא את מה שקרה ב-Mobile Phones, ב-Smartphones, בדור הראשון שלו, פחות או יותר.

(רן) כל מי שמפתח אפליקציות יודע שאם הוא מפתח ל-Android, אז זה ג'ונגל . . .

(נתי) נכון . . . .

(רן) וב-iOS זה קצת יותר קל, אבל עדיין די מאתגר - יש המון רזולוציות, המון סוגים של Capabilities . . . לפעמים יש לך SIM, לפעמים אין לך SIM, לפעמים יש לך גישה ל-Gyro, לפעמים אין לך - אבל אתה צריך לקחת בחשבון המון המון וריאציות.

וזה מאוד מאתגר, בתור מפתח אפליקציות . . . .

(נתי) ואני אומר שזה רק הולך להחריף . . .
כי אני אומר - המתח הזה בין להצליח להגיע לעלות וביצועים מאוד גבוהים . . .

אז אני אומר - אנחנו נמצאים פחות או יותר בדור הראשון של ה-iPhone, בעולם של הקצה.
ועכשיו הגל הזה מתחיל לקרות, עד שהוא יגיע לרוויה.
אני חושב ש-iPhone 14, שלא יודע אם שמעתם את הסיפורים עליו, כבר מגיע - שהם מנסים לסחוט עכשיו את הכסף דרך הבטריה . . .

אנחנו מאוד רחוקים מזה - ואני מעריך שבשנים הקרובות, אפשר לראות את זה במניה של nVIDIA, זה הולך להמשיך להתפוצץ, עוד הרבה הרבה שנים קדימה.

14:29 רץ על הקצה

(רן) רגע, אבל שנייה - לא הסברנו מה זה Inferencing . . . .

(נתי) אז Inferencing זה בעצם . . . המילה הכי פשוטה בעברית לזה היא בעצם “עיבוד בקצה”

יכולת לזהות אובייקטים בצורה אינטליגנטית.

בסופו של דבר, אם אני אחזור חזרה למודלים של AI, אז יש ב-AI שני חלקים:

יש חלק אחד של Training.
ויש חלק אחד של עיבוד.
החלק של ה-Training זה המערכת . . . .

אני אלך אולי צעד אחורה, למי שהמושג AI וכל המודלים האלה של Training ומודלים הרבה פעמים מבלבלים אותו

בסופו של דבר, התוספת - השינוי הגדול שה-AI הביא - זה במקום, לצורך העניין, לעשות שאילתא ולקבל תשובה על מה שאני שואל, אז זו יכולת לקבל “קירוב של תשובה”.
והאינטליגנציה היא בדיוק במילה הזאת, “קירוב”

שזה ה-Vector Database וכל מיני דברים

שבעצם מאפשרים לי להגיד “אין לי את מה שאתה מבקש - אבל אני יכול לתת לך משהו משוערך”.

אז חלק מזה בכתיבת טקסט - אני עושה Prediction למילה הבאה שאתה תכתוב.
חלק מזה בעיבוד תמונה - אני יודע מה הפיקסל הבא שאתה תראה.

ומשם בעצם מתפתח עולם שלם של אלגוריתמים, של בעצם . . . . הם כולם צופים את מה זה ה-Next step הזה בתמונה; מה זה ה-Next step הזה בכתיבה; מה זה ה-Next step הזה . . . .
והרבה פעמים ה”הסקת מסקנה” הזאת - היא בנויה על תהליך שנקרא Training או Reinforcement

כל מיני תהליכים שבסופו של דבר, מאפשרים למערכת לעשות את ה-Prediction הזה בצורה יותר מדויקת, ולאפס את המשקולות.

(רן) אז Inferencing עושה כמו Serving . . .

(נתי) נכון, אז אני אגיד אותו - ואני אחזיר חזרה את זה לעולם של AI והחלוקה בין Training לבין Inferencing

כי Inferencing, בדרך כלל, זה כבר תוצאה של Training

זאת אומרת, לקחתי את החתול וכלב, הרצתי הרבה מאוד תמונות, אם אני עושה תהליך של Reinforcement או תהליך של Data שנכנס למערכת
הרצתי הרבה מאוד תמונות כאלה, הגעתי למשקולות הנכונים
ויש לי עכשיו כרגע אלגוריתם, שיודע לקבל תמונה ולהגיד אם זה חתול או כלב.

עכשיו, הרבה פעמים, האתגר הבא שלי, למי שמכיר את TensorFlow - אז יש TensorFlow ויש TensorFlow Lite

זה גם לקחת את המודל הזה - וגם להקטין אותו, כדי שהוא באמת יוכל לרוץ ביחידות-קצה, קטנות יותר.

ואז בעצם מה שיקרה בתחנת-הקצה זה תהליך יחסית פשוט - Input שנכנס זה תמונה ו-Output שאומר: קלאסיפיקציה (Classification) -

זה תמונה כזאת, זה תמונה כזאת, זה תמונה כזאת . . . .

וזה נקרא Inferencing - המילה Inferencing, או “Edge Inferencing", הוא בעצם אומר “אני לא עושה את ה-Inferencing ב-Cloud, אני עושה אותו בקצה”.

אז כשמו - כן הוא: זה בעצם יכולת העיבוד בקצה.

כמו שאמרתי, מאחוריו מסתתר עולם שלם של טכנולוגיה - של איך מביאים את הדיוק הזה

מצד אחד, של העיבוד, Cost, אנרגיה - כל הדברים הללו איכשהו צריכים להסתדר, ויש המון המון קונפליקטים בתוך הדבר הזה.
ולכן נהיה פה עולם חדש ומאוד מעניין, שמתחיל להיווצר - של סטרטאפים, של יצרני חומרה, של . . . . לא רק “nVIDIA-יות” לצורך העניין.

17:32 “אחת-לשכחתי” ופרטיות בקצה

(אורי) אז יש לנו באמת, לא יודע מה - Lightricks, שמזהים ועושים עיבוד של התמונה במכשיר שלנו, או Augury, שעושים את זה ב-Device-קצה, ב-Sensor בעצם . . . . .

אבל קודם כל, השאלה היא האם זה פתר לנו באמת את הבעיה? כי המודל, קודם כל, צריך “לדחוף אותו” - אז אנחנו מסתמכים על זה שאנחנו דוחפים מודל “אחת-לשכחתי” . . . .

(נתי) נכון . . .

(אורי) . . . כי אם אתה צריך לדחוף מודל כל הזמן, אז . . . .

(נתי) אז זהו, אז הקצב עדכון מודל אמור לקטון עם הזמן, כי מתישהו הוא מתייצב, ואז בדרך כלל אתה תעדכן מודל כשאתה רוצה להוסיף אובייקטים, או שיש איזה Drift למודל . . . .

(אורי) זה נכון באפליקציות מסוימות, שבהן . . . . “חתול” ו”כלב” כנראה לא ישתנו בזמן הקרוב . . .

(נתי) נכון . . . .

(רן ) “אפליקציות אבולוציונית”, נקרא לזה . . .

(אורי) כן - אבל למשל, מהעולם של Outbrain: עולם החדשות משתנה כל הזמן . . . .

(רן) בסדר - אבל לא כל דבר, לא כל Inference נכון שיהיה בקצה . . . .

(אורי) לא, לא . . . נכון, אבל אני אומר - אתה צריך להבין למה זה מתאים, וזה כנראה לא מתאים ל . . .

(רן) . . . ה-”Freshness” של מודל . . . . הFreshness של המודל זה פרמטר - בין הפרמטרים האחרים שנתי הזכיר. . . .

(אורי) נכון . . . לצורך העניין, Outbrain . . .

(נתי) האמת שאיתגרת אותי עכשיו . . . . אני חושב עכשיו על האתגר שאמרת . . . .
באמת על משהו שהוא בעצם כל הזמן . . . הקלסיפיקציה (Classification) שלו משתנה בעצם . . . .

(אורי) Outbrain מלמדת מודל כל חמש דקות, אוקיי . . . .

(רן) ובוא אני אוסיף לך עוד פרמטר, שאני חושב שאתה גם מכיר - Privacy : היכולת להשאיר Data של המשתמש - אצל המשתמש. זו יכולת שהיא מאוד חשובה. הצורך להביא את ה-Data של המשתמש לתוך ה-Data Center אמנם עושה את עבודת ה-Machine Learning יותר קלה - אבל גם מסכנת את ה-Privacy של המשתמש.

ובאמת, יש לא מעט . . . אני ראיתי חברות עם מוצרים שממש מתעסקים בתחום הזה - של לעשות Inferencing בקצה, אך ורק לצורך שמירת Privacy.

הם גם בונים את המודלים בקצה, לצורך העניין . . . .

(נתי) כן . . . אה, את אומרת גם את ה-Training?!

(רן) כן, גם ה-Training קורה שם, במידה מסוימת . . . .

(נתי) וזה, אתה אומר, מסיבות של Privacy?

(רן) כן . . . . אפשר לעשות גם Training שהוא מבוזר - זאת אומרת, חלק מה-Data כן מגיע לענן, אבל לא הכול. אבל כן . . .

(נתי) זה Distributed Training . .

(אורי) זה כשה-Training מתבצע על Sampling ? . . .

(נתי) לא - הוא כל הזמן בעצם, “מערכת לומדת” כזאת, שבעצם . . .

(רן) . . . אז או שה-Data . . . או שה-Training ממש נעשה בחלקו על ה-Device, או שאתה מעביר ל-Data Center . . .

(נתי) . . . שקרוב ל-Device . . .

(רן) . . . . Data שהוא אגרגטיבי (Aggregated), שהוא Anonymized וכו’ - ואז כן, ה-Training נעשה ב-Data Center. אבל עדיין - יש לך פה Risk.

אז אני אומר - גם השיקול של Privacy, ובטח יש עוד שיקולים אחרים למתי לעשות את ה-Inference בקצה או לא בקצה.

20:39 תשתית מודרנית של עיבוד

(רן) אז כאילו, אלה השיקולים, נקרא לזה, “העסקיים” . . .

(נתי) נכון.
(נתי) עכשיו - אני מסתכל על זה ברמה של איך נראית, בדרך כלל, היום תשתית מודרנית של תהליך כזה של עיבוד.

אז יש לך בעצם, בקצה, יש לך את ה-Device
תמיד יש עליו איזשהו Software.

היום ה-Software הוא בדרך כלל משלב יכולות AI.

ו-Streaming לתוך איזשהו . . . זה מה שנקרא “Far Edge” ו-”Near Edge” - ו-”Center”.

זה מתחלק לשלושה Tier-ים, שבעצם כשמם כן הם . . .
אבל הם ביחס שמה-Data Center החוצה.

אז Far Edge - זה אומר שהוא קרוב לקצה.

זאת אומרת, זה אומר שהוא הוא Near to the Edge - אבל רחוק מה-Data Center
(אורי) . . . מה שנקרא “The last mile” . . .
(נתי) כן, בדיוק . . . אז “Last mile” זה מושג יותר, הייתי אומר, “נפוץ”, מעולם ה-Networking וכו’.

והיום, בעולמות של Datacenter-ים מבוזרים, אז קוראים לזה “Far Edge” ו-”Near Edge”

כש-Far Edge, בדרך כלל, מייצג יחידת עיבוד בינונית, או אפילו קטנה.
ו-Near Edge הוא ממש Data Center.

אם תסתכלו על זה, בדרך כלל, נניח בעולמות של TelCos, אז קוראים לזה “NFL Cities”

זאת אומרת, זה מרכזים שהם Hub-ים, שיש בהם, יחסית, ריכוז גדול של אוכלוסייה.

אז למשל, הרבה פעמים ה-Telcos יהיו מפוזרים . . . הסיבה שקוראים לזה “NFL cities” זה כי האיצטדיונים איכשהו פזורים באופן לא אקראי, במרכזי אוכלוסין גדולים . . . אז יש קורלציה.

אז ה-Far Edge - הוא קרוב ליחידת-קצה

ויש לנו את ה-Functional Edge - זה ממש ה-Device עצמו, המצלמה, או ה-Sensor . . .

(רן) הטלפון, השעון, הטלווזיה . . . . [ואז זה Photo-Far-Edge? #סליחה]

נתי) . . . הוידאו . . . בדיוק, כן.
אז ה-Far Edge . . . עכשיו לפעמים יש Far Edge שהוא גם ה-Functional Edge, אבל הרבה פעמים הם שתי יחידות שונות.

(רן) אז Far Edge - זה יכול להיות “המכולות” שנמצאות מתחת לאנטנת סלולר . . .

(נתי) בדיוק, נכון.

(רן) . . . זה יכול להיות כל איזה 70-100 קילומטרים . . . .

(נתי) נכון, וזה בעיקר . . .

(אורי) ה-CDN-ים מתחילים לתת שירות כזה, של Processing . . . .

(נתי) זו נקודה סופר-חשובה - היום יש, מה שנקרא היום WebAssembly גם

מי שלא שמע [את 351 Bumpers 52, למשל] - אז זה סוג של טכנולוגיה, שבעצם בעיקר נפוצה ב-CDN-ים מודרניים
שבעצם מאפשרת יכולת גם של הרצת קוד עם ה-Data
וזה באמת נועד לעשות איזושהי לוגיקה של Streaming, עיבוד . . .

(רן) כן, נכון - רק לא WebAssembly - WebAssembly זה ממש בתוך הדפדפן . . .

(נתי) כן, לא - אבל יש טכנולוגיה של Web Assembly, שהיום יודעת לרוץ, ממש ב-Storage.

תיכף אני אזכר בחברה שאנחנו עובדים איתה היום ש . . . Fastly, למשל.
אז Fastly עושים הרבה שימוש ב-WebAssembly לעיבוד בקצה

כי תחשוב - כשאתה עושה Streaming ואתה אומר “אוקיי, עכשיו אני רוצה לעשות קליפ, או אני רוצה לעשות . . . רק לסנן את התמונה, או לסנן את . . . “

אני יכול לעשות הרבה מאוד מהדברים האלה - איפה שה-Data נמצא

ואני לא צריך לשנות ולשמור עוד Storage בשביל הדבר הזה
אני פשוט יכול ב-Real-Time לשנות את התמונה - ועדיין להשאיר עותק אחד של זה.

(אורי) אני חושב, אני לא יודע אם . . . . כאילו, הרבה זמן Fastly היו היחידים שנתנו את השירות הזה, של Edge Computing - וגרפו לא מעט Business.

(נתי) נכון, הם הפכו את זה . . . . הם הפכו את הטכנולוגיה למשהו שהוא יחסית כבר . . . ממש יש WebAssembly ל-Edge.
כאילו, ה-WebAssembly הזה - שהוא גם, מן הסתם, זו יכולת להריץ את זה ב-Footprint מאוד קטן, באנרגיה מאוד קטנה,

זאת אומרת, הוא מאוד יעיל, יחסית נניח לעולם של Kubernetes, ש . . .

24:10 מערכת ניהול - Orchestration & AI - ורעיון לסטארטאפ הבא

(נתי) שנייה, בואו נלך צעד אחד אחורה . . . .
אז דיברנו על מושגים של Functional Edge ו-Far Edge ו-Near Edge ו-Data Center.

(רן) . . . בקטגוריה הזאת . . . .

(נתי) בקטגוריה הזאת . . .

(רן) ו-Near Edge?

(נתי) אז הם, בדרך כלל, יהיו “Near-too-Far” . . . זו נקודה נכונה, כי CDN-ים בדרך כלל יהיו איפשהו באמצע בין Near ל-Far

כי הם כן יחסית פזורים גיאוגרפית קרוב ל-Latency של הלקוח.
אבל מצד שני, הם לא “Near” - שזה מעט מאוד Data Center-ים יחסית . . .
(אורי) זה הרבה Data Center-ים קטנים.
(נתי) . . . זה הרבה Data Center-ים קטנים . . . - אז הם איפשהו באמצע, אני חושב, יותר קרובים אולי ל-Far מאשר Near.
(אורי) אולי PoP יותר . . .
(נתי) נכון, נכון - אז בגלל זה אני אומר: הם איפשהו באמצע, אני חושב, בין Near ל-Far,

אני מדמיין Far כמשהו שהוא ממש “במכולה”, מתחת לזה
ו-CDN הוא איפשהו באמצע.
אז איפה הייתי? . . .

(נתי) אז עכשיו הגדרנו את המושגים של איך נראית ארכיטקטורה End-to-End של יחידת הקצה.
על זה יש לנו, בדרך כלל, מערכת ניהול, שזה Orchestration

שבעצם, עכשיו יש לי הרבה מאוד יחידות קצה - איך אני עושה Continuous Update? איך אני מעדכן את המודלים? איך אני מנהל את הדבר הזה? . . .
אז זה רכיב נוסף שיש עליו.

ויש, כמובן, מערכת AI מרכזית - שהיא אחראית גם על ה-Training של המודל ועדכון שלו אחרי זה ביחידות-הקצה

וגם אחרי זה - לקלוט את העיבודים מיחידות הקצה, ולהתחיל לעשות קורלציות ולזהות טרנדים שהם Cross-Devices, Cross-Regions וכאלה דברים.

(אורי) זה אחד העניינים . . . כי כולם רוצים לנטר, אוקיי? ולעשות כל מיני Inferencing שהוא Cross וזה וזה - ובסוף אתה מוצא את עצמך שולח יותר Data ממה שהתכוונת . . .

(נתי) אז זה האתגר . . . .
אני חושב ש...

(אורי) רק על ה-Monitoring ועל הדוחות . . . .

(נתי) אני חושב שלכל יזם היום ששומע את זה - צריך לקפוץ לו איזשהו רעיון לסטארטאפ הבא . . . .
יש פה הרבה מקום ליזמות בעולם הזה - כי באמת הוא ב-“iPhone 1”, פחות או יותר . . . . איפה שאנחנו נמצאים היום בעולמות האלה.

וזה גם שילוב של AI וזה גם שילוב של אתגר של Compute . . .

בקיצור, זו צומת-דרכים שיש בה הרבה מאוד אתגרים שמשתלבים ביחד - וזה שווה-ערך להרבה מאוד הזדמנויות.
וזה אני חושב ככה, מקום שאני ככה, מתעסק איתו יחסית הרבה בזמן האחרון

ותיכף אני אגע באמת איפה אני מתעסק ומה אני עושה שם - אבל רציתי קודם לתת איזושהי תמונה כללית לאיך שנראה היום בעולם הזה ולמה הוא נושא שהפך להיות מעניין פתאום.

26:50 קול-קורא לתשתית גנרית ו-Edge-as-a-Service

(רן) בסדר, אז בואו, אולי נדבר לך על איזשהו Use Case, או שנדבר על מה שאתה עושה ביום-יום . . .

(נתי) כן . . . .
אז אני, בלי לציין שמות לקוחות, כי אני לא יודע אם מותר לי, או בואו נגיד רוב הסיכויים שאסור לי . . .
אבל אני נמצא היום, מי שלא מכיר - הייתי ה-CTO ו-Founder של Cloudify - ו-Cloudify נרכשה על ידי חברה שקוראים לה Dell, שרובכם מכירים כבר . . . .

(אורי) חברה קטנה . . .

(נתי) חברה קטנה, כן . . . .
אז בתור חברת חומרה, היתה להם בעבר זרוע שנקראת VMware, הם מכרו אותה בהרבה מאוד ביליונים ל-Qualcomm [אני חושב שזה היה ל-Broadcom . . . ]

והם נשארו קצת בלי השכבה הזאת

ו-Edge הוא איזשהו Extension או Growth Engine טבעי, שאמור . . . . שהם בעצם נכנסים אליו.
ואנחנו ממלאים את החלל של מערכת הניהול של יחידות הקצה האלה, וחיבור שלהן גם לשכבות של הענן.

לצורך העניין, זו היכולת באמת לחבר את ה-Near ואת ה-Far ואת ה-Cloud
ולתת איזו מוטת-שליטה אחידה בין כל היכולות האלה.

(רן) אז אתה לא מוכר Laptop-ים . . . .

(נתי) אני לא מוכר Laptop-ים, לא . . . . ממש לא.

(אורי) חשבתי אולי להחליף . . . .

(נתי) אז בעצם האתגר הוא . . . אם תחשבו על זה, יש כמעט היום, בהרבה מאוד מהרצפות ייצור ומה-Datacenters ובבתי חולים, איזשהו מחשב Dell שיושב שם

שמנותק כזה ומאובק . . .
ומדי פעם בא איזה טכנאי, שעושה לו איזה . . . מכניס USB ומעדכן אותו.

והאתגר הוא בעצם להעביר את זה ליחידות המודרניות האלה

שזה בעצם אומר שהוא כל הזמן מחובר, הוא כל הזמן מנוהל, יש לך מוטת-שליטה מרכזית, שדרכה אתה בעצם יכול לנהל את כל הדבר הזה.

אז אני מתעסק עכשיו בזה - ומן הסתם, היות ו-AI נכנס לקצה, אחרי מה שדיברנו ב-Inferencing, אז בעצם אנחנו גם מנסים לתת מענה לתוך הדבר הזה.
אבל - וזו הנקודה שאני חושב, שמחברת את מה שאמרתי קודם לזה - המקום שאנחנו עוצרים, זה באמת לייצר איזשהו משהו, שאני חושב שהוא קצת חדש, בזה שאנחנו רוצים לתת תשתית גנרית, שתאפשר לכל מי שרוצה לתת “שירותי Inferencing”, לבנות אותו על התשתית הגנרית.

דומה למה שה-Cloud עשו ל-Data centers.

זאת אומרת, אם בעבר אמרו, בעיקר לסטארטאפים בעבר, “אתם תתרכזו בלבנות SaaS ואת ה-Business Logic שלכם - וה-Data Center עלינו” . . .

(רן) . . . . [?!Inferencing at the Edge - as a Service . . . . [IatEaaS?

(נתי) כן, רק שאני לא אתן את ה-Inferencing, אלא אני נותן את התשתית, עד השלב Inferencing:

כל מיני Stack-ים שהם Optimized לזה.

(רן) אז Edge as a Service . . . . [אז EaaS? יותר טוב, עדיין קשוח . . . .]

(נתי) Edge as a Service, זה יותר קרוב לזה . . .

זה שהוא “Inferencing-Enabled“, נקרא לזה ככה.

(רן) לא הגיטריסט, היינו צריכים להגיד . . . . [אעפ”י שזה דווקא רעיון לא רע . . . .]

(אורי) אבל הרעיון הוא - נגיד, של החברה הקטנה הזאת, Dell - לתת בסוף, כאילו, Motherboard, לשים אותו בתוך ה-Edge-Device שלך?

(נתי) אז הרעיון הוא, אני אומר . . . זה מאוד דומה למה שקרה בעולם ה-Datacenter-ים, לסטארטאפים.
הרעיון בא ואומר כזה דבר - להפיץ את החומרה

אני זוכר שדיברתי עם ה-CTO של איזו חברה, ברח לי השם שלו כרגע, ואז הוא תיאר לי את הכאב-ראש שיש בדבר הזה.

(אורי) גל? זה גל?
(נתי) גל! נכון, בדיוק.

אז להתקין עכשיו חומרה אצל לקוח, לחבר את זה לענן, לדאוג לזה, לעשות Continuous Update לתוך הדבר הזה - זה כאב ראש . . .

מי צריך עכשיו להתעסק עם כל התהליך הזה של ה-Shipment והתקנה וכאלה דברים?

(רן) “לך תתקין Datacenter חדש בקופנהגן . . . “ למה שתעשה את זה? לך תשכור . . . . [ודווקא לשם עוד תמצא מתנדבים . . . ]
(נתי) בדיוק, בדיוק.

אז הרעיון הוא של-Dell לצורך העניין במקרה הזה, יש כבר את הרשת Distribution, הם כבר יודעים להפיץ את החומרה

ועכשיו מה שאנחנו מוסיפים, דרך האינטגרציה (Integration) של Cloudify, לתוך המוצר הזה שנקרא NativeEdge, זה בעצם את ה-API ל-Developers, שיכולים עכשיו לגשת לזה כמו אל עוד יחידה בענן
ובעצם להתרכז בכתיבת התוכנה.

(רן) כן, אבל אתה עדיין צריך מחשב בכל רצפת ייצור, אתה צריך “מחשב בכל מפעל” . . . .

(נתי) נכון . . . אז יש . . . .

(אורי) לפעמים זה לא “Device” - זה יכול להיות מצלמה . . . .

(נתי) נכון.
אז אני אומר, יש פה שתי שכבות של Device-ים -

יש שכבות שהן כבר מה שנקרא “צבועות” Dell, שהפכו אותן ל-Device-ים ל-Edge

שהן Optimized מבחינת מחיר ויכולות

ויש “3rd-party Device”, שזה משהו שיחסית חדש שעובדים עליו

שבעצם זה סוג של Bring Your Own Device
מתוך הנחה שבגלל שיש פרגמנטציה (Fragmentation) כזאת בשוק, אז אין שחקן אחד שיהיה לו את כל ה-Portfolio של מה שלקוח צריך
או לצורך העניין, השחקן או החברת סטארטאפ שצריכה עכשיו לתת - הרבה פעמים תיהיה לה “דעה” למה “צריך” להיות בקצה - בגלל שיש פה תחרות.

לצורך העניין, אם אני Mobileye, אז מאוד חשוב לי שה-Device הזה יהיה $6, קופסא קטנה כזאת שיושבת במכונית,
והוא חייב להיות $6 - כי אם הוא לא יהיה $6 , אז אני לא יכול להכניס אותו לקווי-הייצור של המכוניות . . .

וזה - אין “שחקן אחד שיכול לשחק על כל המגרש”.

ולכן מאוד חשוב פה לבנות את זה בצורה כזאת, שהיא פתוחה ל-Ecosystem

וכשה-Ecosystem מתחלק ל-3rd Party Devices ויכולת Bring Your Own Device,

כאילו להביא את היכולות שלך לתוך המערכת - ועדיין שתיהיה לך את אותה מוטת-שליטה,

ומצד שני, שיהיה לך המקרים הגנריים, איזשהו פתרון גנרי, שלא תצטרך בכלל לחשוב על הדבר הזה.
אז אני מתחיל להתעסק עכשיו בתוך הדבר הזה, ויש פה, ובאמת - זה סוג של “קול קורא” אם תרצו, לאנשים שמתעסקים בתחום הזה

אני בעיקר מעוניין לדבר, לא למכור בטוח . . . אבל בעיקר לדבר ולשמוע איך אנשים אחרים חושבים על הבעיה, מתעסקים עם הבעיה . . .
באיזה חברות יש בארץ ומה שהן מתעסקות עם זה . . .

(רן) בוא, תן לי רגע לחדד ולאתגר - בעצם, מה שאתה בונה, מה שאתה מתאר שאתה בונה, זה Compute at the Edge, זה לא בהכרח Inferencing at the Edge.

זאת אומרת, אתה בעצם מאפשר להריץ איזשהו Workload, כנראה סטנדרטי, כי ה-CPUs הם די פשוטים - לא בהכרח Inferencing, כי Inferencing, בדרך כלל יש לו אתגרים משלו: זה בדרך כלל, בהרבה מקרים, צורך GPUs, ו-Data . . .

(נתי) נכון, אז מה שאני . . . אתה צודק לגמרי.
מה שאני כן נותן, זה למי שבונה פתרונות Inferencing

זאת אומרת, (א) ה-GPU כבר Built-in, ונניח אם אנחנו באחד ה-Stack-ים באים עם Kubernetes, אז אנחנו דואגים שה-Stack של Kubernetes - בדרך כלל זה יהיה K3s

[להרחבה - 394 Rancher with Lior Kesos]

אבל זה יכול להיות כל Kubernetes שהוא Optimized לרוץ ב-Footprint נמוך
וכבר יהיה Tuned לתוך ה . . . לעבוד עם ה-nVIDIA GPU או עם ה-Qualcomm GPU או עם כמה מהיצרנים ש . . .

(אורי) אבל בעצם, מה שרן אומר זה ש-Inferencing הוא אחד ה-Use Cases של Compute at the Edge . . .

(נתי) נכון - רק שזה כבר לא . . . זה הופך להיות כמעט . . . Use Case שכמעט אי אפשר לחשוב על יחידת-קצה בלי Inferencing

כי אתה רוצה את היכולת לזהות מהר דברים ואתה רוצה את ה-Latency ואתה רוצה את ה . . .

(רן) . . . זה אולי אחד - אבל הכי חשוב, ואולי גדל . . .

(נתי) הכי גדל והכי חשוב - ומדברים על, אני לא זוכר אם זה 11 או 12 ביליון דולר עד 2027 . . .

(אורי) אני חושב שהוא פשוט “הטריוויאלי ביותר” להעברה מה-Center ל-Edge . . .

(נתי) נכון, בדיוק . . .

(אורי) . . . . כי פשוט הרבה דברים אחרים עושים ב-Edge . . .

(נתי) נכון לגמרי. אני חושב שסיכמת את זה מצויין . . . זה ממש מדויק - כי באמת לפני כן, תמיד הייתה את השאלה אם אני אשים Device “טיפש” ועושה את כל העיבוד בענן - או לא עושה את העיבוד בקצה.

וה-Trade-Off היה לא כזה חד וברור.

(אורי) אני חושב ששווה להסתכל על כל המערכות הצבאיות, לצורך העניין, שגם מסיבות של . . . אני לא יודע, בחיל הים קראנו לזה “מפ”א קשוח” - “מדיניות פליטה אלקטרונית קשוחה”: אסור לך להעביר תקשורת, אז אתה חייב לעשות את כל ה-Compute אצלך . . .

(נתי) כן, אני זוכר ש . . .

(רן) בצוללת יש GPU? . . .

(אורי) מה?

(רן) בצוללת יש GPU?

(אורי) כנראה שכן . . . [ביטחון מידע!]

(נתי) אגב מערכות בקרת-אש - אני זוכר שדיברנו פעם בעברי, היה לנו פרויקט מול חיל הים, אז מערכת בקרת-אש - אתה יכול להבין ש-Latency שם הוא . . .

אז היה לנו בעיה ש . . . נניח, עבדנו עם JVM לחלק מהדברים, אז בגלל . . . .
(רן) Garbage Collection . . . .
(נתי) כן, בגלל Garbage Collection, היה מדי פעם - פעם בעשרת-אלפים פעמים - היתה איזו קפיצה של Latency

וזה הרג את הפרויקט הזה בסוף . . .
כי המערכת חייבת להיות גם עם Latency נמוך - אבל גם מאוד דטרמיניסטית
כי אתה לא יכול . . . אתה לא רוצה שעכשיו יהיה לך איזה Drone שרץ אליך, ופיספסת בדיוק בשנייה להפעיל את המערכת-בקרה הנכונה - ובסוף חיסלו אותך בגלל זה . . .

(אורי) אני חושב שבמערכות צבאיות, כתפיסה - הן צריכות להיות לא מחוברות, Independent, וזה וזה וזה . . . ויכול להיות ששם יש . . .

(נתי) היום ספינה, למי שלא מכיר - ספינה היא חתיכת Data Center . . .

בטח ספינה צבאית, אני לא מדבר בכלל משחתות וכאלה . . . וצוללות וכאלה דברים . . .

זה כבר ממש Data Center חכם, עם הרבה מאוד יכולות עיבוד

בגלל כל הנושא של ל”א [לוחמה אלקטרונית], מערכות בקרה . . .

זה כבר לא הדברים האנלוגיים שראינו.

(אורי) הייתי לפני שבועיים בביקור בסער 6 - כן, זה לא . . .

(רן) מה זה - סטי”ל?

(אורי) כן, זה סטי”ל - מהסטי”לים האחרונים. המי”ק - המרכז ידיעות קרב - זה . . . בוא נאמר, צריך מערכת מיזוג מאוד מאוד משמעותית כדי לקרר את הספינה הזו . . .

(נתי) אז אני חושב שזה באמת דוגמאות מאוד טובות לשימוש - אבל אני בכוונה לא הלכתי למקומות האלה, כי זה קצת רחוק להרבה מהאנשים

כי זה באמת מייצר את ה-Cutting Edge, נקרא לזה ככה, אם אני אשתמש במושג Edge . . .

(רן) “לחתוך את הקצה” . . .

ויש הרבה יותר, כן . . . . יש הרבה יותר מקרים שהם . . . הייתי קורא לזה יותר “Mainstream”, שאנחנו חשופים אליהם היום

קחו רק בתחום ה-Manufacturing, רפואה, אנרגיה . . .
אז באנרגיה יש לך היום הרבה מאוד קולטים של שמש, סולאריים

ועכשיו צריך לנהל את הדבר הזה . . .

יש חברה אגב, SolarEdge, שנמצאת בארץ, שמייצרת את הדבר הזה

אז הטרנד היה שכל חברה כזאת הייתה צריכה גם לבנות את המערכת ניהול שלה - וזה תקורות מאוד גדולות.

(אורי) תאר לך ש-SolarEdge לא הייתה עושה את זה ב-Edge . . . .

(רן) . . . או לא הייתה משתמשת בשמש . . .

(נתי) לגמרי . . .

(אורי) אבל לא נראה לי שחסר להם אנרגיה . . .

(נתי) אז אני חושב שבגלל שזה הופך להיות נחלת-הכלל

ושוב פעם, אני אתן את הדוגמא למה שקרה שה-Datacenter-ים עברו לענן - זו מגמה מאוד, לדעתי, דומה.

המקרה הזה של Edge הופך להיות צורך מספיק גנרי - שעכשיו חייבים להוריד את החסמים של כניסה אליו.

והדרך להוריד את החסמים זה את כל ה-Distribution הזה, וניהול של Distribution וניהול של חומרה, וניהול של זה . . . .
צריך להיות מאוד דומה לאיך שאנחנו מתנהלים בענן.

זו, פחות או יותר, השכבה שאני חושב שחסרה כרגע - כדי שבאמת כל יצרני ה-Inferencing וכל מי ש . . .

כל סטארטאפ שעכשיו רוצה לבנות מנוע AI, שיודע להחבר Sensor לאלגוריתמים ולמודלים שלו, יוכל לעשות את זה בתקורות הרבה יותר נמוכות מזה שהיום רק יצרנים מאוד מאוד גדולים יכולים לעשות כאלה דברים.

ופה אני אומר - יש פה איזה חיבור שיכול להיות מאוד מעניין,

אני מאוד מקווה שאני אוכל למצוא עוד אנשים שמתעסקים בתחום הזה בארץ.

(רן) אז הקול-הקורא שלך זה למעשה, לבוא ולדבר ולהכיר Use Case-ים, להכיר יזמים, להכיר אנשים שיש להם או צרכים כאלה, או שהם רוצים לבנות השתיות כאלה.

(נתי) בדיוק, ממש ככה. ממש ככה, אני ממש מתעניין באמת.
זה עולם חדש, אני לומד בו, אני לא . . .

(אורי) עולם הרכב . . .

(נתי) עולם הרכב - ויש לנו אפילו עם Hyundai איזשהו מהלך מעניין

באמת בהקשר הזה, שהם מנסים - אני לא יודע אם זה יקרה, זה כרגע רק בדיבורים - אבל הם מנסים גם להפוך את זה לאיזשהו “Hub ל-Startup-ים” ישראלי
שבעצם יקימו מרכז כזה ש-Startup-ים יוכלו להריץ את הפתרונות שלהם, ובעצם זה יהיה סוג של-Ecosystem שהם יוכלו להשתמש בזה כאיזשהו-Ecosystem, שאומר “אוקיי, זה כן מתאים לנו, לא מתאים לנו, אנחנו רוצים להשקיע בחברה הזאת, אנחנו לא רוצים להשקיע בחברה הזאת” . . .
[לא מנסים - זה קיים כבר מ-2018, ד”ש לניר חן]

אז ברגע שאתה מאפשר כזה דבר, אז פתאום אפשר גם להריץ פתרונות של מעבדות Innovation, ו-Ecosystem של Startup-ים . . .

39:10 האם זו בכלל המערכת הנכונה?

(רן) דרך אגב, נתי, יש משהו, פרט-טכני שקצת סקרן אותי מה שאמרת - אמרת שכדוגמא, משתמשים ב-Kubernetes כדי לשלוט על מערכות הקצה, אבל Kubernetes - יש לו את המגבלות שלו . . . .

(נתי) נכון.

(רן) . . . למשל, הגדלים של ה-Cluster-ים לא יעלו על . . . לא זוכר, 5,000 Node-ים?

(נתי) נכון.

(רן) עכשיו טוב, בטוח שאפשר להנדס את הדברים האלה - אבל השאלה הנשאלת על זה היא האם זו בכלל המערכת הנכונה? למקרה . . .

(נתי) אז (א) - בעולם של Scale - אני קורא לזה “Infinite Scale” - אתה מדבר על “פדרציה” (Kubernetes Federation) ולא על Cluster אחד שעושה הכל.

אז הרעיון הוא שיש לך הרבה Cluster-ים ולא Cluster אחד.
במקרה של Kubernetes, זה בעצם יש לך הרבה Cluster-ים ש . . .

(רן) ועדיין - עדיין אתה צריך Pod-ים - זאת אומרת, אתה באמת צריך את כל הסיבוך הזה של Kubernetes ש...

(נתי) אז תראה - במרכז וב-Near, יש לזה עדיין . . . היתרונות גדלים מהחסרונות.

(רן) בסדר . . . .

(נתי) כשאתה מתקרב ל-Far - זה כבר פתוח . . . .

ואז אתה יכול . . . . יש פתרונות כמו WebAssembly ולהריץ Functional

בטח ב-Functional Edge זו כבר הופכת להיות שאלה מאוד מאוד פתוחה . . . .

אני מעריך ששם אנחנו נראה פתרונות אחרים מ-Kubernetes, לתוך הדברים האלה.
יש פתרונות שהם סוג של AWS) Lambda) ב-Edge, שמריצים רק JavaScript-ים ועוד דברים יחסית . . .

שבעיקר מדברים עם החומרה ונותנים כל מיני פונקציות שעושות כל מיני קונפיגורציות (Configurations) על חומרה
אבל לא צריכים לוגיקה מורכבת.

(רן) אני מדבר על מערכת ה-Deployments, שתשלח את הקוד למחשב שנמצא “ברצפת הייצור” . . ..

(נתי) אז כן, אז אני אומר . . . אני חושב שבאמת באיזורים האלה של ה-Far Edge, אנחנו נראה טכנולוגיות אחרות . . .

(רן) אבל זה לא משהו שאתם עובדים עליו? . . .

(נתי) אנחנו כרגע כן מסתכלים על WebAssembly כאיזשהו . . . אחת מהטכנולוגיות האלה שיכולה, כנראה, לתת מענה לסיבות האלה

כי ה-Footprint שלו (א') הוא מאוד נמוך
והוא פורטבילי (Portable), בין הרבה מאוד Device-ים
זאת אומרת, יש לו את התכונות של JVM - ומצד שני, אין לו את ה-Overhead של JVM.
והוא גם מתקמפל (Compile) מאוד טוב ל-Binary, ב-Run-time ממש.
אז יש לו הרבה מאוד תכונות שהופכות אותו, כנראה, למאוד אופטימלי - לא סתם Fastly בחרו ב-WebAssembly ומקדמים את זה כסוג של . . . הייתי אומר, “ה-Kubernetes ל-Edge” החדש.

הוא לא דומה בכלל ל-Kubernetes כמובן, אבל בגדול זו התצורה.

אז כן, אני חושב, וזו נקודה מאוד חשובה - שהיתרון של ההומוגניות של Kubernetes הוא כבר עומד בעוכריו ברגע שמגיעים לזה

בגלל ההומוגניות, אנחנו משלמים הרבה מאוד מחיר על Complexity
ואנחנו משלמים הרבה מאוד מחיר על גמישות מאוד גבוהה

ובקצה אנחנו כנראה נראה התפתחות של טכנולוגיות כמו WebAssembly

שהן יהיו מאוד מאוד Optimized לדבר הזה - וזה כנראה לא יהיה Kubernetes

לפחות לא בתצורה שאנחנו מכירים כרגע.

41:49 יש עוד יצרנים?

(אורי) תגיד, נתי - חוץ מ-Dell, עוד יצרנים נכנסים לעולם הזה?

(נתי) שאלה מצויינת [--> למה אתה מבאס?] . . .
אז אני חושב שכמו שאני רואה את זה, אנחנו רואים את זה - אתם יכולים לדמיין שכל יצרן חומרה רואה את הדבר הזה, ומנסה לעשות עכשיו Hedging לתוך העולם הזה.

(אורי) Hedging ל-Edge-ים . . .

אז Hedging, אני בכוונה . . . No pun intended.
אז יש לך החל מ-Intel, שבאים ומנסים לפתח Software Stack לתוך ה-Chip-ים שלהם

והיו להם הרבה מאוד ניסיונות כושלים בעבר להעלות Up the Stack . . .
הם חושבים שהם יצליחו, אבל זה כיוון אחד.

אז יצרני ה-Chip-ים - כולם מנסים לייצר, ליישר קו עם nVIDIA - כש-nVIDIA בעצם היו הראשונים שהלכו “Chip-to-Application”, או משהו כזה.

אני לא זוכר בדיוק את הסלוגן שלהם, אבל הם עלו “Up the Stack” והם בנו ממש חבילה שהיא לא רק ה-Chip עצמו - היא ממש Optimized מהתוכנה

לצורך העניין - “Kubernetes, עד ל-GPU”.

ויש להם פלטפורמות שלמות - למכוניות, ל-Device-ים
ויש להם Ecosystem שלם שהם בונים.

אז יש את יצרני ה-Chip-ים - Intel וכיוצא בזה.
יש יצרני חומרה - כמו Dell, כמו HP, IBM - שמתחילים להיכנס לדבר הזה

ובעצם מוסיפים את ה-Layer של הניהול
וכמובן אופטימיזציה (Optimization) ל-GPU

והם באים יותר למקום “ניטרלי” - כאילו באים להגיד “אנחנו עובדים עם כולם” . . .

“אנחנו נותנים לך General-Purpose Device”

כמובן ששחקני ה-Cloud כבר שם מזמן, ברמה כזו או אחרת

יש להם יתרון - וחיסרון.
היתרון שלהם הוא שיש להם כבר את הביזור של ה-Datacenter-ים והם יודעים לעבוד עם הרבה מאוד Hardware.
החיסרון הגדול הוא שיש רגישות מאוד גדולה לתחרות מהשחקני-ענן ביחידות-קצה

כי זה ממש להיכנס ל-Business שלי ול-Data שלי וללקוחות שלי
ולכן אני חושב . . .

(רן) . . . הם מהווים את האיום הכי גדול . . . .

(נתי) הם מהווים איום מאוד גדול - לאותם סטארטאפים ויצרנים

כי באותה מידה שהם נותנים פתרון - הם גם יכולים לייצר את הפתרון בעצמם . . .

ולכן אני חושב, שפה תהיה כניסה של שחקנים חדשים, שייתנו פתרון יותר ניטרלי - והניטרליות תיהיה . . .

מי שייתן את המערכת היותר פתוחה - אני חושב שהוא זה שבסוף יזכה בנתח יחסית משמעותי בתוך המערכת הזאת.

קצת דומה למה שקרה עם Datadog בעולם של Monitoring למשל, או Snowflake בעולם של Storage

לא Storage, סליחה - בעולם של Data Warehouse.

אז מי שיידע לפצח את הניטרליות הזאת ואת ה-Multi-Cloud הזה, ולתת פתרון שהוא לא Bounded למישהו אחר - הוא כן יוכל לתפוס פה נתח משמעותי לדעתי.

למרות ששחקני-Cloud, שבפירוש יהיה להם נתח לא קטן בתוך הדבר הזה . . .
אבל יהיו הרבה - עדיין, בשונה מה-Datacenter-ים -יקח זמן עד שהם ישתכנעו “להישען” על ה-Cloud

כיצרן - שהם ישענו עליו בתוך הפתרון-קצה שלהם.

44:48 אז מה הולך בתעשייה היום?

(רן) טוב, דרך אגב - אמרת שהיית בכנס בתחום, מה הכנס?

(נתי) כן, אז הכנס - זה היה כנס פנימי של לקוחות, שבעצם כולם בנו פתרון כזה.
אחד המעניינים בהם - אני כן אזכיר את השם שלו - Universal

אתם מכירים - הוא בעצם סוג של “עולמות משחק”
למי שיצא לראות - אז בעצם אתה בא לאתרים שלהם, ואתה נכנס לתוך סוג של “PlayStation מבוזר”

עם הרבה שחקנים, ואיכשהו . . .

(רן) זה קשור ל-Universal Studios? אוקיי . . .

(נתי) כן, Universal Studios, בדיוק - ה-Entertainment Business שאנחנו מכירים.
ושם, הרבה מהעיבוד הוא עיבוד-תמונה, ביחידות הקצה
זאת אומרת, הם בעצם צריכים לעשות Streaming ב-Real-Time לתמונה - כדי לתת לך חוויה הוליסטית.
ואז הם מייצרים סוג של חדרי-משחק כאלה, מנותקים פחות או יותר מהעולם

זאת אומרת, זה ממש Air-Gap
למי שלא מכיר את המושג Air-Gap - זה אומר שהוא לא מחובר לאינטרנט, והם צריכים לתת באמת יכולת של ניהול של הרבה מאוד Device-ים מהסוג הזה.

אז זו אחת הדוגמאות.

היו שם כמה עשרות של לקוחות כאלה - וזה היה מאוד מעניין לראות כמה דברים:

אחד, זה כמה מהם בנה את הפתרון בעצמו - מה שאומר שחסרה השכבה הגנרית הזאת שדיברתי עליה . . .

כי היא איזשהו Void שקיים היום בשוק

כמה לכולם התוצאה של הפתרון שהם בנו בעצמם - היא מאוד דומה . . .
זאת אומרת - זה רק מחזק את זה שיש פה איזה שכבה של “80% גנרי” - ו-20% שהוא ספציפי.

וכולם נתקעים בבעיות - שאני חושב שעוד לא חשבו עליהן

של איך באמת לוקחים את המשהו הזה שהם בנו - ומחברים אותו והופכים אותו למשהו שהוא מודרני Style-Cloud.

אני חושב ששם אני רואה עדיין פער מאוד גדול בין סוג תעשיות מסוים

למשל, ה-Manufacturing הוא Lagging behind
האנרגיה - טיפה יותר
ו-eCommerce - מאוד חושב Cloud כבר, ו-DevOps

וממש אפשר לראות את ההבדלים בין התעשיות - באיך שכל אחד חושב על הבעיה ואיך הוא חושב על הפתרון

כמה הוא חושב על זה - זה נקרא . . . .כאילו, בין אחד עם Silos ממש

ויש לו אנשי אופרציה, טכנאים שיושבים על הקצה ומחברים אותם ומחווטים אותם ואחראים על זה.

לבין כאלה שאומרים “לא, לא - זה חלק מה-IT!”

ואנחנו נמצאים באבולוציה הזאת . . .
אני חושב שדי ברור המגמה - זאת אומרת, בסוף, כמו שנתתי את הדוגמה של ה-Consumers ומה שקרה לעולם ה-Consumers, יקרה גם בעולם ה-Enterprise.

בסוף, כולם יהפכו להיות Device-ים דיגיטליים
ובשנייה שזה דיגיטלי ו-Software-Driven, אז אנחנו נראה . . . . אין שום סיבה שלא ננהל אותם כמו תשתיות ענן רגילות.

47:30 סיכום

(רן) בסדר גמור . . . אז סיכום קצר: אז דיברנו על Near Edge, Far Edge ו-Functional, נכון? . . . זה הרחוק ביותר . . .

(נתי) נכון.

(רן) ועל איך בעצם מביאים את התוכנה כמה שיותר קרוב ללקוח - או לפחות לנקודה שבה “נכון” להביא אותה, ולא רק ב-Data Center.

ואתה מתעסק לבנות תשתיות שמאפשרות את זה . . .

(נתי) נכון - ודיברנו על Cutting Edge, שזה מה שאני מקווה, רוב האנשים שמקשיבים לזה . . . .

(רן) על Hedging Edge!

(נתי) על Hedging Edge גם, כן . . . ונחזור ל-Living in the Edge . . .

[ובדיוק 20 שנה ל-Vulture Street ו-Rockin’ Rocks . . . .]

שזה ישראל - ישראל 2023.

(רן) לחזור לחיות את החלום.

טוב, תודה רבה נתי!

האזנה נעימה ותודה רבה לעופר פורר על התמלול!

152 פרקים

#טכנולוגיה