394 Rancher with Lior Kesos

רברס עם פלטפורמה

פודקאסט מספר 394 של רברס עם פלטפורמה - אורי ורן שוב מארחים את ליאור קיסוס, התאריך (למי שעדיין עוקב בשנה הזאת) הוא ה-21 ביולי 2020. ליאור כבר ביקר כאן מספר פעמים (וכאן על הקנטינה ושוב בפרק 132 (Sasson/פרדס-חנה…) ואז על mean.io בפרק 188 וכן - עברו כבר 10 שנים מאז 2010…); ליאור גם הרצה (וגם גייס) בכנס שלנו - והיום נדבר על Rancher ועל נושאים באיזור, וגם על המסע של ליאור מחברת Open source ל . . . ובכן, תיכף נשמע מה הוא עושה היום, אל תדאגו - זה לא מאוד רחוק (כאן מלטה) - אבל בהחלט מעברים טכנולוגיים חדים ומעניינים.

אז ליאור - קצת עליך ועל החברה שלך:

• אני ליאור קיסוס, אני ה-CTO של חברה בשם Linnovate, שקיימת כבר מאז 2006 - אנחנו כבר 14 שנים, ומתגלגלים ומשתנים
• באמת, כשהתראיינו זה היה בכל מיני Milestones לאורך הדרך ותפיסות לאורך הדרך כך שמעניין להתסכל על זה.
• יש לי חמישה (5!) בנים שזה 5^2 (2 בחזקת חמש…) אפשרויות לגרום אחד לשני לדמם או ליפול על האף או כל מיני דברים כאלה . . כמעט שלא הגעתי כי עוד בן נפל וכמעט פתח את הראש ודברים כאלה . . .
• (רן) אמרתי לאישתי שבסוף הדביקו לך את הבן, אבל זה לא קורונה . . . רק דבק פצעים
• (ליאור) אבל אני חייב להתחיל עם התנצלות - היה, אני חושב, את הרברסים של 2015 בחיפה (הרבה עבר על ה-web interface מאז), על בניית קהילות Open Source וה-Grooming של איך לפתח את זה בעקבות ה-mean.io וכל הנושא הזה שדיברנו
• ואני לא קודדתי את הסרטון . . . אני נושא על עצמי את המשקל הזה, אני פשוט לא קודדתי את הסרטון, וזה גם הסרטון היחיד שלא יצא ברברסים של 2015 (בגלל זה הלינק כזה). אשמתי, בגדתי . . .
• (רן) אז אחרי שגרמנו לך לאשמה, בושה ורגשות ממש שליליים - בוא מעכשיו נעשה רק טוב
• ההתנצלות מתקבלת.
• (ליאור) סבבה - אז אנחנו ב-Linnovate עברנו איזושהי אבולוציה . . . תקציר הפרקים הקודמים -
• חברה שהתחילה סביב Drupal, מערכת ניהול התוכן
• התחילה בכלל עוד קודם ב-Linux ו-Innovation - זה השם
• ותמיד - Open Source היה הקונספט, ותמיד היה לנו משהו שאני דלוק עליו, שהחברה איכשהו רצה בעקבותיו.
• רצנו כמה שנים עם Drupal ואז שברנו את תקרת הזכוכית של כל מיני עמותות וארגונים, לעבוד עם כל מיני John-Bryce-ים ו-Commtouch-ים וערוץ הילדים וחבר’ה כאלה.
• בעקבות ההתקדמות הזו, כשפגשנו את ה-mean.io והיה את הפרק על mean.io, לא יודע מתי (2013…), פתאום נפתח לנו העולם הזה, לפני 8-9 שנים, של Full-Stack JavaScript, של Angular, של Node.js, של MongoDB בסביבות 2011-2012 כזה . . .
• ואז פתאום התחלנו כחברה להשתנות - אנחנו עושים גם את זה וגם את זה
• (רן)רק תזכיר לנו - MEAN זה ראשי תיבות של . . .
• (ליאור) Mongo-Express-Angular-Node - זה היה “הדבר” כש-Angular 1.0 היה “הדבר”, אבל זה היה גם דבר מאוד יפה של Keyword-proximity, וזה היה באמת פרויקט משותף שלנו ושלי ב-Linnovate יחד עם עמוס חביב, שהיה פרילנסר שעבד איתנו באותה תקופה, וביחד חשבנו לגייס על זה כסף
• היו כמעט 12,000 Starts ב-GitHub, נדל”ן מאוד מעניין
• הבעיה של mean.io, בפרספקטיבה - בעולם שהוא decoupled ועם microServices ודברים כאלה, זה היה “מונוליט כפול” -
• גם “מגיש לך את הדף” (עם ה-Node.js)
• ואז מעלה את ה-Angular
• מה שקורה זה בעצם שאתה “הכי איטי” - גם מגיש את הדף, אין Server-side rendering . . . אתה יודע, המון דברים שגרמו לזה להיות אחלה מערכת ללמוד עליה Node.js ו-Mongo ו - Angular, אבל ממש לא בחירה-להיט למערכות Production.
• (רן) מבחינת חוויות משתמש . . .
• (ליאור) חוויית משתמש, קצת ריצודים - אבל גם מבחינת “לבנות משהו רציני”,
• כלומר - הרבה אנשים אמרו “אה - MEAN Stack זה כמו ה-LAMP Stack החדש”
• נגיד שאתה רוצה לבנות משהו ב-Ionic, איזושהי אפליקציה שתדבר עם API - אז זה לא מתאים, כי זה מפיל לך איזו חתיכת Angular מיותרת שאתה לא רוצה, ואתה רוצה רק לעשות איזשהו Client-side . . .
• זה היה אחד מהפרויקטים שפתח את הדלת לפרויקטי Open-source מגניבים כאלה - Boilerplate-ים כאלה שאתה מתחיל איתם בעיקר בצד של ה-Full-stack JavaScript - אבל אז באו מתוחכמים יותר
• האמת היא שאחד הדברים שלמדתי זה שלנהל פרוייקט Open-source זו משרה מלאה, זה F@$&ing קשה, זה משהו טוטאלי, זה שואב אותך רגשית, אתה נכנס לעניינים
• זה מאוד קשה, זה כמו סטארטאפ - אתה לא יכול לעשות את זה ביחד עם להיות CTO ובעלים של חברת שירותים.
• (רן) וכסף עדיין אין שם, לפחות לא היה . . .
• (ליאור) לא היה בשלבים האלה, וזה לא . . . אפילו השחקנים שהרבה יותר ממומנים, אם נסתכל למשל על Meteor, שלכאורה היה באותה Space אבל הרבה יותר ממומן - גם הם עשו את ה-Pivot שלהם לעולם ה-GraphQL
• זה לא שאתה נורא ברור . . . כלי פיתוח - יש שם עסק, אבל זה לא בוננזה כלכלית
• רק אם אתה לוקח פרויקט Open-source ומארח אותו (Hosting) והענן, עדיין - זה מה שעובד.

(רן) אז סיימת את האפיזודה הזו עם mean.io - ולאן המשכת?

• (ליאור) אנחנו ב-Linnovate יודעים גם לפתח דברים גם ב-Angular וגם ב-Node.js, וכל הזמן שומרים על המתח הזה…
• בערך בשנים האלה פיתחנו את האתר של “ישראל היום” - ו”ישראל היום” זה Drupal כמערכת לניהול תוכן, אבל עם API ב-Node.js וב-Mongo, עם אינדוקס (Indexing) החוצה ל-Elastic, אולי אחרי זה Solr קודם ואחרי זה Elastic, לא זוכר. ואלמנטים קטנים כאלה ב-Angular שמדברים עם ה-API שלך.
• ואז אנחנו עושים Drupal - אבל Drupal יותר יותר מתוחכם
• זה ממש הסימן היכר שלנו, של CMS-ים, שיש להם קומפוננטות (Components) בתוך ה-CMS שמדברות עם API קצת יותר רציניים ממה שה-CMS יודע לספק
• מה שקרה לנו בעקבות mean.io זה שהיה לנו את כל ה-Skill-set הזה, התחלנו לבנות דברים שונים, הרבה יותר אפליקטיביים,
• פחות האתר של Commtouch עם ה-MarCom הנוירוטית והדינמיקה הספציפית הזאת - ויותר עם מערכות יותר ויותר אפליקטיביות.
• מה שקרה זה שכשניסינו לגייס כסף ל-mean.io וקיבלנו איזה שישה “לא” בוואלי ואיזה חמישה “לא” בארץ, כשניסינו להקים את הדבר הזה, אני זוכר פגישה עם אדן שוחט מ”אלף” שאמר “איזה אחלה - יש לכם אחלה Traction ואתם נורא חמודים והכל אחלה” - ואז הוא התחיל לשאול אותי שאלות . . .
• כמה אנשים משתמשים בזה? וב-Command line הזה? וכמה הורדות יש לך? ומי הם האנשים? . . .
• הדבר הזה זרק אותי לעולם ש פתאום נכנסתי ל-Elasticsearch ברצינות כי רציתי לענות על השאלות
• אחרי שלושה חודשים היה לי Pie Chart של התפלגות הפקודות CLI של ה-MEAN . . .
• (רן) אז הנה, אדן - כתשובה לשאלה שלך: 350 . . .
• (ליאור) לגמרי . . . אבל הדבר הזה פתאום מקדם אותך
• בשלב הזה, אחרי שלא גייסנו כסף, אמרנו “Fuck it - אנחנו נבנה את זה בכל זאת” . . . - נקדם את התנועה הזאת, את mean.io
• אמרנו שנבנה את ה - MEAN Network - המקום שבו אתה לוחץ על כפתור וזה עושה Hosting של האפליקציה שלך בלחיצת כפתור, זה בגדול היה הרעיון.
• כשזה התפתח, בשלב מסויים אמרנו רגע - איכשהו עם הדבר הזה והטכנולוגיה שבנינו, פתאום אתה בונה דברים עם Queues, אתה רוצה להתעסק עם המון מידע
• אז התחלנו לאסוף לוגים ולהראות את הלוגים של הבנאדם, שתראה את כל הלוגים שנכנסים, עם כל מיני משימות, לראות את הדברים שאתה מריץ - ואז אתה פתאום מגיע לבעיות של Performance ו-Scale
• אז פתאום צריך להתחיל לעבוד עם Queues . .
• אז גם היה את הפרק כאן בכרכור, בשדות של כרכור, כשהיינו עוד חברה חמודה כזאת שבנתה דברים ב-Drupal והייתה מאוד ממוקדת ב-Drupal
• (אורי) אי שם ברחוב גן-עז . . .
• (ליאור) ופתאום אנחנו מוצאים את עצמנו בתור חברה שיש לה איזושהי סכיזופרניה כזאת - כחברת שירותים, שנותנת שירותים סביב CMS ומערכות כאלה, שיש לה שרירים, שהיא מתחילה לבנות דברים ב-microServices, נכנסת ל-DevOps, מתחילה לעבוד עם - Docker ובהמשך Kubernetes - אתה כאילו לוקח מנטליות של חברת מוצר, ומכיל אותה על חברת שירות
• לבנאדם שמזמין את השירות והאתר - לא מעניין אותו טסטים אוטומטיים, לא מעניין אותו CI/CD, לא מעניין אותו כלום
• אבל אתה שומע את הפודקאסט ואומר - “אבל ככה בונים את זה” . . . יש כל הזמן את המתח הזה בין המוצר לחברת השירותים.
• אם נחזור לרגע ברקורסיה בחזרה - התחלנו לבנות דברים יותר ויותר מורכבים, ופתאום שינינו את מודל הזה של ה-MEAN Network ואמרנו שנפתח את זה - את אותו הדבר שעשינו ל-MEAN, בואו נעשה ל-WordPress ול-Drupal
• הקמנו סטארטאפ שקוראים לו Stacksight, לקחנו את כל התשתיות האלה שאספנו אותן . . .

(רן) רגע, בוא נראה אם אני מבין: ל-WordPress יש כבר חברה שנותנת את WordPress-as-a-Service, נקראים Automattic . . .

• (אורי) אצלם זה ב-Hosted
• (ליאור) אנחנו לא התכוונו לתת את ה-Hosted . . . היה לנו Event-stream, שכל דבר שאתה לוחץ . . יותר כמו Segment או Event-based Analytics - אז כל מיני Events וכל מיני Logs
• לקוח שלנו, למשל חברת נת”ע - אם הבנאדם לחץ “Publish” למכרז ב-23:00 או ב-00:05, או מתי שהעורך שלך, שעובד על ה-CMS, אם הוא מעביר שעות ב-08:00 אבל מתחיל לעבוד ב-10:30 - אלו תובנות מעניינות לאנשים שעובדים על המערכות האלה . . .
• (אורי) אבל באמת - ברור לכולנו שכמעט מכל אפליקציה . . . במקרה שלכם מה שנותן את השירות הבסיסי זה ה-CMS, ומה שאתה אומר זה “יש לי את היכולות לתת לך מה-CMS הזה הרבה יותר” -
• השאלה האם זה לא קצת overwhelming בשביל הלקוחות הטיפוסיים שלכם, שאומרים “אבל רציתי רק CMS - אין לי בכלל אנשים או כוח אדם או יכולת להתמודד עם התובנות שאתה תיתן לי על מתי העורך שיושב על ה-CMS התחיל לעבוד”
• (ליאור) אתה נוגע בדיוק במתח שלי - זה בדיוק המתח שמתעסק עם זה שאתה מצמצם את עולם הלקוחות שלך ללקוחות מאוד מסויימים שכן אכפת להם מהדברים האלה.
• בכלל, כחברה, זה לקח אותנו לעוד תהליך שקרה, שדרך ה-mean.io . . . הייתה איזושהי כתבה בגוגל, אני קיבלתי טלפון או מייל כזה מגוגל שאומר “תראו, אנחנו רוצים להשתמש, בקטע של Copyrights, בלוגו של Mean
• “מגניב, Google, אחלה . . .תקחו, תעשו”
• ואז התברר שזו ממש הייתה הפלטרפורמה האולי-רביעית בענן שלל Google, שהיה לה Click-to-Deploy שאתה לוחץ ומתקין, עוד לפני למשל Ruby on Rails, יחד עם עוד אפליקציות - אז הם העלו את mean.io כי הם ראו שזה צומח ומתקדם.
• (רן) ב - Google Cloud?
• (ליאור) כן, אבל ממש ב-GCP המוקדם, לפני חמש או שש שנים.
• מה שקרה אז היה שהייתה כתבה ב-Geektime - “הנה הטכנולוגיה של החברה הישראלית שבחרו לשלב ב-Google” . . .
• ואז פנו אלינו מחיל מודיעין, מאמ”ן . . .
• פה התחיל (כששאלת מה אני עושה היום) “הרומן” שלי ובכלל של Linnovate עם המגזר הבטחוני.
• אנחנו בחמש-שש שנים האחרונות עובדים המון על החיבור שבין Open-source למגזר הבטחוני, ומסתבר שזה חיבור חזק, שמתקדם וקורה, וזה חלק מאוד משמעותי בעיסוק שלי היום.
• (רן) אתה אומר שזה התחיל במקרה, ככל הנראה בעקבות כתבה ב-Geektime, שבמקרה קרתה בעקבות פנייה של Google אליכם כי הם ראו הרבה Starts (ב-GitHub) או משהו כזה? . . .
• (אורי) החיים קורים במקרה . . .
• (ליאור) זה לחלוטין . . . זה עבר איזושהי רבולוציה (Revolution), היום יותר מחצי מהפעילות שלנו היא במגזר הבטחוני.
• אנחנו ממש מובילים בחיבור הזה שבין Open-source ו-Cloud Native ו-Kubernetes, בעבר openstack, ובחיבורים האלה, ובכלל בכלים ובתרבות הפתוחה.

(רן) אם תרשה לי רגע של נוסטלגיה - אני זוכר שלפני משהו כמו 8 או 9 שנים קראו לי לגלילות (לכאורה), להרצות שם באחת היחידות (לכאורה!), ודיברתי איתם, אני לא זוכר בדיוק מה היו הנושאים, אבל אחד מהם היה Open Source

• באו אלי בסוף ההרצאה כמה חיילים ואמרו לי “אנחנו מה-זה רוצים להטמיע כל מיני פרויקטים ב-Open Source, אבל לא יתנו לנו בחיים” . . .
• אז אני שואל את עצמי האם אולי מאז קרה משהו, אני לא יודע . . .

(אורי) אני חושב שהייתה תפיסה בגופים הבטחוניים ש”זה לא בטוח”, ועד שנראה לי שבשלב מסויים - קודם כל מה לעשות, ה-Open source מתקדם הרבה יותר מהר היום מכל דבר אחר, והם התחילו למצוא את עצמם מאחורה, וזה הגיע כלחץ מבחוץ.

• נראה לי שהם פשוט גילו שהם יכולים לקחת Branches אליהם, להעביר אותם . . .
• (ליאור) “הלבנה” - התהליך זה הלבנה, שמעבירים אותם פנימה
• (אורי) כן - בדרך לוקחים את ה-Open Source הזה ו”עושים לו קולונוסקופיה” כדי לראות שהוא לא Malicious - ומאותו רגע זה שלך, תעשה עם זה . . .
• (ליאור) זה בדיוק מה שקרה, אבל זה הרבה יותר עמוק והרבה יותר אסטרטגי, זאת אומרת - אחרי שנים, יש מונח שנקרה System of Systems,
• מעיין מגדל קוביות כזה, שפעם הצורה הייתה לשים קובייה של IBM, שעליה אתה שם קובייה של Microsoft - אבל הקובייה לא יושבת בדיוק אותו הדבר, היא טיפה שמאלה . . .
• והיא מונחת על קובייה של Oracle, אבל הקובייה הזאת מונחת קצת שמאלה…
• ואתה מחבר את כל הפתרונות האלה, כשכל אחד הוא גם פתרון ורטיקלי שעושה נורא Up-sell - הוא בנוי להיות Ecosystem משלו, אבל מכל מיני סיבות הם (גופים עמומים ליד גלילות) אף פעם לא הולכים עם הכל אצל ספק אחד - והמערכות האלה לא מתכנסות והן לא עובדות
• למה? כי הארכיטקטורה היא לא פתוחה - והיא לא שלהם.
• מה שקרה בחבר’ה שאימצו, ואני מכבד את הפרטיות שלהם (כדאי), החבר’ה שאימצו אותנו לתוך העולם הזה - הם מבינים מעולה Open-source, והם הובילו מהפכות (גם?) שם, שהובילו לכך שהיום במכרזים, ב-CDR-ים בתוך סקרים שאני משתתף בהם, ממש מופיע ש”הארכיטקטורה היא פתוחה”, היא חייבת להיות פתוחה או שאתה לא עומד בתנאי המכרז.
• (רן) לא במובן של “זה לא סודי” אלא במובן של משתמשים בסטנדרטים של …
• (ליאור) משתמשים בסטנדרטים של openstack ושל Kubernetes, בעולם שהוא air-gaped והוא מנותק
• זה כבר לא עניין של . . . לפני 5-6 שנים היו מלחמות של Oracle עם מול Mongo, ואח”כ של Elasticsearch
• היינו ברכש של openstack, מצאנו את עצמנו מייצגים את Canonical …
• אה, דרך אגב, אנחנו המייצגים של Canonical בארץ . . . ושל Rancher . . .
• אנחנו לא כל כך מיומנים בלמכור את השירותים, אבל בגדול - היינו חלק מהרכש הזה, רשתות openstack באמ”ן ובאלתא ובעולמות כאלה.
• היום יש שינוי . . . זה מאוד שונה - בנאדם שהולך להתגייס, הדבר הכי טוב שהוא יכול לעשות זה להיכנס ולהיות מעורב ב-Open Source
• היום הנתמ”ם, הקורס של ה-DevOps שלהם - הם ממש שינו את השם: פעם זה היה “נתמ”מניק”, איש QA כזה, והיום זה קורס DevOps ואנשים ברמת Linux איכותית, יוצאים משם אנשים איכותיים.
• מה שקרה זה שיש כאן איזושהי תת-קהילה, שהמאזינים (כנראה) לא מכירים, של Open-source בתעשיות הבטחוניות
• יש כנס סודי כזה - לא באמת סודי אבל לא פתוח לקהל הרחב - שרץ לדעתי משהו כמו 7-8 שנים, שהוא חלק מה-Ecosystem הפתוח הזה, שכולם באים פעם בשנה, בדרך כלל באוקטובר, יש בחור בשם עמי שלזינגר שמארגן אותו, הוא כבר בפנסיה
• כנס? קהילת מפתחים בארץ? Open source? באוקטובר?! . . .
• זה כנס שכל אחת מהיחידות מראה מה היא עושה - אלביט ואלתא והצבא - ועושים שם דברים ממש מדהימים, מראים את היכולות האלה, ואני חושב שזה מדליק את הדמיון, ואיכשהו הוא עשה משהו
• כל התעשיות האלו עובדות מאוד Open-source, מאוד פתוח - וזה אולי 90% ממה שאני עושה ביום-יום - במפגש הזה שבין Open-source והמגזר הבטחוני.

(רן) קודם כל - יכול להיות שחלק מהמאזינים שלנו נמצאים בקהילה הזו שהזכרת . . .

• (אורי) אז זה יכול להיות בטוח . . .

(רן) יש סיכוי כזה, כן . . . אבל אני סקרן לדעת - אתה יודע האם גופים בטחוניים נוספים בעולם אימצו Open-source באותו אופן?

• (ליאור) כולם - ובאגרסיביות.
• יש, למשל, אנחנו תיכף נדבר על Rancher, ואחד מה-Case Studies של Rancher זה שבתוך חצי שנה בערך, בצורה מאוד אגרסיבית, הם עשו כל מיני מערכות תומכות
• למשל - בתוך F16 יש Kubernetes Cluster שמנהל כל מיני מטריקות . . . כשאתה חושב על זה ועובד על זה אז זה מאוד הגיוני, שבתוך בתוך F16 יש Kubernetes Cluster, אבל זה היה תהליך כדי להגיע לזה.
• טבעי לחלוטין למאזינים הקבועים, חדשות ישנות מ 1 באפריל 2019 - חיל האויר הישראלי עולה לענן
• כל התעשיות, כל העולם היום של אוטונומיה, שאני גם מתחיל להתעסק איתו
• למשל ב-Cloud Native Days, לא בדיוק הרברסים (הערה במקום), אבל הייתה הרצאה על ניהול, של, לדעתי jFrog אני חושב, על איך שהם עושים CI/CD ל-k3s, מעיין “Kubernetes קטן”’ לפעמים של Single board, שמותקן בתוך רכב.
• כל הפרויקטים האלה של KubeFlow, של AI - שאני מתעסק באיך אני רותם את היכולות של Cloud Native ושל Kubernetes לתוך העולם הזה של AI - אתה רואה אותו בעצם מתחיל להיות מופץ - ומופץ ל-Edge, ל-Devices בקצה - והתעשיות הבטחוניות לגמרי שם.
• נורא מעניין אותם אוטונומיה ונורא מעניין אותם אינטיליגנציה בקצה . . .
• (רן) והדברים האלה נותנים להם שני דברים - Robustness ו-Standardization: לא צריך עכשיו הרבה ארכיטקטורה, כי היא כבר נתונה, ולא צריך לחשוב על מה יקרה אם זה יכשל, כי זה רובסטי, באופן יחסי.
• (ליאור) אני חושב שיש גם אלמנט כלשהו של ענווה - פעם “אנחנו אלופי העולם, אנחנו מגלילות, אנחנו בונים דברים” (לכאורה!!), ואלביט ורפא”ל מצד אחד, כש”Everything is built here” - וברגע שאתה . . .
• (אורי) אין NIH . . .
• (ליאור) כן, ה - Not Invented Here מאוד חזק
• ומה שקורה זה שהנחשול הזה של Open source, שאנחנו, שלושתינו, מסתכלים על זה בפרספקטיבה של 20 שנים . . .

(אורי) אבל תקשיב - הבסטיליה נפלה . . .

• (ליאור) מזמן!

(אורי) מיקרוסופט נפלה - מזמן

• (ליאור) היא נבנתה מחדש והמציאה את עצמה מחדש בתור “אביר ה-Open-source”.
• זו החברה שתורמת הכי הרבה Open-source בעולם, זו הזייה . . . אנחנו מסתכלים על זה כעל “מיקרוסופט הקדומה”, אבל זו אנקדוטה.
• מתי אמרתי להורים שלי שצריכים לקנות מניות של MSFT? כשפנו אלי מהמטה של Microsoft, לפני איזה חמש שנים, ואמרו “בוא נעלה לממשל זמין…” - בירושלים, לדעתי זה היה במשרד החוץ - “… נשכנע אותם לרדת מ-SharePoint ולשים Moodle”.
• רגע - אבל אתם Microsoft - למה שתלכו ותורידו SharePoint? . . .
• ביום שהם הלכו All-in על Azure, מבחינת התמריצים והעמלות של אנשי המכירות . . .
• תחשבו מה קורה: איש המכירות בא ואומר “יש דבר כזה שקוראים לו Azure, בואו ניקח את ה-SQL Server שלך ל-Azure!” ואתה אומר לו “לא רוצה…מה יש לי לחפש ב-Azure, עד שהכל עובד לי כאן?” . . .
• “אבל יש לך קרדיטים! ויש לך דברים! כדאי לך!” - “לא רוצה!” - “אז מה אתה רוצה לשים בענן?” - “אני רוצה לשים Open-Source בענן . . .”
• וברגע שאחד או חמישה או חמש מאות או חמשת אלפים אנשי מכירות של מיקרוסופט, המשוואה הזאת התחברה להם - אם תסתכל מה רץ היום ב-Azure, אז זה טון של Canonical ו-Ubuntu, זה הכל Open Source.
• ואז החברה, ברגע שהיה ההיזון החוזר הזה, שבעצם Open Source זה יותר כסף לאיש המכירות בכיס - אז אני מוכר Open Source ברבאק . . יש הרבה היגוי מלמעלה וכל הדברים האלה, אבל זה גם אלמנט מאוד משמעותי.
• העולם השתנה ללא היכר, הצבא והמגזר הבטחוני השתנה ללא היכר, בגלל שאתה יודע - דווקא בצבא זה קצת יותר מהיר ויש איטרציות, כי חיילים משתחררים ונכנסים פנימה חדשים עם דם חדש וקצת יותר גמישים מחשבתית.
• בתעשיות הבטחוניות הם קצת יותר איטיים כי יש להם הרבה יותר Legacy - יש לי אפליקציות שנמצאות 15 שנה, אבל ה-Digital Transformation של האפליקציות האלה, זה מה שאני עושה היום ב-Linnovate
• בוא ניקח את “המונוליט הפסיכי הזה שלך, שפרוש ואי אפשר להוציא אותו עם מנוף”, אבל בוא נראה איך אנחנו לוקחים אותו וכותבים אותו מחדש, מחלקים אותו ל-MicroServices, שמים על Docker, מחברים ל-Kubernetes . . .

(רן) אז בוא נדבר באמת קצת על טכנולוגיה, הזכרנו כל כך הרבה Buzzwords . . . את Kubernetes אנחנו מכירים, “שלום-שלום”, לא ניכנס לשם, אבל הזכרת עוד כמה פרויקטים שקשורים - k3s, הזכרת את Rancher - למה אנחנו צריכים את כל זה? מה הם נותנים לנו? מה אתם עושים איתם?

• (ליאור) כמו שאמרנו - לגבי Kubernetes זה “שלום-שלום”, ברור לחלוטין, נדלג על השלב של להגיד למה Kubernetes זה Inevitable וזה הכל . . .
• (אורי) כן, אנחנו מנסים לייצר פרק אחד שבו לא מדברים על Kubernetes
• לא הלך . . .
• (ליאור) זה “ה-Linux החדש” של לפני 20 שנה . . . ב-20 שנה הבאות כנראה שזה יהיה כאן.
• אבל זה לא מספיק - כי כמו שיש לי RBAC, שאנחנו אוהבים לכנות אותו “הראבק” - ואז “הראבקים” האלה, אתה רוצה UI כדי לנהל אותם ולחבר אותם לתוך ה-Active Directory הארגוני . . .
• (רן) רק נרגיע עם הראבק - RBAC זה Role-based access control, שזו שכבת ה-Access-Control של Kubernetes.
• (ליאור) כן, אבל יש הרבה מעטפת כדי לחבר את ה-Kubernetes לארגון (פרק 368) - שחקן מאוד ידוע זה לדוגמא OpenShift של Red Hat
• זאת אומרת שאתה בעצם רוצה לקחת את ה-Kubernetes ולהנגיש אותו לארגון, אתה רוצה שיהיה פחות מפחיד.
• (רן) אם נלך באמת על האלגוריה הזו ל-Linux, אפשר באמת להסתכל על Kubernetes כעל ה-Kernel:
• סבבה, נותן לך את היכולות הבסיסיות - אבל אתה עדיין צריך UI מסביב, אתה עדיין צריך User-space
• (ליאור) נכון, דרך המערכת הזאת אתה בעצם מנגיש את ה-System Calls וכל הדברים האלה ש-Kubernetes יודע לעשות
• המון פעמים, במנטליות של פרויקטי Open Source כאלה, Kubernetes “רוצה” להיות קטן וממוקד, הוא לא מחפש לגדול -
• “אני רק אייצר את ה-Ecosystem” את ה-CNCF, ואנשים ישלימו לי את החלקים של הפאזל
• (ליאור) אנחנו, לפני שנתיים-שלוש, כשהתחלנו להסתכל על Kubernetes, נתקלנו ב-Rancher
• אם נדבר על שלושה פרוייקטים מעניינים - זה Rancher, שזה בעצם אותו UI לניהול Kubernetes
• האמת שלדעתי, הייתי בכנס של openstack ואמרו לי שגם לכם יש איזושהי פלטפורמה ב-Outbrain לניהול Kubernetes, נכון?
• (אורי) היא לניהול ה-Deployments מעל Kubernetes (פרק 386! - Kubernetes and Dyploma at Outbrain)
• (ליאור) אז זה בדיוק בחפיפה מאוד עם Rancher - מה ש-Rancher עושה הוא בעצם, בניגוד ל-OpenShift, מתעסק ב-Helm, עוד פרויקט CNCF, שזה כמו rpm
• אם דיברנו על האלגוריה שלנו - אז Helm זה rpm - יופי, יש לי Desktop, עכשיו מה אני מתקין על ה-Desktop?
• (רן) מנהל חבילות
• בדיוק - אז הם מנהלים “קטלוג אפליקציות”, שמרגע שיש לי את ה-Rancher רץ, אז אם אני רוצה אני יכול להתקין WordPress או שאני רוצה Elastic או Kibana ואני רוצה פה ואני רוצה שם . . . קליק, ואני מתקין את המערכות האלה על ה-Kubernetes.
• (רן) אז Rancher בעצם נותן לך UI פלוס ניהול חבילות . . .
• (ליאור) UI, ניהול משתמשים, בקליק אתה מעלה Prometheus שסורק לך את ה-Cluster, ובקליק אתה מחבר את זה ל-LogStash . . . כל מיני דברים כאלה, שזה מה שכל ארגון צריך לעשות - הם פישטו את זה ל”קליק”.
• השוני המהותי הוא שבתפיסה שלהם הם נמצאים בעולם של הרבה Clusters, כלומר עוד פעם סוג של “Monolith vs. microServices”
• נגיד - OpenShift זה עולם שהוא מאוד פופולארי בבנקאות וגם במגזר הבטחוני - עולם שבו יש Cluster אחד גדול ואתה עובד מול ה-Cluster הגדול.
• אבל כאן אומרים “תראו, אני צריך הרבה Clusters - ואני צריך להפריד בין ה-Dev וה-Stage ואני רוצה Cluster פר נושא ויש לי עשרות Clusters” . . . בתפיסה שלהם, אני רוצה ללמוד איך לנהל מאות ואלפי Clusters.
• הדבר הזה הוביל אותם, אם יש לי יכולת לנהל Multiple Clusters מכאן, ולעשות מה שנקרא Multi-Cluster Apps - אני עכשיו מייצר בתוך הקטלוגים שלי את ה-Helm-ים שלי, ואז אני יכול להכין אותם על גבי Cluster שונה.
• אם אתה עובד עם Nice, אנחנו עובדים עם Nice או אם Amdocs, שעובדים גם עם Rancher - תחשבו שאני רוצה עכשיו לעשות Cloud Certification, לבדוק את האפליקציה שלי, כי כנראה אני אפגוש OpenShift אצל לקוחות, ואני אפגוש EKS וכל ה-Kubernetes המנוהל הזה - ואני רוצה לבדוק את זה בכל הסביבות האלה.
• אז אני מחזיק Clusters בכל הסביבות ואני בעצם עושה Deployments של אותה אפליקציה לכל אחד מה-Clusters.
• (רן) לחברת מוצר אני מניח שזה יכול להיות שימושי אם באמת מחזיקים מספר Clusters, למשל Cluster פר Data-center, או אפילו מספר Clusters בכל Data-center, ואתה רוצה עכשיו לפרוש את השירות שלך, אז אתה יכול לפרוש אותו במקביל לכל ה-Clusters.
• (ליאור) כן, או תרחישי DR-ים כאלה . . . יש המון תרחישים מאוד הגיוניים בקטע הזה, עם המחשבה הזו של Multiple-Clusters, וזה שוני מאוד משמעותי בין Rancher והמתחרים שלה.
• לפני איזה שבוע Rancher נקנתה ע”י SUSE - העסקה עוד צריכה להסתיים, אבל זה עוד איזה משהו מעניין שקורה בתוך העולם הזה.
• מה שקורה זה שזה הוביל אותם . . . אם דיברנו על זה ש-Rancher זה בעצם ה-UI, מה שקורה היום בעולם של Kubernetes זה שיש הפצות Kubernetes - יש לי Distribution של Kubernetes, שקוראים לו RKE, שמתאים בעצם ל-On-Premise.
• כשאני עובד באלתא, או עם הצבא בכל מיני מקומות, ואני רוצה עכשיו להרים ממש בקלות Kubernetes Cluster, אז אני פשוט עושה Deployment דרך ה-Rancher, מריץ כמה פקודות של Docker על ה-Nodes עצמם ומקים לי Cluster נורא בקלות, בחצאי-שעות כאלה, להקים Cluster ואז להתחיל לנהל אותו, לקבל מטריקות מ-Prometheus, לשלוח את המידע החוצה . . . זה כלי מאוד חמוד.
• (רן) זאת אומרת - זה מיועד לסביבה שבא אתה מנותק מהאינטרנט . . .
• (ליאור) או בכל On-Premise . . . היום בקטע של Hybrid Cloud, אתה לא בהכרח תמיד מנותק . . . גם אצלכם ב-Outbrain יש אלמנטים שיושבים ב-Data-Center ויש אלמנטים שיושבים ב-Cloud, ובין אם זה קשור לאספקט הכלכלי או לכל מיני אספקטים
• יש לדבר הזה מקום, לא צריך ללכת ל-100%, משחק סכום אפס של “אני רק בענן” או רק on-premise, וזה כלי מאוד חשוב במקום הזה.
• זה הוביל את Rancher לעוד שני פרויקטים נורא מעניינים - אני חושב שהשוס, ה-פרויקט הכי מעניין של Rancher, שכל הקורונה התעסקתי איתו אינטנסיבית, זה k3s
• רפרנס - New Tool of the Year 2019 ב-stackshare
• תחשבו, עוד פעם אנחנו חוזרים לאלגוריה של Linux - מה היה עם Linux, ב”אלפיים וקצת”?
• בהתחלה הוא היה קצת על Proxy Servers ועל Apache, בשולי ה-Data center
• ואז הוא נכנס ממש ל-Databases, ל-”Unbreakable Linux” כל התקופה הזו של 2005-2006
• אבל מה שקרה זה שהגיע MontaVista Linux - אם Linux היה רלוונטי לדברים נורא גדולים, אז פתאום זה רלוונטי לדברים קטנים.
• ואז הגיע Android . . .
• אתם רואים שבעצם Linux עלה למעלה - ואז ירד למטה, וזה בדיוק מה שקורה היום
• ה-MontaVista Linux של Kubernetes זה k3s, שזה בעצם (חוץ מחתיכת אלגוריה) “לקחו את Kubernetes, העיפו לה כמה מיליוני שורות קוד” או משהו כזה, לא יודע - ואת המינימום האפשרי, בהתחלה זה רץ על SQLite, בערך ב-500Mb של Footprint, זה משהו שרץ היום על Raspberry Pi . . .
• (רן) זה Node בודד או שזה Cluster שלם?
• אתה יכול לעשות Multiple-Clusters . . . אני יכול לשים ב-Show-notes צילום של ה-Cluster שלי:
• כשיש לך ארבעה Raspberry Pi . . . יש כאלה Boards של NVIDIA, ו-Boards חזקים, GPUs חזקים של Jetson, שאתה בונה לעצמך כל מיני Clusters
• תחשוב שאתה עושה Taint ו-Label ל - Jetson שלך - יכול לשבת GPU ולעשות AI על Jetson.
• ואת כל שאר הדברים הקטנים אתה עושה על Raspberry Pi
• פתאום כל הדבר והמחשבה הגדולה הזאת - הכל מתנקז “לעולם הקטן”.

(אורי) יכול להיות שהחזון הזה, כשאנחנו מדברים על Internet of Things - פתאום לא יהיה מצב שבו כל Thing הוא . . . כל מנורה בתאורת רחוב, אז לא רק שזו “מנורה מנוהלת”, פתאום היא בכלל Node ב-Cluster . . .

• (ליאור) יכול להיות . .
• מה שקורה זה שלקחת את הנכסים של העולם “הגדול” ושל ה-Data Centers והעננים הפסיכיים האלה שרצים נורא מהר - איך אני לוקח את זה לתוך העולם הקטן וה-Embedded.
• אז תחשבו על עולם של CI/CD - הרי בעבודה ב-CI/CD לא עובדים ב-Embedded . . .
• מה זה Embedded? אני לוקח Board ועושה Flash לתוך ה-ROM או PROM או כל מיני דברים
• פתאום, מרגע שעלתה קצת השכבת אבסטרקציה (Abstraction) . . . יש לי חבר שכתב פוסט על GitLab ו-Terraform ו-K3s - איך הוא עושה CI/CD של ה-Deployment של ה-Cluster . . .
• זה ממש מייצר מהפכה בצורה שאתה כותב Embedded

(אורי) כמו שדיברנו . . . לא זוכר אם דיברנו על זה עם אורית או עם מישהו אחר שהיה פה, על ניהול Devices של Network - ב-Hardware כל ה-Network הוא Linux . . . אתה עושה Deployment ו-CI/CD על ה-Network Device

• (רן) אבל זה ב-Data center . . . ליאור מדבר איתך על הראוטר הביתי שלך, על הטלויזיה, המקרר . . .
• (ליאור) כן, זה לא משחק-סכום-אפס . . . אם אני רוצה ש”לנורה תיהיה אינטליגנציה”, ואני רוצה להריץ Kubeflow במנורה, אולי כדי שהיא תבוא ותידלק בצבע לפני הזיהוי פנים, או שהבקר של הנורה יעשה דברים יותר מתוחכמים, ואני ארצה לא לכתוב את זה Hard-coded לתוך ה-Board של המנורה, אלא להשתמש באותן אבסטרקציות ובאותם כלים שגדלו “למעלה” - היום זה אפשרי, היום זה דברים שאנחנו עושים, שוב - בעיקר במגזר הבטחוני, אבל לא רק.

(אורי) נראה לי שגם . . . הרבה פעמים אנחנו שוכחים שאפשר לעשות Deployment גם בלי Container: בגלל שאנחנו רגילים לעשות Deployment של Containers אז פתאום כל דבר צריך להיות Node, צריך להריץ איזושהי Container-environment כמו Kubernetes

• אבל בעצם - למה זה תפס ב-Data centers? כי ה-Hardware הוא General-Purpose . . . אתה יכול לעשות על ה-Hardware, היום אתה עושה עליו אפליקציה אחת ומחר אתה עושה עליו אפליקציה שניה
• במקרר - אתה צריך שהוא יקרר . . . או ברחפן - אתה צריך שהוא יעשה “אפליקציית רחפנות” . . .
• (ליאור) אבל בכל אחד מהדברים האלה עדיין יש לי “עוד מוח”, שמביא את הערך המוסף, התחרותי, למקרר או לרחפן.
• (אורי) אני מבין - אבל אתה בסוף יש עליו אפליקציה שהיא ייעודית למקרר . . .
• (ליאור) אבל זה גם General Purpose, כי הרחפן הזה - פעם אחת הוא עם ARM ופעם אחרת עם Board של Intel, ופעם אחרת עם כזה או כזה
• ה-Kubernetes יצר שכבה של אבסטרקציה (Abstraction), שכל מיני דברים יכולים לרוץ עליו
• (אורי) זה משהו ש-JVM לא יכול ליצור?
• (ליאור) בגדול כן - זה נורא דומה לאבסטרקציה הזאת, אבל היתרון הוא שזה בסוף הכל אותו חארטה . . . אתה עובד בצורה שאני עובד, ואותו מפתח, שעכשיו עבד שלוש שנים ב Data Center, ה-Skill-set שלו עכשיו רלוונטי כדי לפתח גם Board כזה, כי הוא עובד בצורה מאוד דומה, מול מערכת הפעלה שהיא מאוד דומה.
• אז אני לא חושב שזה Bug - זה Feature . . . כשאני מסתכל על זה, תחשוב רק מבחינת היבטים של פיתוח, אתה עושה קונסולידציה (Consolidation) לצורת פיתוח מאוד דומה
• אבל כמובן שזה לא מתאים, ויכול להיות שזה מה שאתה מדבר עליו - החישוביות של ה-Board, מה שרץ ב-Real-time ואני לא רוצה לחטוף איזה ארבע שכבות אבסטרקציה בדרך אליו - עדיין יש לה מקום
• אבל גם זה, כמו שדיברנו על העולם ההיברידי - זה Hybrid: יש לי את הבקר הספציפי שכתוב עליו קוד בצורה מסויימת, אבל כדי לאסוף את המטריקות ואת הלוגים ולשנע אותם לתוך איזשהו Elasticsearch או לתוך איזשהו Data Center שבו אני אוסף את המידע - אני אשים שם Filebeat שירוץ ב-Docker לאיזשהו LogStash שיקח את זה ל-Elasticsearch - זה כאילו כותב את עצמו, זה נורא ברור . . .
• (אורי) כן, אני רק אומר שאתה יודע - Deployments ו-Deployment scripting וכו’ - עשינו גם לפני שהיו Docker-ים, וכתבנו לוגים ועשינו מלא דברים וזה “כתב את עצמו” . . . Chef יכול לעשות את זה.
• אני רק אומר שלפעמים אנחנו שוכחים שיש פה שכבת אבסטרקציה, שזה נכון שהיא הרבה יותר “רזה” מ-Virtual Machine, אבל היא עדיין עולה משהו
• (רן) אני חושב שמה שליאור אומר זה שבשביל האחידות, יש מחיר - אבל גם יש יתרון
• אני יכול לפשט לך את הדברים - ותחליט אם אתה רוצה את זה ומוכן לשלם את המחיר
• (אורי) בסדר . . .
• (רן) ספציפית ב-k3s המחיר הוא הרבה יותר נמוך, כי אתה יכול להריץ את זה כבר (למשל) על רחפן ועל Raspberry Pi, אז המחיר לא כזה גבוה אבל הוא קיים, הוא תמיד קיים.
• עכשיו תחליט איפה אתה רוצה לשלם - ויכול להיות שבאלביט או בתעשייה בטחונית אחרת הם אמרו “סבבה, אני מוכן לשם את המס הזה” של 5% או 10% או Whatever, בשביל אחידות - ולהרוויח עבור זה זמן פיתוח.
• (ליאור) חוק Moore עדיין לטובתינו, אתה יודע . . .
• (אורי) אני חושב שפשוט ה-Devices הם היום קטנים יותר ועם כוח חישוב גדול יותר
• (ליאור) בדיוק - ואז זה מתחיל להפוך את כל העסק הזה שם . . . מקרר עם זיהוי פנים שלפי המנח של הכתפיים ידלק באור כחול או משהו כזה ויציע לי שוקו . . .
• לא יודע מה הם ימציאו, אבל בטוח שבאמל”ח שמזהה אותך ובודק איזה ארבעה (רק?!) דברים לפני שהוא מתפוצץ עליך, סביר להניח שהדברים האלה ימצאו את עצמם (לכאורה, כן?)
• (אורי) במלחמת המפרץ הראשונה קראו לזה “פצצה חכמה” . . .
• (ליאור) ממש ממש חכמה
• (אורי) חכמה, אבל ביישנית . . .
• (ליאור) אז עכשיו הפצצות יתחילו לפתח תודעה, ויתחילו פצצות פציפיסטיות ו . . .
• (אורי) כן, ביישנית - הלכה והתפוצצה בצד . . .
• (רן) פצצה-netes? שמעתם את זה פה . . . (לפחות עד שהצנזורה תמחוק . . .)

(ליאור) אני חושב ש . . . דיברנו על Rancher ועל RKE, על ההפצה שלו שהוא משתמש בה כדי לנהל את ה-Hybrid Cloud, ודיברנו על ה-k3s, שזה פרויקט מרתק לדעתי המון מהאוטונומיה - רכבים אוטונומיים, אתם תמצאו את זה הרבה מאוד בתוך העולם הזה, הוא צמח והוא מאוד פופלרי ומאוד מגניב

• עוד פרויקט אולי אחרון מתוך הבית הזה של Rancher שאולי כדאי להסתכל עליו - קוראים לו Longhorn
• לא זה
• כלומר - כל ה-Theme של Rancher זה חוואים, מתוך ה-Pets vs. Cattle - זה התפתח שם בקטע זה של “אנחנו בשוורים, אני מתייחס לכל השרתים כמו אל בקר” - אז כל השמות של Rancher זה סביב העולם הזה.
• ו-Longhorn זה בעצם (כזה אבל גם) Distributed Storage, סטייל OpenEBS
• אני עכשיו משתמש, אני חושב שזה StatefulSets של Kubernetes, כדי לנהל את מה שפעם היינו עושים ב-GlusterFS,
• אז אני עכשיו בעצם מפזר את כל אחד מה-Nodes ב-Cluster שלי, מקצה את הדיסק שלו - וכולם “בשותף” בעצם מספקים את זה
• זה נורא נוח לטפל ב-Persistent Volumes issue . . .
• (רן) קצת Hadoop כזה, אבל מחדש . . .
• (ליאור ) כן - הכל אותו חארטה . . . אנחנו בלופ . . .
• (רן) אני בטוח שגם בשנות השישים הייתה גרסא של זה איפשהו . . .
• (ליאור) אז Longhorn הוא נורא נוח בזה שאני, בכמה קליקים דרך Rancher, עושה שני קליקים ופתאום יש לי פתרון ל-Persistent Storage, שנותן לי בעצם את ה-PV ב-Cluster ומנהל את ה . .

(רן) אבל מה זה? Block Device? איך זה נראה?

• (ליאור) זה Block Device . . . אתה יודע, יש פרוייקטים נוספים כמו Min.io ועוד דברים לטפל ב-Object Storage, או Ceph, אבל הדבר הזה מתעסק עם Block Device, הוא נותן מענה ל-Block Devices בתוך המרחב הזה - הוא נורא נוח.
• עכשיו, תחשוב על זה שאני עכשיו לקחתי “להק רחפנים” שרוצים עכשיו איכשהו לסנכרן איזשהו File System, ויש לי איזה 50 רחפנים בלהק כזה - והם אשכרה מחזיקים File System ביניהם, דרך ה-Connectivity שלהם - זה בעצם הטכנולוגיות שיקחו אותנו לשם.
• מעל מה מרחף להק הרחפנים הזה? . . . לא חשוב.

(רן) אנחנו כבר ממש לקראת סוף הזמן (זה רק קורונה, זה יעבור…), הייתה שיחה ממש מעניינת - יש עוד נושא שרצית להזכיר לפני שאנחנו נסיים?

(אורי) איפה אתם משתלבים בסקריפט של הסדרה טהרן?

• (ליאור) אהה . . . אנחנו בעיקר צופים . . . זה הלקוחות שלנו שעושים את הדברים האלה (לכאורה).

(אורי) נשאיר למאזינים את הדמיון שלהם

• (ליאור) אנחנו . . . כל דבר בתוך המפגש הזה, בין Kubernetes . . . אני אעשה עכשיו תרגיל מסויים בהיפנוזה - תחזרו אחרי: “קיסוס Kubernetes, קיסוס Kubernetes” . . . זה ה Key word.
• רק להיזהר על ראש ממשלת מלזיה.
• כל דבר שקשור ל-Cloud Native, לKubernetes, לOpen Source, כמובן במפגש עם הנושאים האלה של המגזר הבטחוני
• וגם במערכות האלה, כש-CMS צריך הרבה יותר אינטליגנציה ואיזשהו קומפוננט (Component) בפנים כדי לעשות דברים הרבה יותר מורכבים - דברו איתי, אנחנו נשמח לעזור.
• בפרק אחר אני כבר אספר על כל ה-Open source שיצרו מאז . . .

(רן) מעולה, יופי, שוב תודה שבאת ליאור - ותבוא שוב!

ועוד קצת תוספות לגרסת הבמאי -

• Rancher Israel community at Whatsapp - https://chat.whatsapp.com/FBHr4Bvvl4x3a39Q7W3jpI

• Linnovate kubernetes support service -

• https://k8support.com
• Nice intro for Rancher in CNCF Meetup - about managing fear (and k8s clusters ) with Rancher
• https://youtu.be/7HNdNpkUw7c

הקובץ נמצא כאן, האזנה נעימה ותודה רבה לעופר פורר על התמלול