בועז לביא מגיש פודקסט על קוד, שפות תכנות, באגים היסטוריים ולמידת מכונה. "תוכנה זוללת את העולם", קבע המהנדס והיזם האמריקאי מארק אנדריסן. ואין ספק שזה נכון. זהו פודקאסט למפתחים ולמפתחות, ולכל מי שרוצה לדעת ממה עשוי עולמנו המפוקסל, זה שנבלע בבטן האלגוריתם. עמית בן דור, מייסד הפודקאסט (לצד חן פלדמן) יתארח בפרקים נבחרים
…
continue reading
תוכן מסופק על ידי רברס עם פלטפורמה. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי רברס עם פלטפורמה או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.
Player FM - אפליקציית פודקאסט
התחל במצב לא מקוון עם האפליקציה Player FM !
התחל במצב לא מקוון עם האפליקציה Player FM !
447 NLP challenges with Inbal Horev from Gong
MP3•בית הפרקים
Manage episode 340088739 series 2497397
תוכן מסופק על ידי רברס עם פלטפורמה. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי רברס עם פלטפורמה או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.
(רן) למעשה, דיברנו על NLP ממש-ממש מזמן, ומאז NLP השתנה בגדול, פחות או יותר הכל השתנה...
אז רק נעשה רפרנס קטן לפרק שעשינו עם פרופ’ יואב גולדברג, חוקר ידוע בתחום [296 NLP with Yoav Goldberg, אי שם באפריל 2016 - והיה ב-2021 בעניין דומה גם את 401 AutoML at outbrain with Assaf Klein] - שם ממש דיברנו על דברים מאוד ב-High-Level - והיום אנחנו נדבר על אתגרים מעניינים בתחום ה-NLP, בעיקר מהעבודה היומיומית של ענבל.
ולפני כן - שלום ענבל! ככה, בשתי מילים, עליך ועל החברה?
- (ענבל) אני עובדת ב-Gong כבר חמש שנים
- התחלתי בסוף 2017 - והייתה קפיצה ענקית ב-NLP במהלך 2018, אז ממש יש את ה”לפני” ואת ה”אחרי” . .
- (רן) בתקופה שבה Transformers הייתה סדרת טלויזיה ובובות . . . .
- (ענבל) בדיוק . . . ולפני ה-Transformers, קראו לזה גם Sesame Street Models - כי היו את ELMo ו-BERT . . .
- ומצאתי לפני כמה חודשים איזו טיוטא של מייל שכתבתי בזמנו למנהל שלי: “תקשיב, קראתי איזה מאמר ממש מעניין - מודל שקוראים לו ELMo, ונראה לי שזה ממש ממש יכול להקפיץ לנו את הביצועים בכל מיני דברים” וזה . . .
- (רן) הוא מיד בדק האם זה 1 באפריל היום . . . . [איפה זהר?]
- (ענבל) לא נשלח - לא נשלחה, הטיוטא הזו . . .
- אבל זה היה מצחיק לקרוא, כי זה מייל מאוד נאיבי - אבל זה באמת “הרעיד את עולם ה-NLP”
- באמת ה-Transformer-ים האלה “נותנים בראש”.
(רן) אז אולי באמת נגיע גם לדבר עליהם קצת אחרי זה - אבל אולי עוד קצת עליך ועל הרקע שלך?
- (ענבל) אני Optimus Prime . . . חד משמעית
(רן) חייב . . . .
- (ענבל) הייתי משחקת . . . אהבתי את הרובוטריקים כשהייתי ילדה.
- אז אני עושה Machine Learning כבר הרבה מאוד זמן -
- למדתי בטכניון פיסיקה והנדסת חשמל ואחר כך המשכתי למכון וייצמן - ועשיתי גם שם תואר שני במדעי המחשב, עם התמחות ב-Machine Learning . . . .
- אחר כך עשיתי כמעט-דוקטורט באוניברסיטת טוקיו - גרתי שם שנתיים-וחצי
- אם תרצו פודקאסט על יפן אז אפשר גם את זה.
- (רן) למדת יפנית? (אורי) יותר יפנית מיפנית . . . .
- (ענבל) בזמנו לא הצלחתי לתקשר מחשבות מורכבות ורגשות - אבל להזמין מקום במסעדות וליום-יום אז . . .
- (אורי) בצעקות? . . . .
- (ענבל) אפילו בטלפון - יצא לכם ללמוד שפה זרה? ולנסות לעשות שיחת טלפון? . . . . זה מפחיד.
- (רן) כן . . . . זה קשה.
- הצלחתי להזמין, נגיד, מלון בספרדית - אבל זה לא היה פשוט . . .
- (ענבל) כי לא רואים . . . לא קוראים שפתיים, לא רואים שפת-גוף - זה מדיום מאוד לא-סלחני.
- אז חזרתי מיפן - וממש קצת אחרי זה התחלתי לעבוד ב-Gong
- והאמת שלא ידעתי מה החברה עושה . . . הגעתי ביום הראשון שלי לעבודה ושאלתי את המנהל שלי
- אמרתי לו “תגיד, עומרי - מה אנחנו עושים?” . . . - והוא צחק והסביר לי
- (רן) “בשביל זה שכרנו אותך - כדי שתגידי לנו מה לעשות” . . . .
- (ענבל) בדיוק . . .
- אז מה אנחנו עושים, מה Gong עושה? אז אנחנו בנינו - בונים וממשיכים לבנות - מוצר שמנתח אינטראקציות עסקיות
- שיחות עסקיות עם לקוחות קיימים ולקוחות עתידיים
- זה פחות “סלקום שלום! אפשר לעניין אתכם בחבילה?” . . . - זה ממש תקשורת שיכולה להימשך חודשים, זה יכול לקחת שנה . . .
- שמדברים עם כל מיני גורמים בתוך החברה הזו - עושים Demo-ים, עושים Pilot-ים - באמת תהליכים מורכבים.
- ואנחנו מקליטים ואוספים את המידע הזה - משיחות מדוברות, מתוך מיילים, מתוך ערוצים אחרים של תקשורת כתובה
- שמים את זה במקום אחד - שזה כבר נותן ערך, מעצם זה שרואים מה קורה
- ועל גבי זה נותנים שכבות שונות של תובנות ושל המלצות ושל . . .
(רן) אני יכול להגיד נגיד שאצלנו בחברה, “Gong” זה פועל - כמו “לגגל” - אז “עברתי על ה-Gong שלהם” . . . אנשי מוצר ואנשי Customer Success עושים את זה חדשות-לבקרים, זה כלי מאוד מאוד שימושי אצלנו.
- (ענבל) איזה כיף.
לא נספיק לכסות את כל מה שקרה בשבע השנים האחרונות - אבל אולי נבחר כמה נקודות מעניינות, ובעיקר ככה מהיום-יום שלך. אז . . .
(אורי) מה נשמע? מה חדש? מה קורה? . . . .
- (ענבל) מה חדש? . . . .
(רן) אולי נתחיל ב”מה הם האתגרים, נכון להיום” - אילו אתגרים מעניינים יש לפצח?
- (ענבל) יש מלא אתגרים . . . . המודלים האלה - אנחנו לא תמיד מבינים מה בדיוק הם עושים ואיך אנחנו יכולים, ככה, “לעזור להם לעזור לנו” לפתור בעיות.
- אם יש לנו, למשל, מודל שמטרתו לזהות סימני אזהרה בעיסקה - כשאנשים לא מרוצים, כשאנשים מקפיאים את העסקה, כשהם אומרים “Don’t call us - we’ll call you”, ואנחנו רוצים להציף את זה . . .
- (ענבל) כן, אבל זה תלוי באיזו מדינה . . .
(אורי) נכון . . . .
- (ענבל) . . . . ומכאן המורכבות - יש לנו אולי לקוחות אמריקאים ויש לנו ישראלים, שמדברים *ממש* אחרת . . .
- היה לנו מקרה כזה, כשניסינו להעביר . . . . לבנות מודל כזה בגרמנית
- ולא הצלחנו להבין למה הוא לא עובד - למה לא הצלחנו . . . למה . . . איפה הייתה הבעיה?
- ועבדנו עם המתייגים שלנו - הגרמנים - והגענו להבנה שפשוט גרמנים עושים עסקים אחרת . . .
- וזה פשוט נראה אחרת - ואם מנסים “לתרגם” את המודל מאנגלית לגרמנית זה פשוט . . . זה לא עובד.
(אורי) אבל אולי אין Data “גרמני” . . . המתייגים הם גרמנים שיודעים . . .
(רן) אני אנסה להגיד את זה בשפה שלי, נראה אם אני מבין: את אומרת שאני, כשאני בונה מודל - יש לי איזה-שהן הנחות יסוד, יש לי Case, יש לי מה שנקרא Bias ב-Machine Learning, יש לי איזשהו Bias - אני מניח שככה עושים עסקים ולכן אני בונה מודל בצורה כזאת. אבל אם מראש הנחות היסוד האלו - כמו למשל שכשאני מציע הצעה והוא אומר לי כן או לא, אז אני מניח שזה הפרוטוקול - ובגרמנית זה פשוט לא עובד ככה . . . .
(אורי) רגע, אבל השאלה היא האם כשאתה אומר “אני בונה מודל” - או “אני מאמן מודל”, כי המאמנים הם גרמנים . . .
- (ענבל) אז יש לנו מיליוני מיילים - אני רוצה להגיד “ביום” אבל אולי זה בשבוע, אל תתפסו אותי בסדרי הגודל - בגרמנית
- ואם אנחנו נדגום באקראי את המיילים האלו, כדי לבנות Training Set בגרמנית, אז סביר שאנחנו לא נתפוס הרבה “נורות אדומות” כאלה.
- עכשיו, יש לנו מודל באנגלית - שעובד, ויש מודלים שהם מקודדים כמה שפות
- לא זוכרת אם אלה Google או Facebook ששחררו בשבוע שעבר מודל שתומך בעוד 40 שפות בפנים - אז יש לזה תמיכה במעל 40 שפות בתוך אותו המודל [Meta Open-Sources 200 Language Translation AI NLLB-200].
- אז אפשר לאמן אותו עם ה-Data-Set המתוייג באנגלית - ואז להשתמש בו כדי לעשות פרדיקציות (Predictions) בגרמנית
- ולנסות ככה “לדוג” מיילים שיש להם את התוכן הזה שאנחנו מחפשים.
- להעביר אותם דרך מתייג אנושי - ואז לאמן את המודל עם Data-Set בשתי השפות.
(אורי) אבל את אומרת שה-Domain של הבעיה “מתנהג אחרת” - כאילו, “עסקים” זה . . .
- (ענבל) אז לא ידענו את זה לפני . . . לא הבנו למה אנחנו לא מצליחים “להעלות בחכתינו” באופן הזה, שעבד בשפות אחרות, על בעיות אחרות . . . לא הצלחנו לתפוס את “הנורות האדומות” האלה בגרמנית.
- אבל רק כשממש הסתכלנו לעומק על ה-Data עם המתייגים ו”שברנו את הראש” אז הבנו את זה.
(רן) זאת אומרת שהתחלנו בבעיות NLP, אבל למעשה מדובר פה על איזשהו “פער תרבותי”, איזשהו הבדל תרבותי משמעותי - ש-NLP זו אחת ההתבטאויות שלו- ש-Natural Language זה אחד הביטויים שלו - אבל למעשה זהו הבדל תרבותי משמעותי.
דרך אגב, אני מניח שזה קיים גם בתרבויות אחרות שאולי פשוט לא הגעתם אליהן - אני מנחש שזה יכול לקרות גם בסין וביפן ובמקומות אחרים שקצת יותר רחוקים מאיתנו תרבותית. דווקא לא הייתי מנחש שגרמנית, דרך אגב . . . .
(אורי) אני דווקא חשבתי על גרמנית באספקט אחר, שגם לי יצא “לחפור” מעט . . .
(רן) . . . שהמילים כל כך ארוכות . . . זה מורכב מכמה מילים . . .
(אורי) זה לא שהן ארוכות - הן מחוברות ביחד, ואז יוצאת לך כמות אדירה של פרמוטציות (Permutations) של מילים ש . . .
(רן) כל כך הרבה Vowels וכל זה . . .
(אורי) כן
- (ענבל) כן, גרמנית זו שפה שלא ניסיתי אפילו ללמוד - אז יכול להיות שמה שאני אומר פה הוא לא מדויק.
- אבל בכניסה לתוך המודלים הגדולים האלה, לוקחים את המילים ומפרקים אותן ליחידות קצת יותר קטנות שנקראות Token-ים
- ואז, אם המודל הזה רואה מידע שהוא לא הכיר אף פעם, שהוא לא פגש אף פעם - אז הוא מחלק את זה למעיין תתי-מילים כאלה ו . . .
- (ענבל) אז בגרמנית, בגלל שיש את המבנה, את הקומפוזיציה הזו, אז אני מניחה שה-Tokenizer-ים יודעים לחלק איפה שצריך.
- זה, נגיד, אתגר מאוד משמעותי בעברית - הפרופסור רעות צרפתי מאוניברסיטת בר-אילן, לדעתי גם בתמיכת המדען הראשי אם אני לא טועה, מקדמת את האג’נדה של NLP בעברית
- וזה מתנהג ממש אחרת . . .
- (רן) “ירושלמא” . . . . מילים שיש להן משמעות של משפט שלם - קצת כמו בגרמנית . . . .
- (ענבל) כן - אז ממש צריך לתת לזה טיפול מיוחד.
- ואם אני כבר אני מעלה את הנושא הזה - אז המשאבים שיש ב-NLP באנגלית הם בסדרי-גודל יותר מאשר בשפות אחרות . . .
(רן) בסדר, אז ככה ממש . . . לא נוכל לעבור על כל אתגרי ה-NLP נכון להיום, אבל הנושא התרבותי / סמנטי הוא ללא ספק אחד מהם.
אילו עוד אתגרים יש, ככה ביום-יום, כאלה שאת נתקלת בהם?
- (ענבל) הנושא הזה של אינטרפרטביליות (Interpretability) של המודלים האלו, ולהבין למה הם עושים את השגיאות [בכוונה?]
- מה יעזור להם לבצע יותר טוב? מהו הידע הזה שהם “מחזיקים” בתוך המטריצות הגדולות האלה? . . .
(רן) כלומר, מודל ממוצע - כמה פרמטרים, פחות או יותר, יש לו? אנחנו מדברים על סדר-גודל של מיליארדים?
- (ענבל) מיליארדים - ולדעתי אפילו כבר מאות-מיליארדים [עם GPT-4 הדיבור הוא על 100 טריליון…]
(רן) בסדר . . . . ואם יש איזשהו Bug באחד הניורונים באמצע - מאוד קשה למצוא אותו . . .
- (ענבל) כנראה ש-Bug-ים . . . . Bug-ים אין שם - אלו מודלים שבעצם . . . .
- הקפיצה הגדולה הזאת, שקרתה ב-2018 - היא לא רק בזה שבנו מודלים מסוג מסויים, שהצליחו “לתת קפיצה” בביצועים
- זה גם זה שיש לנו מודלים שהם Pre-Trained - שזה קונספט שככה “השאלנו” מקהילת הראייה הממוחשבת
- שהקפיצה שם קרתה, לדעתי, ב-2012 או ב-2014 . . .
- בעצם, יש לנו את המודלים הגדולים האלה, המתוחכמים, שהם “קראו את כל Wikipedia” והם “קראו את כל האינטרנט”
- ספרים עיתונים - הם קראו הכל.
- אז הם יודעים די טוב שפה . . . יש להם “ידע כללי” לא רע בכלל -
- עד כדי זה שהוא “קפוא בזמן”, נכון לזמן האימון . . . - ובעצם, כשאנחנו רוצים לפתור איזושהי בעיה ב-Domain שלנו או בעיה יותר ממוקדת, אז אנחנו מתחילים ממקום ש”אנגלית יודעים כבר” . . .
- אז עכשיו צריך רק “ללמד אותם” את המשימה הספציפית הזאת שאנחנו רוצים לענות עליה.
(אורי) . . . . זה יכול להיות Signal?
- (ענבל) חד משמעית . . . .
(אורי) אוקי . . . אגב, זה מאוד קשור לתרבות, כן?
- (ענבל) זה באמת מאוד תלוי-תרבות ומאוד קשה לקודד את זה.
- אבל כשאנחנו - בני אדם - רוכשים שפה או בכלל הבנה על מה שקורה סביבנו, אז אנחנו לומדים שפה לצד ראייה, אנחנו לומדים שפה לצד שמע . . .
- וחיזוק חיובי או שלילי . . .
- אז יש כל מיני מה שנקרא מודאליות (Modality) - שאפשר להכניס מקורות מידע כאלה ואחרים כדי לחזק את ה-NLP או . . . .
(רן) אוקיי, זה אפשרי תיאורטית - אבל עושים את זה, בפרקטיקה? יש אילו-שהן אנוטציות (Annotation) מעל מילים? “הנה, הוא עשה תנועת-גוף כזאת” או “הנה - הוא עשה פרצוף כזה”?
(אורי) או סתם איזשהו שינוי של הסאונד או . . . .כאילו, “המוסיקה של הדיבור”.
- (ענבל) אצלנו לא עושים את זה, מתוך בחירה . . . מתוך הבנה שאי אפשר לעשות הכל.
- בגלל שהדבר הזה הוא כל כך תלוי-תרבות וכל כך רגיש - אז זה לא המקום להשקיע בו את האנרגיה שלנו, כרגע.
(רן) כן, ובוא נאמר: רוב - אני מניח - רוב ה-Data של המתאמנים הוא Data טקסטואלי, אוקיי? בעולם, לפחות ה-SoTA שאותם הזכרת - ככה שגם לא היו יכולים לעשות את זה.
- (ענבל) זה בכלל . . . . אם מדברים על אתגר - זה חתיכת אתגר.
- אני לא יודעת אם יצא לכם לראות תמלול של שיחות - אבל זה ג’אנק . . . .[1+ על זה…]
- אני מאוד מודעת לזה עכשיו, בחמש השנים שאני עובדת ב-Gong, אז אני משתדלת להשלים משפטים [אכן - ותודה!]
- אבל רובנו לא - אנחנו מגמגמים ואנחנו . . . [לתמלל את השיחה הזו זה לגמרי מטא . . . ]
- עזבו, גם אם היינו מדברים בשפה שהיא תחבירית ומתחילים ומסיימים משפטים, אז יש כל מיני ידע שהוא . . .
- נגיד, אני אדבר . . . אני אתייחס למשהו שדיברתי עליו לפני חמש דקות - אתם מבינים כי אתם זוכרים . . .
(רן) יש Context . . .
- (ענבל) יש Context, בדיוק.
- אז חוסר-תחביריות, חוסר-Context . . .
(אורי) אל תניחי שאנחנו זוכרים . . .
- (ענבל) אני מקווה . . .
(אורי) אנחנו כבר בגיל . . .
- (ענבל) אז זה באמת - זה אתגר ענקי.
(רן) אחד הדברים המעניינים שככה יצא לנו לדבר עליהם לפני השיחה זה שאתם לא עושים רק NLP, אתם בעצם עובדים גם עם בני אדם, אוקיי? ויש איזה-שהם יחסי גומלין בין המכונה לבין בני האדם.
- (ענבל) כן . . .
- (ענבל) אני אוהבת בני-אדם! אני בעד בני האדם . . . אני חושבת שבני אדם ומכונות יכולים לחיות בשלום ובאהבה יחד.
(אורי) תלוי מה הטמפרטורה של ה-Datacenter . . .
- (ענבל) זה נכון . . .
- אבל זה באמת אחד העקרונות - ה-עקרון - שמוביל אותנו ב-Gong בכל הנושא של NLP -
- זה שאנחנו לא פותרים בעיות-לשם-פתרון-בעיות
- אנחנו רוצים להביא ערך ללקוחות שלנו
- וזה הפוקוס שלנו - האנשים
- וזה מאוד מעניין לראות איך הם עושים אינטראקציה עם ה-AI - אני מרגישה שאנשים מפחדים ומאמינים ואוהבים AI במידה שווה, בערך.
(רן) והאנשים שאיתם אתם עובדים אלו למעשה בדרך כלל אנשי-מכירות, נכון? והם - יש להם מכונה שאולי יודעת לתמלל ואולי להוציא איזה-שהם Action Items מהשיחה וכו’ - ואת אומרת “הם מאמינים ומפחדים במידה שווה”?
- (ענבל) אני פחות יודעת האם הם, באופן אישי, מפחדים - אבל אני שומעת, משיחות עם חברים שלי . . .
- “עליית המכונות” זה צמד-מילים שאני שומעת פה ושם.
- הדוגמא שאתה מתייחס אליה - ה-Action Items - אז דמיינו שאתם אנשי מכירות ויצאתם עכשיו משיחה של שעה עם לקוחות
- הלך לכם טוב, מעולה - אתם באנרגיות גבוהות . . . .
- אין לכם כוח עכשיו לרשום סיכום של השיחה וממש לא בא לכם לכתוב רשימה של כל הדברים שאתם צריכים לעשות כ-Follow-up לשיחה הזאת.
- אחד ה-Feature-ים לדעתי-הכי-פופולאריים, לפחות באיזור הזה של המוצר, הוא ה-Feature הזה, שמזהה Action Items -
- אז ירדתם מהשיחה, אתם מקבלים לינק לשיחה - ומסכמים לכם את כל ה-Action Items שהבטחתם.
- אשת-Product דיברה עם איזשהו לקוח בשבוע שעבר והיא סיפרה לי -
- היא אמרה לי “את יודעת, זה די מדהים - ירדתי עכשיו משיחה עם מישהו שאמר לי שהוא מאוד אוהב את ה-Action Items, את ה-Feature הזה”
- והוא יודע שכשהוא אומר מילים מסויימות - כשהוא אומר “Let me follow up with you next week”, למשל - אז המודל תופס את זה, המכונה תופסת
- אז הוא משתדל לדבר ככה - הוא משתדל להגיד את המילים האלה, כדי לסמן . . .
(אורי) . . . כדי “לעזור למכונה” . . .
(רן) . . . “לעזור למכונה לעזור לו”, למעשה . . . . כן. זה קצת מזכיר לי את הסיפור על Google, שפעם כולנו היינו הולכים ומחפשים בשפה מאוד יפה, ככה “אבשלום-קורית”, בתיבת החיפוש - עד שהבנו שכל מה שצריך זה איזשהו “Bag of Words”, כמה מילים לזרוק פנימה ובסדר - Google כבר יבין . . . אני לא באמת צריך לסדר אותן בסדר הנכון, זה ממש לא משנה - זה לא צריך להראות כמו משפט וזה בטח שלא צריך להיראות כמו שאלה . . .
(רן) כן . . .
- (ענבל) כשאתם מדברים - אני לא יודעת אם יש לכם Siri או איזשהו Personal Assistant כזה, איזה Google Home או משהו - אתם אומרים “תודה” ו”בבקשה”?
(רן) כן . . . לגמרי . . . זה מוזר, אני לגמרי . . . אבל זה כאילו נותן תחושה שאולי זה “עמק המוזרות” שם, אבל זו סוג של תחושה. כאילו, אם אני כותב אז אני באמת לא צריך לכתוב - אבל כשמדברים, אז אולי יש שם מישהו, אולי יש שם איזו ישות כזאת . . .
- (ענבל) זה די מוזר . . . אני בעצמי לא משתמשת בכל ה-Personal Assistants האלה
- אני מעדיפה להקליד - אני מקלידה מאוד מהר עם האצבעות
- אבל . . .
(אורי) השאלה איך זה בנהיגה . . .
- (ענבל) אבל אין לי אוטו! אז זה . . . הגעתי עד כאן ברכבת . . .
(אורי) חוץ מזה שאין רכבת עכשיו . . . .
- (ענבל) אין רכבות עכשיו . . . בסדר.
(רן) אז זהו - יחסי-הגומלין האלה מאוד מעניינים. יצא לך לראות עוד סיטואציות? זאת אומרת - נגיד עם ה-Taggers או אנשים אחרים שהם ככה בתוך ה-Loop, שראית יחסי-גומלין מעניינים בין האדם לבין המכונה?
- (ענבל) בהחלט
- יש לנו עוד איזה Feature די גדול, שבעצם מאפשר למשתמשים שלנו לאמן את המודל שלהם בעצמם.
- אז למשל - חברה א’: מאוד מעניין אותה לשמוע ולזהות בשיחות את כל המקומות שבהם מדברים על המתחרים שלהם, ומתייחסים למהירות השירות שלהם.
- זה משהו שהוא מאוד ספציפי לחברה הזאת
- ומי מכיר את המידע של הלקוחות שלנו יותר טוב מהלקוחות עצמם? . . .
- אנחנו הגענו לשלב כזה - ב-NLP בכלל אבל גם ב-Machine Learning . . . ב-NLP בפרט וב-Machine Learning בכלל - שהמודלים טובים . . .
- (ענבל) כן . . . המודלים טובים - מה שמשנה עכשיו זו איכות ה-Data שמשתמשים בו כדי לאמן אותם.
- אז זה בעצם Win-Win - הלקוחות מקבלים את היכולת לזהות את מה שמעניין אותם
- וגם הם מקבלים בעצם מודל יותר טוב - כי ה-Data שהם סיפקו הוא יותר טוב.
(אורי) זאת לא אמירה שהיא, וואלה - תמיד נכונה ב-Machine Learning? במיוחד היום, כש . . . . בכלל, הנדסת-המודלים די “בוגרת”, ורק עבודה על ה-Data כאילו - משחקים ב-Feature-ים, טיובים של ה-Feature-ים וכאלה . . . .
- (ענבל) אז אנחנו כבר לא עושים Feature-ים . . .
- זאת אומרת, ה . . . אחד הדברים הלא-כל-כך-טריויאליים במודלי-שפה הענקיים האלה זה שלא עשינו “Feature Engineering”
- והאמירה הזאת - ש”ה-Data זה מה שחשוב” - היא תמיד הייתה נכונה
- אבל לפני 2018 - “הקפיצה הגדולה” הזאת - המודלים לא היו כל כך טובים, כאילו . . . .
- רגרסיה - Logistic Regression, אני תמיד מתבלבלת בין זה לבין Linear Regression, וזה לא אותו הדבר בכלל - יש לה . . .
- זה מודל מאוד פשוט עם ביצועים לא רעים בכלל, אבל . . .
(אורי) אבל הוא בסיסי . . .
- (ענבל) אבל הוא מאוד בסיסי - ובימים שבהם זה היה כלי העבודה, אז היה הרבה מאוד מה לשפר במודל, לפני שמגיעים ל-Data.
(אורי) לתיוג . . .
- (ענבל) כן
(אורי) זאת אומרת שעכשיו נשאר לנו להתעסק בתיוג ובאיכות התיוג . . . “לנקות רעשים”.
- (ענבל) כן - ובלהגדיר את הבעיה באופן הנכון.
(רן) כן, אז את אומרת שאם בעבר עבודת ה-Machine Learning התרכזה בבנייה של מודל “נכון”, היום המודלים הם “נכונים” ואין מה להתעסק בזה, בגדול אין מה להתעסק בזה.
מקום שבו כן אפשר להשיג שיפורים משמעותיים זה בטיוב של ה-Data - היזון שלו, תיוג שלו, מתן סמנטיקה וכו’ - אבל לא במודל.
(אורי) וגם Context של ה-Domain - זה בסוף Problem Domain וצריך להכיר אותו, והמודל צריך להכיר אותו.
- (ענבל) נכון.
- אנחנו עדיין לא מספיק טובים במה שנקרא Domain Adaptation - יש שם המון שיטות
- עובדים לצידי אנשים שכתבו על זה את עבודות הדוקטורט שלהם
- ועדיין זה לא בדיוק שם - זאת אומרת, להעביר את זה מ-Domain, נגיד, של “רפואה” ל”עסקים” או משפה אחת לשנייה . . .
- (ענבל) “אורטופדים” ו”מוסכניקים” זה דומה . . .
(רן) אבל “אורטופדיה” ו”רפואת נשים” זה שונה . . .
- (ענבל) נכון.
- (ענבל) שאלה מצויינת . . . [יש שקף?]
- (ענבל) אתה עושה את זה כבר זמן-מה . . . מרגישים.
(רן) בשביל זה אני פה . . .
- (ענבל) Language Model זה בעצם כלי-העבודה העיקרי שיש לנו ב-NLP
- בעצם Language Model ו-Large Language Model
- ובעצם זה משהו מאוד פשוט - איך אימנו את הרשתות המפלצתיות האלה? נתנו להן משימה מאוד פשוטה
- נתנו להן איזשהו טקסט והחסירו מילה - וביקשו מהן “לחזות” את המילה החסרה . . .
(רן) כמו במבחן באנגלית . . .
- (ענבל) בדיוק . . . זהו - והם עושים בזה עבודה לא רעה בכלל.
- אולי שמעתם על GPT-3 וכל המודלים ה . . . כבר הפסקתי לעקוב אחרי כל הגרסאות וזו קצת תחרות של “של מי יותר גדול”
- אז כל “ה-GPT-3 הזה”, שיודע לייצר טקסטים שנדמה שנכתבו על ידי בני אדם - כל מה שהם עושים זה חוזים את המילה הבאה.
- נותנים להם איזושהי התחלה של משפט או שנותנים להם איזושהי הוראה - והם מוצאים מילה אחרי מילה אחרי מילה . . .
- וניהיה טקסט.
- וזה לא מובן מאליו שבאמצעות משימת אימון כל כך פשוטה, אנחנו בעצם יכולים לקודד את כל הידע הזה של השפה והידע הכללי -
- ולהיות מסוגלים לפתור בעיות כמו Questions answering או . . . .
- (ענבל) זה די מטריד, איך שהם משלימים דברים . . .
(אורי) ה-Autocomplete
- (ענבל) כן - אבל אם כבר העלת את זה, אז בכלל - אתגר מאוד משמעותי: המודלים האלה “קראו” את כל האינטרנט
- והם גזענים ומיזוגנים והם חושבים . . . כל ההטיות שאנחנו חוטאים בהן . . . .
- (ענבל) . . . אבל הם באמת ראו - בכל מיני ספרים: “נשים הן אחיות” ו”גברים הם רופאים”
- וכמה נשים אסטרונאוטיות הם ראו וכמה נשיאות וכמה . . .
(אורי) אז יש להם את ה-Bias שיש לכולנו . . . .
(רן) כן . . . אגב, אורי - זה נושא מרתק, של אתיקה ב-AI ו-Fairness וכל זה - זה נושא סופר-מעניין ואנחנו צריכים למצוא מישהו לדבר איתו עליו.
את בעצם אומרת שמודל-שפה - המטרה שלו זה לג’נרט (To Generate) משפטים, אבל הוא אומן בצורה מאוד פשוטה: “הנה משפט, הנה מילה חסרה - נחש מה המילה הבאה” - ואם ניחשת אז קיבלת “חיזוק” ואם לא אז קיבלת “חילוש”, או איך שאומרים את זה . . .
וזה עובד - הטכניקה הפשוטה הזאת עובדת בצורה מפתיעה: כל מי שראה איזשהו Output של GPT-3, חמשירים ש”הוא” כתב או סיפורי-מתח ש”הוא” כתב - נראה כאילו יש שם משורר מאחורי זה . . .
(רן) כן . . . . זאת אומרת - זה נראה כמו משהו נורא-נורא-טכני - “לחזות את המילה הבאה”, אוקיי . . . אבל נראה כאילו יש שם “נשמה” בפנים . . .
(אורי) נשמה גזענית ומיזוגנית . . .
- (ענבל) אבל אנחנו גם רוצים לייחס להם . . . אנחנו רוצים לייחס להם את “הקסם הזה”, אנחנו מאמינים . . .
- כמו שאמרתי קודם - אנחנו מפחדים ומאמינים ב-AI במידה שווה.
(רן) כן, ואת אומרת שחלק מזה זה . . .
(אורי) אגב - אנחנו נכנסים ל . . . “אנשים שמאמינים ויראים” באותו . . . מה קורה? רוצה לדבר על זה?
- (ענבל) קראת לי את המחשבות
- [גם לי - הנה]
- (ענבל) הדיונים האלה, שיוצא לי להשתתף בהם לא מעט - זה לא מפתיע אתכם לשמוע את זה - יש בהם הרבה סממנים של דת . . .
- מה זה “אינטליגנציה”? מה זה . . .
(רן) קצת מזכיר את הסיפור על הבחור הזה מ-Google שהיה משוכנע שמדובר ביישות אנושית לפניו . . . כן, אנחנו נכניס רפרנס לזה בשיחה, ב-Show-notes [אוקיי, זה שאני מוסיף הערות זה בסדר ורגיל - זה שהן עונות לי בחזרה זה מפתיע וקצת מוזר . . . ]
אז שוב - תודה רבה, ענבל! היה מרתק, נושא שברור שיש עוד הרבה מה לדבר עליו, אבל אנחנו נעצור פה. להתראות.
האזנה נעימה ותודה רבה לעופר פורר על התמלול!
152 פרקים
MP3•בית הפרקים
Manage episode 340088739 series 2497397
תוכן מסופק על ידי רברס עם פלטפורמה. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי רברס עם פלטפורמה או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.
(רן) למעשה, דיברנו על NLP ממש-ממש מזמן, ומאז NLP השתנה בגדול, פחות או יותר הכל השתנה...
אז רק נעשה רפרנס קטן לפרק שעשינו עם פרופ’ יואב גולדברג, חוקר ידוע בתחום [296 NLP with Yoav Goldberg, אי שם באפריל 2016 - והיה ב-2021 בעניין דומה גם את 401 AutoML at outbrain with Assaf Klein] - שם ממש דיברנו על דברים מאוד ב-High-Level - והיום אנחנו נדבר על אתגרים מעניינים בתחום ה-NLP, בעיקר מהעבודה היומיומית של ענבל.
ולפני כן - שלום ענבל! ככה, בשתי מילים, עליך ועל החברה?
- (ענבל) אני עובדת ב-Gong כבר חמש שנים
- התחלתי בסוף 2017 - והייתה קפיצה ענקית ב-NLP במהלך 2018, אז ממש יש את ה”לפני” ואת ה”אחרי” . .
- (רן) בתקופה שבה Transformers הייתה סדרת טלויזיה ובובות . . . .
- (ענבל) בדיוק . . . ולפני ה-Transformers, קראו לזה גם Sesame Street Models - כי היו את ELMo ו-BERT . . .
- ומצאתי לפני כמה חודשים איזו טיוטא של מייל שכתבתי בזמנו למנהל שלי: “תקשיב, קראתי איזה מאמר ממש מעניין - מודל שקוראים לו ELMo, ונראה לי שזה ממש ממש יכול להקפיץ לנו את הביצועים בכל מיני דברים” וזה . . .
- (רן) הוא מיד בדק האם זה 1 באפריל היום . . . . [איפה זהר?]
- (ענבל) לא נשלח - לא נשלחה, הטיוטא הזו . . .
- אבל זה היה מצחיק לקרוא, כי זה מייל מאוד נאיבי - אבל זה באמת “הרעיד את עולם ה-NLP”
- באמת ה-Transformer-ים האלה “נותנים בראש”.
(רן) אז אולי באמת נגיע גם לדבר עליהם קצת אחרי זה - אבל אולי עוד קצת עליך ועל הרקע שלך?
- (ענבל) אני Optimus Prime . . . חד משמעית
(רן) חייב . . . .
- (ענבל) הייתי משחקת . . . אהבתי את הרובוטריקים כשהייתי ילדה.
- אז אני עושה Machine Learning כבר הרבה מאוד זמן -
- למדתי בטכניון פיסיקה והנדסת חשמל ואחר כך המשכתי למכון וייצמן - ועשיתי גם שם תואר שני במדעי המחשב, עם התמחות ב-Machine Learning . . . .
- אחר כך עשיתי כמעט-דוקטורט באוניברסיטת טוקיו - גרתי שם שנתיים-וחצי
- אם תרצו פודקאסט על יפן אז אפשר גם את זה.
- (רן) למדת יפנית? (אורי) יותר יפנית מיפנית . . . .
- (ענבל) בזמנו לא הצלחתי לתקשר מחשבות מורכבות ורגשות - אבל להזמין מקום במסעדות וליום-יום אז . . .
- (אורי) בצעקות? . . . .
- (ענבל) אפילו בטלפון - יצא לכם ללמוד שפה זרה? ולנסות לעשות שיחת טלפון? . . . . זה מפחיד.
- (רן) כן . . . . זה קשה.
- הצלחתי להזמין, נגיד, מלון בספרדית - אבל זה לא היה פשוט . . .
- (ענבל) כי לא רואים . . . לא קוראים שפתיים, לא רואים שפת-גוף - זה מדיום מאוד לא-סלחני.
- אז חזרתי מיפן - וממש קצת אחרי זה התחלתי לעבוד ב-Gong
- והאמת שלא ידעתי מה החברה עושה . . . הגעתי ביום הראשון שלי לעבודה ושאלתי את המנהל שלי
- אמרתי לו “תגיד, עומרי - מה אנחנו עושים?” . . . - והוא צחק והסביר לי
- (רן) “בשביל זה שכרנו אותך - כדי שתגידי לנו מה לעשות” . . . .
- (ענבל) בדיוק . . .
- אז מה אנחנו עושים, מה Gong עושה? אז אנחנו בנינו - בונים וממשיכים לבנות - מוצר שמנתח אינטראקציות עסקיות
- שיחות עסקיות עם לקוחות קיימים ולקוחות עתידיים
- זה פחות “סלקום שלום! אפשר לעניין אתכם בחבילה?” . . . - זה ממש תקשורת שיכולה להימשך חודשים, זה יכול לקחת שנה . . .
- שמדברים עם כל מיני גורמים בתוך החברה הזו - עושים Demo-ים, עושים Pilot-ים - באמת תהליכים מורכבים.
- ואנחנו מקליטים ואוספים את המידע הזה - משיחות מדוברות, מתוך מיילים, מתוך ערוצים אחרים של תקשורת כתובה
- שמים את זה במקום אחד - שזה כבר נותן ערך, מעצם זה שרואים מה קורה
- ועל גבי זה נותנים שכבות שונות של תובנות ושל המלצות ושל . . .
(רן) אני יכול להגיד נגיד שאצלנו בחברה, “Gong” זה פועל - כמו “לגגל” - אז “עברתי על ה-Gong שלהם” . . . אנשי מוצר ואנשי Customer Success עושים את זה חדשות-לבקרים, זה כלי מאוד מאוד שימושי אצלנו.
- (ענבל) איזה כיף.
לא נספיק לכסות את כל מה שקרה בשבע השנים האחרונות - אבל אולי נבחר כמה נקודות מעניינות, ובעיקר ככה מהיום-יום שלך. אז . . .
(אורי) מה נשמע? מה חדש? מה קורה? . . . .
- (ענבל) מה חדש? . . . .
(רן) אולי נתחיל ב”מה הם האתגרים, נכון להיום” - אילו אתגרים מעניינים יש לפצח?
- (ענבל) יש מלא אתגרים . . . . המודלים האלה - אנחנו לא תמיד מבינים מה בדיוק הם עושים ואיך אנחנו יכולים, ככה, “לעזור להם לעזור לנו” לפתור בעיות.
- אם יש לנו, למשל, מודל שמטרתו לזהות סימני אזהרה בעיסקה - כשאנשים לא מרוצים, כשאנשים מקפיאים את העסקה, כשהם אומרים “Don’t call us - we’ll call you”, ואנחנו רוצים להציף את זה . . .
- (ענבל) כן, אבל זה תלוי באיזו מדינה . . .
(אורי) נכון . . . .
- (ענבל) . . . . ומכאן המורכבות - יש לנו אולי לקוחות אמריקאים ויש לנו ישראלים, שמדברים *ממש* אחרת . . .
- היה לנו מקרה כזה, כשניסינו להעביר . . . . לבנות מודל כזה בגרמנית
- ולא הצלחנו להבין למה הוא לא עובד - למה לא הצלחנו . . . למה . . . איפה הייתה הבעיה?
- ועבדנו עם המתייגים שלנו - הגרמנים - והגענו להבנה שפשוט גרמנים עושים עסקים אחרת . . .
- וזה פשוט נראה אחרת - ואם מנסים “לתרגם” את המודל מאנגלית לגרמנית זה פשוט . . . זה לא עובד.
(אורי) אבל אולי אין Data “גרמני” . . . המתייגים הם גרמנים שיודעים . . .
(רן) אני אנסה להגיד את זה בשפה שלי, נראה אם אני מבין: את אומרת שאני, כשאני בונה מודל - יש לי איזה-שהן הנחות יסוד, יש לי Case, יש לי מה שנקרא Bias ב-Machine Learning, יש לי איזשהו Bias - אני מניח שככה עושים עסקים ולכן אני בונה מודל בצורה כזאת. אבל אם מראש הנחות היסוד האלו - כמו למשל שכשאני מציע הצעה והוא אומר לי כן או לא, אז אני מניח שזה הפרוטוקול - ובגרמנית זה פשוט לא עובד ככה . . . .
(אורי) רגע, אבל השאלה היא האם כשאתה אומר “אני בונה מודל” - או “אני מאמן מודל”, כי המאמנים הם גרמנים . . .
- (ענבל) אז יש לנו מיליוני מיילים - אני רוצה להגיד “ביום” אבל אולי זה בשבוע, אל תתפסו אותי בסדרי הגודל - בגרמנית
- ואם אנחנו נדגום באקראי את המיילים האלו, כדי לבנות Training Set בגרמנית, אז סביר שאנחנו לא נתפוס הרבה “נורות אדומות” כאלה.
- עכשיו, יש לנו מודל באנגלית - שעובד, ויש מודלים שהם מקודדים כמה שפות
- לא זוכרת אם אלה Google או Facebook ששחררו בשבוע שעבר מודל שתומך בעוד 40 שפות בפנים - אז יש לזה תמיכה במעל 40 שפות בתוך אותו המודל [Meta Open-Sources 200 Language Translation AI NLLB-200].
- אז אפשר לאמן אותו עם ה-Data-Set המתוייג באנגלית - ואז להשתמש בו כדי לעשות פרדיקציות (Predictions) בגרמנית
- ולנסות ככה “לדוג” מיילים שיש להם את התוכן הזה שאנחנו מחפשים.
- להעביר אותם דרך מתייג אנושי - ואז לאמן את המודל עם Data-Set בשתי השפות.
(אורי) אבל את אומרת שה-Domain של הבעיה “מתנהג אחרת” - כאילו, “עסקים” זה . . .
- (ענבל) אז לא ידענו את זה לפני . . . לא הבנו למה אנחנו לא מצליחים “להעלות בחכתינו” באופן הזה, שעבד בשפות אחרות, על בעיות אחרות . . . לא הצלחנו לתפוס את “הנורות האדומות” האלה בגרמנית.
- אבל רק כשממש הסתכלנו לעומק על ה-Data עם המתייגים ו”שברנו את הראש” אז הבנו את זה.
(רן) זאת אומרת שהתחלנו בבעיות NLP, אבל למעשה מדובר פה על איזשהו “פער תרבותי”, איזשהו הבדל תרבותי משמעותי - ש-NLP זו אחת ההתבטאויות שלו- ש-Natural Language זה אחד הביטויים שלו - אבל למעשה זהו הבדל תרבותי משמעותי.
דרך אגב, אני מניח שזה קיים גם בתרבויות אחרות שאולי פשוט לא הגעתם אליהן - אני מנחש שזה יכול לקרות גם בסין וביפן ובמקומות אחרים שקצת יותר רחוקים מאיתנו תרבותית. דווקא לא הייתי מנחש שגרמנית, דרך אגב . . . .
(אורי) אני דווקא חשבתי על גרמנית באספקט אחר, שגם לי יצא “לחפור” מעט . . .
(רן) . . . שהמילים כל כך ארוכות . . . זה מורכב מכמה מילים . . .
(אורי) זה לא שהן ארוכות - הן מחוברות ביחד, ואז יוצאת לך כמות אדירה של פרמוטציות (Permutations) של מילים ש . . .
(רן) כל כך הרבה Vowels וכל זה . . .
(אורי) כן
- (ענבל) כן, גרמנית זו שפה שלא ניסיתי אפילו ללמוד - אז יכול להיות שמה שאני אומר פה הוא לא מדויק.
- אבל בכניסה לתוך המודלים הגדולים האלה, לוקחים את המילים ומפרקים אותן ליחידות קצת יותר קטנות שנקראות Token-ים
- ואז, אם המודל הזה רואה מידע שהוא לא הכיר אף פעם, שהוא לא פגש אף פעם - אז הוא מחלק את זה למעיין תתי-מילים כאלה ו . . .
- (ענבל) אז בגרמנית, בגלל שיש את המבנה, את הקומפוזיציה הזו, אז אני מניחה שה-Tokenizer-ים יודעים לחלק איפה שצריך.
- זה, נגיד, אתגר מאוד משמעותי בעברית - הפרופסור רעות צרפתי מאוניברסיטת בר-אילן, לדעתי גם בתמיכת המדען הראשי אם אני לא טועה, מקדמת את האג’נדה של NLP בעברית
- וזה מתנהג ממש אחרת . . .
- (רן) “ירושלמא” . . . . מילים שיש להן משמעות של משפט שלם - קצת כמו בגרמנית . . . .
- (ענבל) כן - אז ממש צריך לתת לזה טיפול מיוחד.
- ואם אני כבר אני מעלה את הנושא הזה - אז המשאבים שיש ב-NLP באנגלית הם בסדרי-גודל יותר מאשר בשפות אחרות . . .
(רן) בסדר, אז ככה ממש . . . לא נוכל לעבור על כל אתגרי ה-NLP נכון להיום, אבל הנושא התרבותי / סמנטי הוא ללא ספק אחד מהם.
אילו עוד אתגרים יש, ככה ביום-יום, כאלה שאת נתקלת בהם?
- (ענבל) הנושא הזה של אינטרפרטביליות (Interpretability) של המודלים האלו, ולהבין למה הם עושים את השגיאות [בכוונה?]
- מה יעזור להם לבצע יותר טוב? מהו הידע הזה שהם “מחזיקים” בתוך המטריצות הגדולות האלה? . . .
(רן) כלומר, מודל ממוצע - כמה פרמטרים, פחות או יותר, יש לו? אנחנו מדברים על סדר-גודל של מיליארדים?
- (ענבל) מיליארדים - ולדעתי אפילו כבר מאות-מיליארדים [עם GPT-4 הדיבור הוא על 100 טריליון…]
(רן) בסדר . . . . ואם יש איזשהו Bug באחד הניורונים באמצע - מאוד קשה למצוא אותו . . .
- (ענבל) כנראה ש-Bug-ים . . . . Bug-ים אין שם - אלו מודלים שבעצם . . . .
- הקפיצה הגדולה הזאת, שקרתה ב-2018 - היא לא רק בזה שבנו מודלים מסוג מסויים, שהצליחו “לתת קפיצה” בביצועים
- זה גם זה שיש לנו מודלים שהם Pre-Trained - שזה קונספט שככה “השאלנו” מקהילת הראייה הממוחשבת
- שהקפיצה שם קרתה, לדעתי, ב-2012 או ב-2014 . . .
- בעצם, יש לנו את המודלים הגדולים האלה, המתוחכמים, שהם “קראו את כל Wikipedia” והם “קראו את כל האינטרנט”
- ספרים עיתונים - הם קראו הכל.
- אז הם יודעים די טוב שפה . . . יש להם “ידע כללי” לא רע בכלל -
- עד כדי זה שהוא “קפוא בזמן”, נכון לזמן האימון . . . - ובעצם, כשאנחנו רוצים לפתור איזושהי בעיה ב-Domain שלנו או בעיה יותר ממוקדת, אז אנחנו מתחילים ממקום ש”אנגלית יודעים כבר” . . .
- אז עכשיו צריך רק “ללמד אותם” את המשימה הספציפית הזאת שאנחנו רוצים לענות עליה.
(אורי) . . . . זה יכול להיות Signal?
- (ענבל) חד משמעית . . . .
(אורי) אוקי . . . אגב, זה מאוד קשור לתרבות, כן?
- (ענבל) זה באמת מאוד תלוי-תרבות ומאוד קשה לקודד את זה.
- אבל כשאנחנו - בני אדם - רוכשים שפה או בכלל הבנה על מה שקורה סביבנו, אז אנחנו לומדים שפה לצד ראייה, אנחנו לומדים שפה לצד שמע . . .
- וחיזוק חיובי או שלילי . . .
- אז יש כל מיני מה שנקרא מודאליות (Modality) - שאפשר להכניס מקורות מידע כאלה ואחרים כדי לחזק את ה-NLP או . . . .
(רן) אוקיי, זה אפשרי תיאורטית - אבל עושים את זה, בפרקטיקה? יש אילו-שהן אנוטציות (Annotation) מעל מילים? “הנה, הוא עשה תנועת-גוף כזאת” או “הנה - הוא עשה פרצוף כזה”?
(אורי) או סתם איזשהו שינוי של הסאונד או . . . .כאילו, “המוסיקה של הדיבור”.
- (ענבל) אצלנו לא עושים את זה, מתוך בחירה . . . מתוך הבנה שאי אפשר לעשות הכל.
- בגלל שהדבר הזה הוא כל כך תלוי-תרבות וכל כך רגיש - אז זה לא המקום להשקיע בו את האנרגיה שלנו, כרגע.
(רן) כן, ובוא נאמר: רוב - אני מניח - רוב ה-Data של המתאמנים הוא Data טקסטואלי, אוקיי? בעולם, לפחות ה-SoTA שאותם הזכרת - ככה שגם לא היו יכולים לעשות את זה.
- (ענבל) זה בכלל . . . . אם מדברים על אתגר - זה חתיכת אתגר.
- אני לא יודעת אם יצא לכם לראות תמלול של שיחות - אבל זה ג’אנק . . . .[1+ על זה…]
- אני מאוד מודעת לזה עכשיו, בחמש השנים שאני עובדת ב-Gong, אז אני משתדלת להשלים משפטים [אכן - ותודה!]
- אבל רובנו לא - אנחנו מגמגמים ואנחנו . . . [לתמלל את השיחה הזו זה לגמרי מטא . . . ]
- עזבו, גם אם היינו מדברים בשפה שהיא תחבירית ומתחילים ומסיימים משפטים, אז יש כל מיני ידע שהוא . . .
- נגיד, אני אדבר . . . אני אתייחס למשהו שדיברתי עליו לפני חמש דקות - אתם מבינים כי אתם זוכרים . . .
(רן) יש Context . . .
- (ענבל) יש Context, בדיוק.
- אז חוסר-תחביריות, חוסר-Context . . .
(אורי) אל תניחי שאנחנו זוכרים . . .
- (ענבל) אני מקווה . . .
(אורי) אנחנו כבר בגיל . . .
- (ענבל) אז זה באמת - זה אתגר ענקי.
(רן) אחד הדברים המעניינים שככה יצא לנו לדבר עליהם לפני השיחה זה שאתם לא עושים רק NLP, אתם בעצם עובדים גם עם בני אדם, אוקיי? ויש איזה-שהם יחסי גומלין בין המכונה לבין בני האדם.
- (ענבל) כן . . .
- (ענבל) אני אוהבת בני-אדם! אני בעד בני האדם . . . אני חושבת שבני אדם ומכונות יכולים לחיות בשלום ובאהבה יחד.
(אורי) תלוי מה הטמפרטורה של ה-Datacenter . . .
- (ענבל) זה נכון . . .
- אבל זה באמת אחד העקרונות - ה-עקרון - שמוביל אותנו ב-Gong בכל הנושא של NLP -
- זה שאנחנו לא פותרים בעיות-לשם-פתרון-בעיות
- אנחנו רוצים להביא ערך ללקוחות שלנו
- וזה הפוקוס שלנו - האנשים
- וזה מאוד מעניין לראות איך הם עושים אינטראקציה עם ה-AI - אני מרגישה שאנשים מפחדים ומאמינים ואוהבים AI במידה שווה, בערך.
(רן) והאנשים שאיתם אתם עובדים אלו למעשה בדרך כלל אנשי-מכירות, נכון? והם - יש להם מכונה שאולי יודעת לתמלל ואולי להוציא איזה-שהם Action Items מהשיחה וכו’ - ואת אומרת “הם מאמינים ומפחדים במידה שווה”?
- (ענבל) אני פחות יודעת האם הם, באופן אישי, מפחדים - אבל אני שומעת, משיחות עם חברים שלי . . .
- “עליית המכונות” זה צמד-מילים שאני שומעת פה ושם.
- הדוגמא שאתה מתייחס אליה - ה-Action Items - אז דמיינו שאתם אנשי מכירות ויצאתם עכשיו משיחה של שעה עם לקוחות
- הלך לכם טוב, מעולה - אתם באנרגיות גבוהות . . . .
- אין לכם כוח עכשיו לרשום סיכום של השיחה וממש לא בא לכם לכתוב רשימה של כל הדברים שאתם צריכים לעשות כ-Follow-up לשיחה הזאת.
- אחד ה-Feature-ים לדעתי-הכי-פופולאריים, לפחות באיזור הזה של המוצר, הוא ה-Feature הזה, שמזהה Action Items -
- אז ירדתם מהשיחה, אתם מקבלים לינק לשיחה - ומסכמים לכם את כל ה-Action Items שהבטחתם.
- אשת-Product דיברה עם איזשהו לקוח בשבוע שעבר והיא סיפרה לי -
- היא אמרה לי “את יודעת, זה די מדהים - ירדתי עכשיו משיחה עם מישהו שאמר לי שהוא מאוד אוהב את ה-Action Items, את ה-Feature הזה”
- והוא יודע שכשהוא אומר מילים מסויימות - כשהוא אומר “Let me follow up with you next week”, למשל - אז המודל תופס את זה, המכונה תופסת
- אז הוא משתדל לדבר ככה - הוא משתדל להגיד את המילים האלה, כדי לסמן . . .
(אורי) . . . כדי “לעזור למכונה” . . .
(רן) . . . “לעזור למכונה לעזור לו”, למעשה . . . . כן. זה קצת מזכיר לי את הסיפור על Google, שפעם כולנו היינו הולכים ומחפשים בשפה מאוד יפה, ככה “אבשלום-קורית”, בתיבת החיפוש - עד שהבנו שכל מה שצריך זה איזשהו “Bag of Words”, כמה מילים לזרוק פנימה ובסדר - Google כבר יבין . . . אני לא באמת צריך לסדר אותן בסדר הנכון, זה ממש לא משנה - זה לא צריך להראות כמו משפט וזה בטח שלא צריך להיראות כמו שאלה . . .
(רן) כן . . .
- (ענבל) כשאתם מדברים - אני לא יודעת אם יש לכם Siri או איזשהו Personal Assistant כזה, איזה Google Home או משהו - אתם אומרים “תודה” ו”בבקשה”?
(רן) כן . . . לגמרי . . . זה מוזר, אני לגמרי . . . אבל זה כאילו נותן תחושה שאולי זה “עמק המוזרות” שם, אבל זו סוג של תחושה. כאילו, אם אני כותב אז אני באמת לא צריך לכתוב - אבל כשמדברים, אז אולי יש שם מישהו, אולי יש שם איזו ישות כזאת . . .
- (ענבל) זה די מוזר . . . אני בעצמי לא משתמשת בכל ה-Personal Assistants האלה
- אני מעדיפה להקליד - אני מקלידה מאוד מהר עם האצבעות
- אבל . . .
(אורי) השאלה איך זה בנהיגה . . .
- (ענבל) אבל אין לי אוטו! אז זה . . . הגעתי עד כאן ברכבת . . .
(אורי) חוץ מזה שאין רכבת עכשיו . . . .
- (ענבל) אין רכבות עכשיו . . . בסדר.
(רן) אז זהו - יחסי-הגומלין האלה מאוד מעניינים. יצא לך לראות עוד סיטואציות? זאת אומרת - נגיד עם ה-Taggers או אנשים אחרים שהם ככה בתוך ה-Loop, שראית יחסי-גומלין מעניינים בין האדם לבין המכונה?
- (ענבל) בהחלט
- יש לנו עוד איזה Feature די גדול, שבעצם מאפשר למשתמשים שלנו לאמן את המודל שלהם בעצמם.
- אז למשל - חברה א’: מאוד מעניין אותה לשמוע ולזהות בשיחות את כל המקומות שבהם מדברים על המתחרים שלהם, ומתייחסים למהירות השירות שלהם.
- זה משהו שהוא מאוד ספציפי לחברה הזאת
- ומי מכיר את המידע של הלקוחות שלנו יותר טוב מהלקוחות עצמם? . . .
- אנחנו הגענו לשלב כזה - ב-NLP בכלל אבל גם ב-Machine Learning . . . ב-NLP בפרט וב-Machine Learning בכלל - שהמודלים טובים . . .
- (ענבל) כן . . . המודלים טובים - מה שמשנה עכשיו זו איכות ה-Data שמשתמשים בו כדי לאמן אותם.
- אז זה בעצם Win-Win - הלקוחות מקבלים את היכולת לזהות את מה שמעניין אותם
- וגם הם מקבלים בעצם מודל יותר טוב - כי ה-Data שהם סיפקו הוא יותר טוב.
(אורי) זאת לא אמירה שהיא, וואלה - תמיד נכונה ב-Machine Learning? במיוחד היום, כש . . . . בכלל, הנדסת-המודלים די “בוגרת”, ורק עבודה על ה-Data כאילו - משחקים ב-Feature-ים, טיובים של ה-Feature-ים וכאלה . . . .
- (ענבל) אז אנחנו כבר לא עושים Feature-ים . . .
- זאת אומרת, ה . . . אחד הדברים הלא-כל-כך-טריויאליים במודלי-שפה הענקיים האלה זה שלא עשינו “Feature Engineering”
- והאמירה הזאת - ש”ה-Data זה מה שחשוב” - היא תמיד הייתה נכונה
- אבל לפני 2018 - “הקפיצה הגדולה” הזאת - המודלים לא היו כל כך טובים, כאילו . . . .
- רגרסיה - Logistic Regression, אני תמיד מתבלבלת בין זה לבין Linear Regression, וזה לא אותו הדבר בכלל - יש לה . . .
- זה מודל מאוד פשוט עם ביצועים לא רעים בכלל, אבל . . .
(אורי) אבל הוא בסיסי . . .
- (ענבל) אבל הוא מאוד בסיסי - ובימים שבהם זה היה כלי העבודה, אז היה הרבה מאוד מה לשפר במודל, לפני שמגיעים ל-Data.
(אורי) לתיוג . . .
- (ענבל) כן
(אורי) זאת אומרת שעכשיו נשאר לנו להתעסק בתיוג ובאיכות התיוג . . . “לנקות רעשים”.
- (ענבל) כן - ובלהגדיר את הבעיה באופן הנכון.
(רן) כן, אז את אומרת שאם בעבר עבודת ה-Machine Learning התרכזה בבנייה של מודל “נכון”, היום המודלים הם “נכונים” ואין מה להתעסק בזה, בגדול אין מה להתעסק בזה.
מקום שבו כן אפשר להשיג שיפורים משמעותיים זה בטיוב של ה-Data - היזון שלו, תיוג שלו, מתן סמנטיקה וכו’ - אבל לא במודל.
(אורי) וגם Context של ה-Domain - זה בסוף Problem Domain וצריך להכיר אותו, והמודל צריך להכיר אותו.
- (ענבל) נכון.
- אנחנו עדיין לא מספיק טובים במה שנקרא Domain Adaptation - יש שם המון שיטות
- עובדים לצידי אנשים שכתבו על זה את עבודות הדוקטורט שלהם
- ועדיין זה לא בדיוק שם - זאת אומרת, להעביר את זה מ-Domain, נגיד, של “רפואה” ל”עסקים” או משפה אחת לשנייה . . .
- (ענבל) “אורטופדים” ו”מוסכניקים” זה דומה . . .
(רן) אבל “אורטופדיה” ו”רפואת נשים” זה שונה . . .
- (ענבל) נכון.
- (ענבל) שאלה מצויינת . . . [יש שקף?]
- (ענבל) אתה עושה את זה כבר זמן-מה . . . מרגישים.
(רן) בשביל זה אני פה . . .
- (ענבל) Language Model זה בעצם כלי-העבודה העיקרי שיש לנו ב-NLP
- בעצם Language Model ו-Large Language Model
- ובעצם זה משהו מאוד פשוט - איך אימנו את הרשתות המפלצתיות האלה? נתנו להן משימה מאוד פשוטה
- נתנו להן איזשהו טקסט והחסירו מילה - וביקשו מהן “לחזות” את המילה החסרה . . .
(רן) כמו במבחן באנגלית . . .
- (ענבל) בדיוק . . . זהו - והם עושים בזה עבודה לא רעה בכלל.
- אולי שמעתם על GPT-3 וכל המודלים ה . . . כבר הפסקתי לעקוב אחרי כל הגרסאות וזו קצת תחרות של “של מי יותר גדול”
- אז כל “ה-GPT-3 הזה”, שיודע לייצר טקסטים שנדמה שנכתבו על ידי בני אדם - כל מה שהם עושים זה חוזים את המילה הבאה.
- נותנים להם איזושהי התחלה של משפט או שנותנים להם איזושהי הוראה - והם מוצאים מילה אחרי מילה אחרי מילה . . .
- וניהיה טקסט.
- וזה לא מובן מאליו שבאמצעות משימת אימון כל כך פשוטה, אנחנו בעצם יכולים לקודד את כל הידע הזה של השפה והידע הכללי -
- ולהיות מסוגלים לפתור בעיות כמו Questions answering או . . . .
- (ענבל) זה די מטריד, איך שהם משלימים דברים . . .
(אורי) ה-Autocomplete
- (ענבל) כן - אבל אם כבר העלת את זה, אז בכלל - אתגר מאוד משמעותי: המודלים האלה “קראו” את כל האינטרנט
- והם גזענים ומיזוגנים והם חושבים . . . כל ההטיות שאנחנו חוטאים בהן . . . .
- (ענבל) . . . אבל הם באמת ראו - בכל מיני ספרים: “נשים הן אחיות” ו”גברים הם רופאים”
- וכמה נשים אסטרונאוטיות הם ראו וכמה נשיאות וכמה . . .
(אורי) אז יש להם את ה-Bias שיש לכולנו . . . .
(רן) כן . . . אגב, אורי - זה נושא מרתק, של אתיקה ב-AI ו-Fairness וכל זה - זה נושא סופר-מעניין ואנחנו צריכים למצוא מישהו לדבר איתו עליו.
את בעצם אומרת שמודל-שפה - המטרה שלו זה לג’נרט (To Generate) משפטים, אבל הוא אומן בצורה מאוד פשוטה: “הנה משפט, הנה מילה חסרה - נחש מה המילה הבאה” - ואם ניחשת אז קיבלת “חיזוק” ואם לא אז קיבלת “חילוש”, או איך שאומרים את זה . . .
וזה עובד - הטכניקה הפשוטה הזאת עובדת בצורה מפתיעה: כל מי שראה איזשהו Output של GPT-3, חמשירים ש”הוא” כתב או סיפורי-מתח ש”הוא” כתב - נראה כאילו יש שם משורר מאחורי זה . . .
(רן) כן . . . . זאת אומרת - זה נראה כמו משהו נורא-נורא-טכני - “לחזות את המילה הבאה”, אוקיי . . . אבל נראה כאילו יש שם “נשמה” בפנים . . .
(אורי) נשמה גזענית ומיזוגנית . . .
- (ענבל) אבל אנחנו גם רוצים לייחס להם . . . אנחנו רוצים לייחס להם את “הקסם הזה”, אנחנו מאמינים . . .
- כמו שאמרתי קודם - אנחנו מפחדים ומאמינים ב-AI במידה שווה.
(רן) כן, ואת אומרת שחלק מזה זה . . .
(אורי) אגב - אנחנו נכנסים ל . . . “אנשים שמאמינים ויראים” באותו . . . מה קורה? רוצה לדבר על זה?
- (ענבל) קראת לי את המחשבות
- [גם לי - הנה]
- (ענבל) הדיונים האלה, שיוצא לי להשתתף בהם לא מעט - זה לא מפתיע אתכם לשמוע את זה - יש בהם הרבה סממנים של דת . . .
- מה זה “אינטליגנציה”? מה זה . . .
(רן) קצת מזכיר את הסיפור על הבחור הזה מ-Google שהיה משוכנע שמדובר ביישות אנושית לפניו . . . כן, אנחנו נכניס רפרנס לזה בשיחה, ב-Show-notes [אוקיי, זה שאני מוסיף הערות זה בסדר ורגיל - זה שהן עונות לי בחזרה זה מפתיע וקצת מוזר . . . ]
אז שוב - תודה רבה, ענבל! היה מרתק, נושא שברור שיש עוד הרבה מה לדבר עליו, אבל אנחנו נעצור פה. להתראות.
האזנה נעימה ותודה רבה לעופר פורר על התמלול!
152 פרקים
כל הפרקים
×ברוכים הבאים אל Player FM!
Player FM סורק את האינטרנט עבור פודקאסטים באיכות גבוהה בשבילכם כדי שתהנו מהם כרגע. זה יישום הפודקאסט הטוב ביותר והוא עובד על אנדרואיד, iPhone ואינטרנט. הירשמו לסנכרון מנויים במכשירים שונים.