Artwork

תוכן מסופק על ידי BlueDot Impact. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי BlueDot Impact או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.
Player FM - אפליקציית פודקאסט
התחל במצב לא מקוון עם האפליקציה Player FM !

Discovering Latent Knowledge in Language Models Without Supervision

37:09
 
שתפו
 

סדרה בארכיון ("עדכון לא פעיל" status)

When? This feed was archived on February 21, 2025 21:08 (1M ago). Last successful fetch was on January 02, 2025 12:05 (3M ago)

Why? עדכון לא פעיל status. השרתים שלנו לא הצליחו לאחזר פודקאסט חוקי לזמן ממושך.

What now? You might be able to find a more up-to-date version using the search function. This series will no longer be checked for updates. If you believe this to be in error, please check if the publisher's feed link below is valid and contact support to request the feed be restored or if you have any other concerns about this.

Manage episode 424087972 series 3498845
תוכן מסופק על ידי BlueDot Impact. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי BlueDot Impact או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.

Abstract:

Existing techniques for training language models can be misaligned with the truth: if we train models with imitation learning, they may reproduce errors that humans make; if we train them to generate text that humans rate highly, they may output errors that human evaluators can't detect. We propose circumventing this issue by directly finding latent knowledge inside the internal activations of a language model in a purely unsupervised way. Specifically, we introduce a method for accurately answering yes-no questions given only unlabeled model activations. It works by finding a direction in activation space that satisfies logical consistency properties, such as that a statement and its negation have opposite truth values. We show that despite using no supervision and no model outputs, our method can recover diverse knowledge represented in large language models: across 6 models and 10 question-answering datasets, it outperforms zero-shot accuracy by 4\\% on average. We also find that it cuts prompt sensitivity in half and continues to maintain high accuracy even when models are prompted to generate incorrect answers. Our results provide an initial step toward discovering what language models know, distinct from what they say, even when we don't have access to explicit ground truth labels.

Original text:

https://arxiv.org/abs/2212.03827

Narrated for AI Safety Fundamentals by Perrin Walker of TYPE III AUDIO.

---

A podcast by BlueDot Impact.
Learn more on the AI Safety Fundamentals website.

  continue reading

פרקים

1. Discovering Latent Knowledge in Language Models Without Supervision (00:00:00)

2. ABSTRACT (00:00:12)

3. 1 INTRODUCTION (00:01:29)

4. 2 PROBLEM STATEMENT AND FRAMEWORK (00:06:32)

5. 2.1 PROBLEM: DISCOVERING LATENT KNOWLEDGE (00:07:04)

6. 2.2 METHOD: CONTRAST-CONSISTENT SEARCH (00:08:31)

7. Constructing contrast pairs. (00:10:16)

8. Feature extraction and normalization. (00:11:43)

9. Inference. (00:15:58)

10. 3 RESULTS (00:17:04)

11. 3.1 EXPERIMENTAL SETUP (00:17:07)

12. 3.2 EVALUATING CCS (00:23:41)

13. 3.2.1 CCS OUTPERFORMS ZERO-SHOT (00:23:44)

14. 3.2.2 CCS IS ROBUST TO MISLEADING PROMPTS (00:25:17)

15. 3.3 ANALYZING CCS (00:26:41)

16. 3.3.1 CCS FINDS A TASK-AGNOSTIC REPRESENTATION OF TRUTH (00:27:12)

17. 3.3.2 CCS DOES NOT JUST RECOVER MODEL OUTPUTS (00:30:00)

18. 3.3.3 TRUTH IS A SALIENT FEATURE (00:31:45)

85 פרקים

Artwork
iconשתפו
 

סדרה בארכיון ("עדכון לא פעיל" status)

When? This feed was archived on February 21, 2025 21:08 (1M ago). Last successful fetch was on January 02, 2025 12:05 (3M ago)

Why? עדכון לא פעיל status. השרתים שלנו לא הצליחו לאחזר פודקאסט חוקי לזמן ממושך.

What now? You might be able to find a more up-to-date version using the search function. This series will no longer be checked for updates. If you believe this to be in error, please check if the publisher's feed link below is valid and contact support to request the feed be restored or if you have any other concerns about this.

Manage episode 424087972 series 3498845
תוכן מסופק על ידי BlueDot Impact. כל תוכן הפודקאסטים כולל פרקים, גרפיקה ותיאורי פודקאסטים מועלים ומסופקים ישירות על ידי BlueDot Impact או שותף פלטפורמת הפודקאסט שלהם. אם אתה מאמין שמישהו משתמש ביצירה שלך המוגנת בזכויות יוצרים ללא רשותך, אתה יכול לעקוב אחר התהליך המתואר כאן https://he.player.fm/legal.

Abstract:

Existing techniques for training language models can be misaligned with the truth: if we train models with imitation learning, they may reproduce errors that humans make; if we train them to generate text that humans rate highly, they may output errors that human evaluators can't detect. We propose circumventing this issue by directly finding latent knowledge inside the internal activations of a language model in a purely unsupervised way. Specifically, we introduce a method for accurately answering yes-no questions given only unlabeled model activations. It works by finding a direction in activation space that satisfies logical consistency properties, such as that a statement and its negation have opposite truth values. We show that despite using no supervision and no model outputs, our method can recover diverse knowledge represented in large language models: across 6 models and 10 question-answering datasets, it outperforms zero-shot accuracy by 4\\% on average. We also find that it cuts prompt sensitivity in half and continues to maintain high accuracy even when models are prompted to generate incorrect answers. Our results provide an initial step toward discovering what language models know, distinct from what they say, even when we don't have access to explicit ground truth labels.

Original text:

https://arxiv.org/abs/2212.03827

Narrated for AI Safety Fundamentals by Perrin Walker of TYPE III AUDIO.

---

A podcast by BlueDot Impact.
Learn more on the AI Safety Fundamentals website.

  continue reading

פרקים

1. Discovering Latent Knowledge in Language Models Without Supervision (00:00:00)

2. ABSTRACT (00:00:12)

3. 1 INTRODUCTION (00:01:29)

4. 2 PROBLEM STATEMENT AND FRAMEWORK (00:06:32)

5. 2.1 PROBLEM: DISCOVERING LATENT KNOWLEDGE (00:07:04)

6. 2.2 METHOD: CONTRAST-CONSISTENT SEARCH (00:08:31)

7. Constructing contrast pairs. (00:10:16)

8. Feature extraction and normalization. (00:11:43)

9. Inference. (00:15:58)

10. 3 RESULTS (00:17:04)

11. 3.1 EXPERIMENTAL SETUP (00:17:07)

12. 3.2 EVALUATING CCS (00:23:41)

13. 3.2.1 CCS OUTPERFORMS ZERO-SHOT (00:23:44)

14. 3.2.2 CCS IS ROBUST TO MISLEADING PROMPTS (00:25:17)

15. 3.3 ANALYZING CCS (00:26:41)

16. 3.3.1 CCS FINDS A TASK-AGNOSTIC REPRESENTATION OF TRUTH (00:27:12)

17. 3.3.2 CCS DOES NOT JUST RECOVER MODEL OUTPUTS (00:30:00)

18. 3.3.3 TRUTH IS A SALIENT FEATURE (00:31:45)

85 פרקים

כל הפרקים

×
 
Loading …

ברוכים הבאים אל Player FM!

Player FM סורק את האינטרנט עבור פודקאסטים באיכות גבוהה בשבילכם כדי שתהנו מהם כרגע. זה יישום הפודקאסט הטוב ביותר והוא עובד על אנדרואיד, iPhone ואינטרנט. הירשמו לסנכרון מנויים במכשירים שונים.

 

מדריך עזר מהיר

האזן לתוכנית הזו בזמן שאתה חוקר
הפעלה