695 subscribers
התחל במצב לא מקוון עם האפליקציה Player FM !
פודקאסטים ששווה להאזין
בחסות


#174 Zita Marinho - Como funcionam os algoritmos do ChatGPT e de outros Large Language Models?
Manage episode 447924488 series 1606220
Zita Marinho é investigadora na Google DeepMind, onde atualmente trabalha em Reinforcement Learning (“aprendizagem por reforço”, uma área de Machine Learning). Possui um duplo doutoramento em Robótica pelo Instituto de Robótica da Carnegie Mellon University e do Instituto Superior Tecnico em 2018. Os seus interesses de investigação estão na interseção entre algoritmos de aprendizagem automática e Processamento de Linguagem Natural.
-> Apoie este podcast e faça parte da comunidade de mecenas do 45 Graus em: 45grauspodcast.com
-> Workshops de Pensamento Crítico.
_______________
Índice:
(0:00) Introdução
(6:40) Algoritmos de redes neuronais | Nobel da Física 2024 | Importância de ter várias camadas | Vanishing and exploding gradients
(20:27) Como aprendem os modelos? Gradient descent e backpropagation | Redes recorrentes | Nobel e os modelos de Ising
(28:24) A revolução dos Transformers, tipo ChatGPT. Paper Attention is All You Need
(36:55) O que fez o ChatGPT de inovador? | Comparação com o cérebro humano | ChatGPT va outros modelos LLM actuais (e.g. Gemini, Claude)
(44:58) Dicas de prompting
(50:16) Forcas e fraquezas dos modelos actuais. | Propriedades emergentes misteriosas Relatório da BCG | Riscos de alucinação
(55:17) Futuro | reasoners (OpenAI's o1 Model) | Dicas de prompting | Limitações de dados | Alphaproof medalha de prata nas Olimpíadas da Matemática | robótica | redes convolucionais | Dos modelos GPT ao chatbot
(1:11:13) Artigo “The bitter lesson”, de Rich Sutton | Deep Blue
Livros recomendados: The Learning Brain, Thad A. Polk, A Brief History of Mathematical Thought, de Luke Heaton, A Brief History of Intelligence, de Max Bennett, Language Models: A Guide for the Perplexed
_______________
Esta conversa foi editada por: Hugo Oliveira
See omnystudio.com/listener for privacy information.
222 פרקים
Manage episode 447924488 series 1606220
Zita Marinho é investigadora na Google DeepMind, onde atualmente trabalha em Reinforcement Learning (“aprendizagem por reforço”, uma área de Machine Learning). Possui um duplo doutoramento em Robótica pelo Instituto de Robótica da Carnegie Mellon University e do Instituto Superior Tecnico em 2018. Os seus interesses de investigação estão na interseção entre algoritmos de aprendizagem automática e Processamento de Linguagem Natural.
-> Apoie este podcast e faça parte da comunidade de mecenas do 45 Graus em: 45grauspodcast.com
-> Workshops de Pensamento Crítico.
_______________
Índice:
(0:00) Introdução
(6:40) Algoritmos de redes neuronais | Nobel da Física 2024 | Importância de ter várias camadas | Vanishing and exploding gradients
(20:27) Como aprendem os modelos? Gradient descent e backpropagation | Redes recorrentes | Nobel e os modelos de Ising
(28:24) A revolução dos Transformers, tipo ChatGPT. Paper Attention is All You Need
(36:55) O que fez o ChatGPT de inovador? | Comparação com o cérebro humano | ChatGPT va outros modelos LLM actuais (e.g. Gemini, Claude)
(44:58) Dicas de prompting
(50:16) Forcas e fraquezas dos modelos actuais. | Propriedades emergentes misteriosas Relatório da BCG | Riscos de alucinação
(55:17) Futuro | reasoners (OpenAI's o1 Model) | Dicas de prompting | Limitações de dados | Alphaproof medalha de prata nas Olimpíadas da Matemática | robótica | redes convolucionais | Dos modelos GPT ao chatbot
(1:11:13) Artigo “The bitter lesson”, de Rich Sutton | Deep Blue
Livros recomendados: The Learning Brain, Thad A. Polk, A Brief History of Mathematical Thought, de Luke Heaton, A Brief History of Intelligence, de Max Bennett, Language Models: A Guide for the Perplexed
_______________
Esta conversa foi editada por: Hugo Oliveira
See omnystudio.com/listener for privacy information.
222 פרקים
Усі епізоди
×

1 Paulo Gama Mota: Biologia e Cultura, a evolução da natureza humana 2:21:22


1 Bruno Sousa: Exploração Espacial - ESA, missões interplanetárias e missões humanas a Marte 1:30:06


1 António Costa Silva: Um independente no governo, entre a tirania do curto-prazo e um elefante na administração pública 1:30:34


1 Duarte Costa (Volt): Estados Unidos da Europa, liberalismo-social e políticas baseadas na evidência. 1:40:12


1 Simone Tulumello e Vera Gouveia Barros: Como resolver a Crise da Habitação? 1:17:17


1 Henrique Prata: Saúde mental, depressão, dormir melhor e riscos da canábis 1:26:32


1 Emília Vieira: O medo que sai caro - porque não investimos as poupanças em ações? 1:37:38


1 Hugo Penedones: A revolução da IA na Ciência (e a incrível história de um Prémio Nobel) 1:38:10


1 #180 Pedro Tadeu - Ainda faz sentido ser comunista? 1:48:36




1 #179 [EN] Steven Braekeveldt - An artist CEO's guide to business, creativity and life 1:02:29


1 #178 João Miguel Tavares - A revolução dos novos media e o futuro da informação 1:40:35


1 #177 Pedro Siza Vieira - E se a economia PT estiver melhor do que se pensa? 1:40:15
ברוכים הבאים אל Player FM!
Player FM סורק את האינטרנט עבור פודקאסטים באיכות גבוהה בשבילכם כדי שתהנו מהם כרגע. זה יישום הפודקאסט הטוב ביותר והוא עובד על אנדרואיד, iPhone ואינטרנט. הירשמו לסנכרון מנויים במכשירים שונים.