Richard Socher, was denken Maschinen
Christoph Amend, Jochen Wegner & Gäste
Richard Socher, KI-Forscher aus der DDR, der es über Princeton und Stanford ins Silicon Valley geschafft hat, spricht über künstliche Intelligenz, das Privatsphäre-Paradox der digitalen Welt und warum westliche Roboter-Bilder von Terminator geprägt sind. Er provoziert mit der These, dass Python wichtiger sei als eine zweite Fremdsprache, und reflektiert darüber, was Intelligenz eigentlich ausmacht — bei Menschen wie bei Maschinen.
„Ich glaube, Programmiersprachen sind wichtiger als eine zweite Fremdsprache. Eine erste Fremdsprache ist Englisch, muss man schon können. Aber danach ist wahrscheinlich Python wichtiger als noch Französisch und Italienisch.“
Erwähnte Medien (43)
Die drei Fragezeichen
Europa · 2026
Die Sommerferien haben begonnen und Die drei ??? wollen einen Roadtrip unternehmen. Doch gerade als Justus Jonas, Peter Shaw und Bob Andrews aufbrechen wollen, klingelt in der Zentrale das Telefon und ein unbekannter Anrufer übergibt dem Detektiv-Trio ihren neuesten Fall. Da sind die Urlaubspläne natürlich schnell vergessen. Die drei Jungs verfolgen die Spuren und stoßen auf den Geheimbund Sphinx rund um den mysteriösen Professor Phoenix.
🗣 Christoph Amend erwähnt beiläufig bei ⏱ 00:04:41 „Und Mitarbeit an diesem Podcast, Mitarbeit und Recherche, so wie früher bei den drei Fragezeichen, haben Hanna Schraven und Vincent Mank und Produktion Maria Lorenz und ihre Pool Artists.“
Christoph Amend stellt das Team hinter dem Podcast vor und vergleicht die Nennung von 'Mitarbeit und Recherche' scherzhaft mit den Credits der Hörspielreihe 'Die drei Fragezeichen', wo ähnliche Formulierungen verwendet wurden.
The AI Economist
Richard Socher / Salesforce Research
Salesforce-Forschungsprojekt, das Reinforcement Learning einsetzt, um virtuelle Volkswirtschaften zu simulieren. Ein KI-Agent fungiert als Ökonom und lernt, optimale Steuersätze und Fördermaßnahmen automatisch zu setzen. Die Studie demonstriert, wie KI ökonomische Systeme optimieren kann.
🗣 Richard Socher empfiehlt aktiv bei ⏱ 00:35:35 „Wir haben das jetzt noch weiter verkompliziert und sagt, aber jetzt gibt es auch noch einen KI-Agent, der als KI-Ökonom dieses gesamte System optimieren will und er kann halt in seinen Aktionen die Steuern und andere Hilfen optimieren.“
Richard Socher beschreibt ausführlich ein Reinforcement-Learning-Forschungsprojekt aus seiner Salesforce-Gruppe, bei dem KI-Agenten eine Volkswirtschaft simulieren und ein KI-Ökonom die optimale Besteuerung und Förderung lernt. Das Projekt wird mehrfach im Gespräch aufgegriffen und als Beispiel für sinnvolle KI-Anwendung in der Ökonomie diskutiert.
The Secretive Company That Might End Privacy as We Know It
Kashmir Hill
Ein New-York-Times-Artikel berichtet über das Startup Clearview AI, das Milliarden Gesichtsbilder aus sozialen Netzwerken gesammelt und eine Erkennungsdatenbank für Polizeibehörden aufgebaut hat. Der Beitrag erörtert die ethischen und datenschutzrechtlichen Implikationen dieser Überwachungstechnologie und die Spannung zwischen technologischem Fortschritt und individueller Privatsphäre.
🗣 Jochen Wegner referenziert bei ⏱ 00:53:51 „Es gab jetzt kürzlich so ein, kürzlich ist gut, also im letzten, ich peile mal, in den letzten zwölf Monaten irgendwann kam das, gab es eine große Geschichte der New York Times über ein Startup, was Milliarden von Gesichtern, Gesichtsbildern gescraped hatte aus den großen Plattformen und sozusagen eine Erkennungsmaschine gemacht hat.“
Jochen Wegner bringt den vieldiskutierten New-York-Times-Artikel über Clearview AI ins Gespräch, um Richard Socher nach der ethischen Dimension von Gesichtserkennung zu fragen. Das Startup hatte Milliarden Gesichtsbilder aus sozialen Netzwerken gesammelt und eine Erkennungsdatenbank für Polizeibehörden aufgebaut. Wegner nutzt das Beispiel, um die Spannung zwischen technologischem Fortschritt und Privatsphäre auszuloten.
Gedichte der Romantik über Lokomotiven
· 1999
Die Gedichte der Romantik thematisieren die menschlichen Ängste vor technologischen Umbrüchen wie der Industrialisierung und dem Aufkommen der Lokomotiven. Diese literarische Perspektive auf Resistenz gegen Fortschritt bietet eine aufschlussreiche historische Parallele zu gegenwärtigen Debatten über künstliche Intelligenz und Automatisierung. Die romantischen Dichter reflektierten existenzielle Sorgen einer beschleunigten Welt, die zeitlos für aktuelle Diskurse über technologische Transformation relevant bleiben.
🗣 Richard Socher erwähnt beiläufig bei ⏱ 01:33:25 „Es gab ganz interessante Gedichte, die wir noch damals im Abitur gelesen haben. Die Romantik und einige Spätromantiker, die wirklich sich Sorgen gemacht haben, weil diese großen Lokomotiven so laut und böse waren“
Wird als historische Parallele zur heutigen Angst vor KI und Automatisierung herangezogen
Google Duplex Demo
Sundar Pichai · 2023
“Following” greift die Konjunktur des Followingbegriffs in den Diskursen um digitale Medienkulturen und soziale Medien auf. Inwiefern wird Anhängerschaft in und vermittelt durch mediale Vorgänge verfertigt? – so die leitende Fragestellung. Ausgangsüberlegung ist, dass jede mediale Konstellation die sozialen und kulturellen Phänomene, die in und durch sie hervorgebracht und vermittelt werden, auf je unterschiedliche Weise prägt.
🗣 Jochen Wegner referenziert bei ⏱ 01:43:31 „Und da gibt es eine ganz tolle Demo von Sundar Pichai, dem Google-Chef. Ich hoffe, es ist jetzt richtig gespeichert im Kopf. Und diese Duplex-Demo ist der Hammer.“
Im Gespräch über KI-Systeme, die menschlich kommunizieren können, erwähnt Jochen Wegner die berühmte Google-Duplex-Präsentation, bei der eine KI selbstständig Restaurantreservierungen per Telefon vornimmt. Richard Socher relativiert die Demo anschließend und erklärt, dass die meisten Telefonate in Wahrheit noch von Menschen geführt werden.
Rage
Bob Woodward · 2020
Bob Woodward’s new book, Rage, is an unprecedented and intimate tour de force of new reporting on the Trump presidency facing a global pandemic, economic disaster and racial unrest. Woodward, the #1 international bestselling author of Fear: Trump in the White House, has uncovered the precise moment the president was warned that the Covid-19 epidemic would be the biggest national security threat to his presidency.
🗣 Christoph Amend referenziert bei ⏱ 02:27:06 „Das sind jetzt die Zitate, die indirekten Zitate aus dem Buch von Bob Woodward, der Donald Trump seit vielen Monaten interviewt hat und Donald Trump kam jetzt raus, hat ihm schon im Februar gesagt, dass ihm vollkommen klar war, wie gefährlich Corona ist und in Kauf genommen, dass viele tausende Menschen vielleicht mehr gestorben sind, als hätten sterben müssen.“
Im Gespräch über den Umgang der USA mit Corona erwähnt Christoph Amend das Buch von Bob Woodward über Donald Trump. Das Buch enthüllte, dass Trump bereits im Februar wusste, wie gefährlich das Virus war, dies aber öffentlich herunterspielte. Das Buch wird als Beleg dafür angeführt, wie politische Führung in der Pandemie versagt hat.
Her
Spike Jonze · 2013
In was verliebt man sich bei seinem Gegenüber zuerst? Die Augen, das Gesicht, die Hände, die Stimme? Im Falle von Theodore Twombly ist es die Stimme. Ihm bleibt auch nichts anderes als die Stimme, denn Samantha ist körperlos. Sie ist die Stimme von Theodores neuem Betriebssystem, das über eine künstliche Intelligenz verfügt – und anscheinend auch über Emotionen.
🗣 Jochen Wegner empfiehlt aktiv bei ⏱ 02:35:16 „2001 oder Her? Her. Her ist actually good. Mathematik. Her war sehr gut. I agree. Sehr guter Film, reden wir gleich noch drüber.“
Wird im A-oder-B-Spiel genannt und als sehr guter Film gelobt, später ausführlich inhaltlich besprochen
Ex Machina
Alex Garland · 2015
Der 26-jährige Caleb arbeitet als Web-Programmierer in einem großen Internetkonzern. Als er ein firmeninternes Gewinnspiel mit Bravour meistert, besteht Calebs Preis darin, seinen obersten Vorgesetzten, den öffentlichkeitsscheuen Konzernchef Nathan, auf dessen abgelegenem Grundstück in den Bergen besuchen zu dürfen. Doch Caleb ist nicht der schönen Aussicht wegen in das Refugium eingeladen worden. Schnell wird ihm klar, dass seine Anwesenheit Teil eines faszinierenden Experiments ist.
🗣 Jochen Wegner referenziert bei ⏱ 02:46:31 „Ex-Machina, Entschuldigung, jetzt fällt es mir wieder ein. Genau, den finde ich ja ganz, als Kammerspiel auch ganz gut und finde diesen invertierten Turing-Test als Idee so gut. Also er, der Schöpfer sagt, wir machen das Gegenteil. Du musst sehen, sie ist nur ein Roboter, sozusagen trotzdem sie nicht als Mensch behandelt oder so.“
Jochen Wegner kommt über die A-oder-B-Frage 'Hell oder Ava' auf den Film Ex Machina zu sprechen. Er lobt das Kammerspiel-Format und die Idee des invertierten Turing-Tests: Obwohl man weiß, dass Ava ein Roboter ist, kann man nicht umhin, sie als Mensch zu sehen. Am Ende verhält sich die KI sehr menschlich und entflieht.
Terminator
James Cameron · 1984
Ein Cyborg aus der Zukunft wird auf eine tödliche Mission in die heutige Gegenwart geschickt. Er soll Sarah Connor töten, eine junge Frau, die eine entscheidende Rolle für die Zukunft der Menschheit spielen wird. Sie hat nur eine Chance, Kyle Reese, ein Freiheitskämpfer, der ebenfalls aus der Zukunft kommt.
🗣 Richard Socher erwähnt beiläufig bei ⏱ 02:47:57 „Bücher und Filme der westlichen Welt für Roboter sind halt eher Terminator und Todesroboter und so weiter. Und dementsprechend haben die Menschen halt letztendlich auch ein bisschen mehr Angst davor.“
Richard Socher spricht über die kulturelle Wahrnehmung von Robotern und künstlicher Intelligenz. Er argumentiert, dass westliche Medien Roboter vor allem als Bedrohung darstellen – im Gegensatz etwa zu Japan – und dass diese Darstellungen die Ängste der Menschen vor KI prägen.
TED-Talk (Boston Dynamics Roboter-Vorführung)
TED-Talk, in dem ein KI-Forscher die Roboter von Boston Dynamics vorführt und demonstriert, was sie leisten. Der Vortrag dient als Ausgangspunkt für eine kritische Diskussion über den realen Stand der Robotik und wie viel künstliche Intelligenz tatsächlich in diesen Systemen steckt.
🗣 Jochen Wegner erwähnt beiläufig bei ⏱ 02:49:11 „Das ist ein TED-Talk von einem ganz berühmten KI-Forscher, wo auch die Roboter so lustige Sachen machen.“
Jochen Wegner verweist auf einen bekannten TED-Talk, in dem Roboter von Boston Dynamics vorgeführt werden. Der Talk dient als Einstieg in eine Diskussion über den tatsächlichen Stand der Robotik und wie viel KI wirklich in diesen Robotern steckt.
TED-Talk von Richard Socher
Richard Socher · 2000
Richard Socher präsentiert in seinem TED-Talk Roboter-Videos von der DARPA Grand Challenge, in der Roboter bei praktischen Aufgaben wie dem Öffnen von Türen und dem Gebrauch von Werkzeugen scheiterten. Der Talk verdeutlicht die Grenzen heutiger künstlicher Intelligenz beim Lösen realer Probleme.
🗣 Christoph Amend referenziert bei ⏱ 02:49:27 „In deinem TED-Talk kommt es ja auch vor. In letzter Zeit sind die Videos aber oft anders, also die ich zumindest gesehen habe, sondern das ist eher so, dass man denkt, oh Gott, das können die schon?“
Christoph Amend bezieht sich auf Richard Sochers eigenen TED-Talk, in dem ebenfalls Roboter-Videos gezeigt wurden. Socher erklärt später, dass das Video aus seinem Talk von einer DARPA Grand Challenge stammte, bei der Roboter an realen Aufgaben wie Türen öffnen und Werkzeuge benutzen kläglich scheiterten.
TED Talk (Richard Socher)
Richard Socher · 2022
The aim of this volume is to bring together researchers interested in investigating the role that Discourse Markers play in language production and comprehension from an experimental or corpus-based perspective. In any kind of human communication, Discourse Markers are part of the game. This omnipresence informs us of a crucial inherent aspect of human language. Yet, as a linguistic category, Discourse Markers remain underdetermined.
🗣 Christoph Amend erwähnt beiläufig bei ⏱ 02:49:35 „Das ist ein TED-Talk von einem ganz berühmten KI-Forscher, wo auch die Roboter so lustige Sachen machen. Genau, exakt. In deinem TED-Talk kommt es ja auch vor.“
Richards eigener TED-Talk wird erwähnt, in dem auch Videos von Robotern vorkommen, die komische Dinge tun
Moral Machine Experiment
Das MIT-Experiment befragte über eine Million Menschen weltweit, wie autonome Fahrzeuge in moralischen Dilemma-Situationen entscheiden sollten. Die Ergebnisse zeigten große kulturelle Unterschiede in ethischen Bewertungen: Während schwangere Frauen überall Vorrang hatten, bewerteten Länder den Wert von Obdachlosen, Tieren und anderen Gruppen völlig unterschiedlich. Die Studie offenbart, dass KI diese fundamentale menschliche Uneinigkeit nicht automatisch lösen kann.
🗣 Richard Socher referenziert bei ⏱ 02:59:47 „Forscher sich dieses Beispiel angeschaut und verschiedene Bevölkerungen, Bevölkerung verschiedener Länder gefragt, würdest du eher hier ausweichen oder dem ausweichen? Letztendlich war, ich glaube, in fast allen verschiedenen Gesellschaften und Ländern eine schwangere Frau war immer sehr weit oben, dass man ihr ausweichen würde.“
Socher beschreibt die berühmte Moral-Machine-Studie (MIT/Nature 2018), in der weltweit Menschen befragt wurden, wie autonome Fahrzeuge in Dilemma-Situationen entscheiden sollten. Er nennt die Ergebnisse 'fast traurige Forschung', weil sie offenlegen, wie unterschiedlich Länder den Wert von Obdachlosen, Tieren oder Schwangeren einschätzen – und dass KI diese menschliche Uneinigkeit nicht lösen kann.
GPT-3
OpenAI
GPT-3 ist ein Sprachmodell von OpenAI mit 170 Milliarden Parametern, das auf hunderten Millionen Texten trainiert wurde. Das Modell kann mit wenigen Beispielen lernen und neue Aufgaben lösen, was die Leistungsfähigkeit moderner Language Models in der Sprachverarbeitung demonstriert. GPT-3 zeigt, wie weit die KI-Entwicklung in Few-Shot-Learning vorangeschritten ist.
🗣 Richard Socher referenziert bei ⏱ 03:10:44 „Besonders in der Sprachverarbeitung gibt es jetzt Modelle, die mit zig Millionen Texten und über 170 Milliarden Parameter haben. Das ist ein neues Modell von GPT-3 von OpenAI, einer Firma, die an KI auch arbeitet.“
Im Kontext von Few-Shot-Learning und Sprachmodellen verweist Socher auf GPT-3 von OpenAI als Beispiel für ein Modell mit 170 Milliarden Parametern, das so viel Text gelesen hat, dass es kaum noch Formulierungen gibt, die es nicht kennt. Er nutzt es als Beleg dafür, wie weit Language Models beim Generalisieren mit wenigen Beispielen gekommen sind.
AlphaGo (Dokumentation)
· 2017
Die Netflix-Dokumentation folgt der historischen Partie 2016, in der Googles KI-System AlphaGo den Go-Weltmeister Lee Sedol besiegte. Der Film zeigt die technischen Durchbrüche hinter diesem Meilenstein der künstlichen Intelligenz und die emotionale Geschichte dahinter. Eine faszinierende Darstellung davon, wie maschinelles Lernen komplexe strategische Spiele beherrschen kann, die jahrhundertelang als Königsdisziplin des menschlichen Denkens galten.
🗣 Jochen Wegner empfiehlt aktiv bei ⏱ 03:24:32 „es gibt eine ganz tolle Netflix-Dokumentation über AlphaGo“
Jochen Wegner empfiehlt die Netflix-Dokumentation über die KI, die den Go-Weltmeister besiegte, und bespricht sie ausführlich mit Richard Socher
AlphaGo
Greg Kohs · 2017
Die Netflix-Dokumentation AlphaGo folgt der bahnbrechenden Konfrontation zwischen der KI AlphaGo und Weltmeister Lee Sedol beim Brettspiel Go. Der Film zeigt, wie Reinforcement Learning eine Maschine zu überraschenden, intuitiven Zügen befähigt und wirft grundsätzliche Fragen über das transformative Potenzial autonomer Lernalgorithmen auf. Die Dokumentation dient als Ausgangspunkt für die Debatte, ob solche KI-Siege echte Durchbrüche für die Menschheit darstellen oder lediglich spezialisierte technische Erfolge bleiben.
🗣 Jochen Wegner empfiehlt aktiv bei ⏱ 03:24:47 „Es gibt eine ganz tolle Netflix-Dokumentation über AlphaGo. Ich habe mich irgendwann schon mal kurz mit dir darüber unterhalten und war so enttäuscht, dass du das dieses Projekt gar nicht so interessant fand wie ich.“
Jochen Wegner empfiehlt begeistert die Netflix-Dokumentation über AlphaGo, die zeigt, wie eine KI erstmals einen der besten Go-Spieler der Welt, Lee Sedol, besiegt. Er nutzt den Film als Ausgangspunkt für eine ausführliche Diskussion über Reinforcement Learning und die Frage, ob KI-Systeme, die nur mit Grundregeln starten (wie der Nachfolger Alpha Zero), einen echten Durchbruch für die Menschheit bedeuten könnten. Socher relativiert die Bedeutung und argumentiert, dass die Ressourcen besser in realweltliche Simulationen hätten fließen können.
Artikel über kognitive Fähigkeiten von Schafen
Eine Biologiestudentin beobachtete über Monate hinweg eine Schafherde und dokumentierte deren komplexe Sozialstrukturen. Die Studie zeigt, dass Schafe individuelle Persönlichkeiten, ein gutes Gedächtnis und ausgeprägte soziale Bindungen besitzen. Die Erkenntnisse stellen das Bild vom dummen Herdentier grundlegend in Frage und liefern Argumente für eine differenziertere Betrachtung tierischer Intelligenz – auch im Kontext von Tierhaltung und Vegetarismus.
🗣 Richard Socher erwähnt beiläufig bei ⏱ 04:34:48 „Habe ich, glaube ich, mal vor vielen Jahrzehnten in einem Zeitartikel gelesen, wo es um eine Biologiestudentin ging, die im Baum saß für mehrere Monate oder Jahre und die Schafe analysiert hat.“
Im Gespräch über Vegetarismus und die kognitiven Fähigkeiten von Tieren erinnert sich Richard Socher an einen alten ZEIT-Artikel über eine Biologiestudentin, die Schafe über Monate beobachtete. Er nutzt das Beispiel, um zu zeigen, wie komplex tierische Sozialstrukturen sind – etwa dass Schafe sich nach einem Kampf gegenseitig trösten –, was sein schlechtes Gewissen beim Fleischessen begründet.
New York Times Artikel über Klimawandel und USA
Die New York Times untersucht die Auswirkungen des Klimawandels auf die USA und diskutiert, wie die Nation mit dieser Herausforderung umgehen sollte. Der Artikel befasst sich insbesondere mit dem Zusammenhang zwischen dem Klima und extremen Wetterereignissen wie den Waldbränden in Kalifornien. Dabei werden auch die Folgen für Siedlungsmuster und die Zukunft der Bevölkerungsverteilung analysiert.
🗣 Richard Socher erwähnt beiläufig bei ⏱ 04:40:24 „Gestern kamen super lange Artikel raus in den New York Times über Klimawandel und wie die USA damit umgehen sollte“
Wird im Kontext der Diskussion über Waldbrände in Kalifornien und die Auswirkungen des Klimawandels auf Siedlungsmuster erwähnt
Artikel über Klimawandel und die USA
Rund 162 Millionen US-Amerikaner werden in den naechsten 30 Jahren unter verschlechterter Umweltqualitaet leiden – vor allem durch extreme Hitze und Wasserknappheit. Im Gegensatz zu aermeren Laendern wie in der afrikanischen Sahelzone, wo Duerre und Ernteausfaelle bereits Massenmigration ausloesen, schuetzen sich die USA kuenstlich durch staatlich subventionierte Versicherungen, Klimaanlagen und technologische Anpassungen – was riskante Expansion in gefaehrdete Gebiete wie den Suedwesten und die Golfkueste weiter befeuert. Experten prognostizieren eine massive Binnenmigration Richtung Norden und Nordwesten, waehrend suedliche Bundesstaaten wirtschaftlich verarmen koennten. Die Untersuchung von ProPublica und dem New York Times Magazine zeigt, dass Waldbraende, steigende Meeresspiegel und sinkende Ernteertraege die gesamte Siedlungsstruktur der USA grundlegend veraendern werden – mit den haertesten Folgen fuer aermere und marginalisierte Gemeinschaften, die sich keine Umsiedlung leisten koennen.
🗣 Richard Socher referenziert bei ⏱ 04:42:44 „Gestern kam ein superlanger Artikel raus in den New York Times über Klimawandel und wie die USA damit umgehen sollte und wahrscheinlich umgehen wird. Und der ist super interessant, weil in vielen Ländern, wenn es zu heiß ist und man nicht mehr Essen anbauen kann, dann gibt es viele Emigrationen in Afrika und vielen anderen Ländern.“
Richard Socher erwähnt einen am Vortag erschienenen, ausführlichen New-York-Times-Artikel über den Klimawandel und dessen Folgen für die USA. Er nutzt den Artikel, um zu erklären, warum die USA trotz extremer Hitze und Wasserknappheit weiter in gefährdete Regionen expandieren – weil der Reichtum des Landes es erlaubt, Probleme mit Klimaanlagen und staatlichen Versicherungen zu überbrücken, statt sich anzupassen.
Collobert & Weston 2008 (ICML Paper)
Ronan Collobert, Jason Weston · 2022
Embeddings have undoubtedly been one of the most influential research areas in Natural Language Processing (NLP). Encoding information into a low-dimensional vector representation, which is easily integrable in modern machine learning models, has played a central role in the development of NLP. Embedding techniques initially focused on words, but the attention soon started to shift to other forms: from graph structures, such as knowledge bases, to other types of textual content, such as sentence...
🗣 Richard Socher referenziert bei ⏱ 04:54:13 „es gab ein Paper, was ich 2008 gesehen habe, bei Ronan Colbert und Jason Weston. Colobare & Weston 2008 ICML.“
Wird als das Paper beschrieben, das Richard Socher inspirierte, neuronale Netze in der Sprachverarbeitung einzusetzen, obwohl es technische Fehler enthielt
Foundations of Statistical Natural Language Processing
Christopher Manning
Statistical approaches to processing natural language text have become dominant in recent years. This foundational text is the first comprehensive introduction to statistical natural language processing (NLP) to appear. The book contains all the theory and algorithms needed for building NLP tools. It provides broad but rigorous coverage of mathematical and linguistic foundations, as well as detailed discussion of statistical methods, allowing students and researchers to construct their own imple...
🗣 Richard Socher erwähnt beiläufig bei ⏱ 04:55:02 „Und Chris Manning ist der absolut meistzitierte Sprachverarbeiter der Welt, hat das Hauptbuch geschrieben. Und ist ein unglaublich netter Mensch und unglaublich intelligent.“
Socher stellt seinen Doktorvater Chris Manning vor und erwähnt dessen Standardwerk der Sprachverarbeitung. Manning wird als der meistzitierte Forscher im Bereich NLP beschrieben, der trotz fehlender eigener Erfahrung mit neuronalen Netzen Socher die Freiheit gab, diesen neuen Ansatz zu verfolgen.
A Unified Architecture for Natural Language Processing
Ronan Collobert, Jason Weston
Seminal Paper von Ronan Collobert und Jason Weston (ICML 2008), das erstmals zeigte, wie künstliche neuronale Netze erfolgreich zur Sprachverarbeitung eingesetzt werden können. Obwohl die Evaluierungsmethodik kritisiert wurde, inspirierte das Paper Forscher wie Richard Socher, diesen Ansatz weiterzuentwickeln und prägte damit die moderne neuronale NLP-Forschung grundlegend.
🗣 Richard Socher referenziert bei ⏱ 04:56:05 „Und es gab ein Paper, was ich 2008 gesehen habe, bei Ronan Colbert und Jason Weston. Colobare und Weston 2008 ICML. Und die haben neuronale Netze versucht in der Sprachverarbeitung zu verwenden und haben sie auch verwendet und hatten aber einige technische Fehler gemacht, sodass fast alle in der Sprachverarbeitung das Paper total verrissen haben.“
Richard Socher beschreibt das Paper, das ihn inspirierte, neuronale Netze auf Sprachverarbeitung anzuwenden. Er fand die Grundidee überzeugend, obwohl die Autoren einen Evaluierungsfehler gemacht hatten (Accuracy statt F1-Measure), was dazu führte, dass die NLP-Community das Paper zunächst zerriss. Für Socher war es dennoch der Auslöser für seine eigene Forschungsrichtung.
ImageNet
Fei-Fei Li
ImageNet ist ein großer Datensatz mit Millionen kategorisierter Bilder, entwickelt von Fei-Fei Li und Kollegen. Er wurde zum Standard-Benchmark für Bildverarbeitung und maschinelles Lernen. Sochers Arbeit mit diesem Projekt half ihm, Konzepte aus der Computer Vision auf die Sprachverarbeitung zu übertragen und die Grundlagen für modernes Feature Learning zu schaffen.
🗣 Richard Socher erwähnt beiläufig bei ⏱ 05:02:26 „Und ich hatte dann auch vorher mit Feifei an dem ImageNet gearbeitet und wir wussten, wir haben jetzt schon diesen riesen Datensatz mit Millionen von Bildern drin.“
Socher erwähnt seine Mitarbeit am ImageNet-Datensatz zusammen mit Fei-Fei Li, einem der wichtigsten Benchmarks der Bildverarbeitung mit Millionen kategorisierter Bilder. Die Erfahrung mit diesem Projekt half ihm, die Ideen des Feature Learnings aus der Bildverarbeitung auf die Sprachverarbeitung zu übertragen.
CS224N / CS224D (Stanford-Vorlesung)
Richard Socher, Christopher Manning
Stanford CS 224N ist die bahnbrechende Vorlesungsreihe von Fei-Fei Li und anderen Experten, die Natural Language Processing mit Deep Learning von Grund auf vermittelt. Die frei verfügbaren Vorlesungen wurden zum weltweiten Standard für die Ausbildung in modernem NLP und erreichten Millionen von Zuschauern auf YouTube. Sie deckt fundamentale Konzepte wie Word Embeddings, RNNs und Attention-Mechanismen ab und gilt als eine der einflussreichsten Ressourcen zur praktischen Anwendung von Deep Learning in der Sprachverarbeitung.
🗣 Richard Socher referenziert bei ⏱ 05:17:25 „Wir hatten auf YouTube die Videos von den Vorlesungen. Die hatten mittlerweile über zig Millionen Views.“
Die Stanford-Vorlesungsreihe über Deep Learning und Natural Language Processing, die weltweit erste ihrer Art, wird als ein Meilenstein beschrieben
The Structure of Scientific Revolutions
Thomas Kuhn · 1970
Thomas S. Kuhn's classic book is now available with a new index. "A landmark in intellectual history which has attracted attention far beyond its own immediate field. . . . It is written with a combination of depth and clarity that make it an almost unbroken series of aphorisms. . . . Kuhn does not permit truth to be a criterion of scientific theories, he would presumably not claim his own theory to be true.
🗣 Jochen Wegner referenziert bei ⏱ 05:22:50 „Es gibt so ein uraltes Buch, The Structure of Scientific Revolutions von Thomas Kuhn, glaube ich, dessen These, ich hoffe, ich kriege das zusammen, ist ja, also sozusagen eigentlich bekämpft deine Branche Neuigkeiten. Wissenschaft ist gar nicht so organisiert, dass sie ständig nach dem neuen Durchbruch sucht, sondern es ist ein System, um diesen Durchbruch zu verhindern.“
Wegner zieht Thomas Kuhns Theorie der wissenschaftlichen Revolutionen heran, um Sochers Erfahrung einzuordnen: Die akademische Welt hat neuronale Netze in der Sprachverarbeitung zunächst abgelehnt und als Unsinn bezeichnet. Kuhn beschreibt genau dieses Muster – Wissenschaft verläuft nicht linear, sondern in Sprüngen, weil das bestehende System Neuerungen aktiv bekämpft. Socher musste gegen diese Gravitationskraft der Tradition ankämpfen, bis seine Arbeit anerkannt wurde.
New York Times Artikel über Clearview AI
Der Artikel behandelt ein Startup, das illegal Milliarden von Gesichtsbildern von großen Internetplattformen scrapte, um diese für ein Gesichtserkennungssystem zu nutzen. Das Beispiel illustriert die ethischen und datenschutzrechtlichen Probleme bei der Entwicklung von KI-Systemen, die ohne Zustimmung der Betroffenen auf Massendaten trainiert werden. Der Fall zeigt, wie automatisierte Datensammlung zu gravierenden Verstößen gegen Privatsphäre und Grundrechte führt.
🗣 Jochen Wegner referenziert bei ⏱ 05:50:15 „gab es eine große Geschichte der New York Times über ein Startup, was Milliarden von Gesichtern, Gesichtsbildern gescrapet hatte aus den großen Plattformen“
Wird als Beispiel für eine ethisch problematische KI-Anwendung in der Gesichtserkennung diskutiert
Captain Future
Edmond Hamilton · 1978
Held dieser japanischen Kult-Zeichentrickserie ist Curtis Newton, der Sohn des genialen Wissenschaftlers Roger Newton. Curtis ist noch ein Kind, als seine Eltern von dem Verbrecher Victor Corvo umgebracht werden. Der Androide Otho, der Roboter Grag und das "lebende Gehirn" Prof. Simon Wright ziehen den Waisenjungen auf ihrer geheimen Basis auf dem Erdmond groß. Als Captain Future widmet er sein späteres Leben gänzlich dem Kampf gegen das Böse.
🗣 Christoph Amend referenziert bei ⏱ 06:23:57 „Captain Future war eine japanische Abendserie. Das war sehr interessant. Das fällt mir nur ein, weil du das sagst, dass es in Japan ein ganz anderes Verständnis davon gibt. Also Gezeichnete und die Hauptfigur Captain Future hatte so ein kleines Team um sich herum und Teil des Teams war das Gehirn.“
Als Richard Socher erklärt, dass Japan Roboter kulturell als Helfer betrachtet, fällt Christoph Amend die japanische Zeichentrickserie 'Captain Future' ein. Er erinnert daran, dass dort eine KI-ähnliche Figur – 'das Gehirn' – selbstverständlich zum Heldenteam gehörte, was das japanische Verständnis von Mensch-Maschine-Kooperation illustriert.
Neuromancer
William Gibson · 2000
Winner of the Hugo, Nebula, and Philip K. Dick Awards, Neuromancer is a science fiction masterpiece—a classic that ranks as one of the twentieth century’s most potent visions of the future. Case was the sharpest data-thief in the matrix—until he crossed the wrong people and they crippled his nervous system, banishing him from cyberspace. Now a mysterious new employer has recruited him for a last-chance run at an unthinkably powerful artificial intelligence.
🗣 Jochen Wegner empfiehlt aktiv bei ⏱ 06:25:52 „es gibt ein Buch, das mich sehr geprägt hat, New Romancer von William Gibson, den ich auch mal fürs Zeitmagazin interviewt habe“
Jochen Wegner beschreibt den Roman als prägend, insbesondere die Idee einer KI, die versucht sich selbst umzubringen und sich aus ihren Gefängnissen zu befreien
The Natural Language Decathlon (decaNLP)
Richard Socher
Ein Forschungsprojekt, bei dem ein einziges neuronales Netz zehn verschiedene Sprachverarbeitungsaufgaben gleichzeitig löst – von Übersetzung über Zusammenfassung bis zu Frage-Antwort-Systemen. Das Paper wurde auf arXiv veröffentlicht und inspirierte maßgeblich Projekte wie die von OpenAI.
🗣 Richard Socher empfiehlt aktiv bei ⏱ 06:56:31 „Ist es dieses Zehnkampf? Genau, das DECA NLP, der Natural Language Processing Decathlon, der Zehnkampf der Sprachverarbeitung.“
Socher beschreibt ausführlich sein Forschungsprojekt decaNLP, bei dem ein einziges neuronales Netz zehn verschiedene Sprachverarbeitungsaufgaben gleichzeitig lösen kann – von Übersetzung über Zusammenfassung bis zu Frage-Antwort-Systemen. Das Paper wurde nie auf einer Konferenz akzeptiert, weil Reviewer es ablehnten, wenn die Einzelleistung nicht Spezialmodelle übertraf, wurde aber auf arXiv veröffentlicht und hat hunderte Zitierungen gesammelt, weil es Projekte wie die von OpenAI maßgeblich inspirierte.
Unpublished Paper on Natural Language Decathlon (decaNLP)
Richard Socher et al.
Das Paper beschreibt den Natural Language Decathlon (decaNLP), ein Framework zur einheitlichen Evaluierung von NLP-Modellen über multiple Aufgaben hinweg. Trotz fehlender formaler Publikation erlangte es großen Einfluss mit hunderten Zitierungen und prägte die Forschungsrichtung bei OpenAI nachhaltig.
🗣 Richard Socher referenziert bei ⏱ 07:01:45 „Das ist eines, das glaube ich nie offiziell publiziert wurde. Das ist nur auf Archive, so einer öffentlichen Publikationsstelle, wo jeder seine Paper hochladen kann. aber hat jetzt auch mittlerweile hunderte Zitierungen“
Richard Socher beschreibt sein nie offiziell publiziertes Paper über den decaNLP, das trotzdem hunderte Zitierungen erhielt und OpenAI stark beeinflusste
Westworld
Jonathan Nolan · 2016
Eine dunkle Odyssee über das Erwachen künstlichen Bewusstseins und die sich ausbreitende Sünde: An der Schnittstelle zwischen naher Zukunft und wiedererweckter Vergangenheit wird eine Welt erforscht, in der jedes menschliche Verlangen erfüllt werden kann, egal wie nobel oder verdorben es ist. Es existieren keine Regeln, keine Gesetze, keine Urteile - ein Leben ohne Grenzen.
🗣 Jochen Wegner referenziert bei ⏱ 07:12:18 „Ich bilde mir ein, ich hätte gerade, es ist schon eine Weile her, in einer Serie genau dieses Konzept gesehen, also in einem fiktiven Film, vielleicht war es der letzte Teil von Westworld, also die letzte Staffel von Westworld, wo ein Mensch ständig telefoniert mit einer Person und dann stellt sich irgendwann raus, es ist die Replika einer verstorbenen Person, mit der er telefoniert.“
Im Gespräch über KI-Chatbots wie Replika, die als emotionale Begleiter dienen, erinnert sich Wegner an eine Serienszene, in der ein Mensch mit der KI-Kopie einer verstorbenen Person telefoniert – als Therapie, weil er deren Tod nicht verarbeiten konnte. Er findet die Idee zugleich faszinierend und beängstigend und ist sich nicht ganz sicher, ob es tatsächlich Westworld war.
Beethoven: 10. Sinfonie (KI-Vollendung)
Ludwig van Beethoven / Deutsche Telekom
Beethovens unvollendete 10. Sinfonie wurde durch KI-Technologie der Deutschen Telekom fertiggestellt. Das Projekt demonstriert, wie künstliche Intelligenz klassische Kunstwerke rekonstruieren und ergänzen kann. Es zeigt die Möglichkeiten moderner KI bei der Analyse und Vervollständigung historischer Meisterwerke und ist ein bemerkenswertes Beispiel für die Anwendung von Maschinenlernverfahren in der Musikwissenschaft.
🗣 Jochen Wegner referenziert bei ⏱ 07:27:29 „Die Deutsche Telekom hat zu ihrem Jubiläum die Zehnte von Beethoven vollenden lassen.“
Wird als Beispiel für KI-generierte Musik erwähnt – eine KI hat Beethovens unvollendete 10. Sinfonie fertiggestellt
Beethovens Zehnte (Beethoven X)
Ludwig van Beethoven / KI-Vollendung
Beethoven X ist ein Projekt der Deutschen Telekom, bei dem künstliche Intelligenz Beethovens unvollendete 10. Sinfonie fertigstellen soll. Das Werk zeigt die zunehmende Anwendung von KI in der Kunstwelt und wird im Podcast als Beispiel für den gegenwärtigen KI-Hype diskutiert, wo jedes innovative Projekt mit einem KI-Label versehen wird. Die Uraufführung war ursprünglich während der Corona-Pandemie geplant und wurde verschoben.
🗣 Jochen Wegner referenziert bei ⏱ 07:27:38 „Die Deutsche Telekom hat zu ihrem Jubiläum die zehnte von Beethoven vollenden lassen. Ich hoffe, ich erzähle jetzt keinen Quatsch. Und das sollte eigentlich während der Corona-Zeit, war eigentlich eine Uraufführung geplant. Die ist, glaube ich, verschoben.“
Im Kontext von KI-generierter Kunst und Musik erwähnt Wegner das Projekt der Deutschen Telekom, Beethovens unvollendete 10. Sinfonie mithilfe von KI fertigzustellen. Er nutzt das Beispiel, um auf den allgegenwärtigen KI-Hype überzuleiten – alles bekomme ein KI-Label aufgeklebt, ähnlich wie einst alles ein Internet-Label bekam.
Smells Like Teen Spirit
Nirvana
Smells Like Teen Spirit ist ein Song der US-amerikanischen Rockband Nirvana, der im September 1991 veröffentlicht wurde. Er ist die erste Singleauskopplung ihres Albums Nevermind und gilt als der Titel, der Grunge im Allgemeinen und Nirvana im Speziellen zum Durchbruch verhalf.
🗣 Christoph Amend erwähnt beiläufig bei ⏱ 07:55:16 „Was war dein Lieblingslied von Nirpa? Also abgesehen von Smells Like Teen Spirit.“
Wird im Kontext von Richards musikalischem Geschmack und seiner Jugend erwähnt
Come as You Are
Nirvana
Come as You Are ist ein Lied der US-amerikanischen Rockband Nirvana mit Text und Musik von Kurt Cobain. Es erschien am 2. März 1992 und war die zweite Singleauskopplung aus ihrem Album Nevermind, das im September 1991 veröffentlicht wurde.
🗣 Richard Socher referenziert bei ⏱ 07:55:23 „Heart Shaped Box vielleicht, Come As You Are, das Live-Album, das Akustik-Album.“
Richard Socher nennt Come As You Are als eines seiner Lieblingsstücke von Nirvana, neben Heart-Shaped Box. Die Aufzählung zeigt, dass er ein intensives Verhältnis zur Band hatte und nicht nur die größten Hits kannte.
MTV Unplugged in New York
Nirvana
MTV Unplugged in New York ist ein Livealbum der US-amerikanischen Rockband Nirvana. Es wurde am 18. November 1993 für die MTV-Sendung MTV Unplugged aufgezeichnet und knapp ein Jahr später im Oktober 1994 veröffentlicht. Das Konzert wurde weltweit im Fernsehen übertragen, eine Veröffentlichung auf CD war nicht unmittelbar danach geplant. Mit Something In the Way und Oh, Me enthält das Album zwei Lieder, die nicht im Fernsehen gezeigt wurden.
🗣 Richard Socher referenziert bei ⏱ 07:55:23 „Heart Shaped Box vielleicht, Come As You Are, das Live-Album, das Akustik-Album.“
Richard Socher erwähnt "das Live-Album, das Akustik-Album" von Nirvana – damit ist mit hoher Wahrscheinlichkeit das legendäre MTV Unplugged in New York gemeint, das einzige akustische Live-Album der Band. Er nennt es im Kontext seiner musikalischen Jugendprägung.
Heart-Shaped Box
Nirvana
Heart-Shaped Box ist ein Lied der US-amerikanischen Rockband Nirvana. Es erschien am 30. August 1993 und war die erste Singleauskopplung aus ihrem dritten Studioalbum In Utero, das im September 1993 veröffentlicht wurde. Heart-Shaped Box gehört zu den bekanntesten, vielfach – auch von Jazzpianisten wie Brad Mehldau oder Yaron Herman – gecoverten Nirvana-Songs.
🗣 Richard Socher erwähnt beiläufig bei ⏱ 07:55:32 „Heart Shaped Box vielleicht, Come As You Are, das Live-Album, das Akustik-Album.“
Richard nennt seine Lieblingslieder von Nirvana
Red Hot Chili Peppers
Red Hot Chili Peppers
Red Hot Chili Peppers (Abkürzung: RHCP) ist eine 1983 gegründete US-amerikanische Funk- und Alternative-Rockband. Sie zählt zu den kommerziell erfolgreichsten Vertretern des Crossover. Ihr Album Blood Sugar Sex Magik gilt als eines der bedeutendsten dieses Genres.
🗣 Richard Socher erwähnt beiläufig bei ⏱ 07:55:54 „Ich war jahrelang ganz gegen elektronische Musik. Und hat also jahrelang so Red Hot Chili Peppers und ein bisschen Grunge und viel Indie und Rock und Beatles und Stones dann auch und Bob Dylan und Blues und ein bisschen Jazz.“
Richard Socher erzählt von seinen musikalischen Vorlieben und Phasen. Neben Nirvana-Postern im Kinderzimmer nennt er Red Hot Chili Peppers als langjährige musikalische Begleitung, bevor er über Burning Man zur elektronischen Musik fand.
Beatles
The Beatles
The Beatles waren eine britische Rockband in den 1960er Jahren. Mit mehr als 600 Millionen – nach Schätzungen ihrer Plattenfirma EMI sogar mehr als einer Milliarde – verkauften Tonträgern sind sie die bisher kommerziell erfolgreichste Band der Musikgeschichte. Die musikalischen Ursprünge der Band liegen im Rock 'n' Roll der ausgehenden 1950er Jahre, in den dann sehr bald Stilelemente der Liverpooler Beatmusik einflossen. Ihre erste Single Love Me Do erschien 1962.
🗣 Richard Socher erwähnt beiläufig bei ⏱ 07:55:54 „Und hat also jahrelang so Red Hot Chili Peppers und ein bisschen Grunge und viel Indie und Rock und Beatles und Stones dann auch und Bob Dylan und Blues und ein bisschen Jazz und hatte so verschiedene Phasen mit verschiedenen Bands.“
Im Gespräch über seine musikalischen Vorlieben listet Richard Socher verschiedene Bands und Künstler auf, die ihn in unterschiedlichen Lebensphasen begleitet haben.
Rolling Stones
The Rolling Stones
The Rolling Stones ist eine 1962 in England gegründete Rockband. Sie zählt zu den langlebigsten und kommerziell erfolgreichsten Gruppen der Rockgeschichte. 1989 wurde die Band in die Rock and Roll Hall of Fame aufgenommen. Mit Nummer-eins-Hits in den Jahren 1968 und 2020 sind die „Stones“ in Deutschland die Band mit der längsten Zeitspanne zwischen zwei Hitparadenspitzenreitern.
🗣 Richard Socher erwähnt beiläufig bei ⏱ 07:55:54 „Und hat also jahrelang so Red Hot Chili Peppers und ein bisschen Grunge und viel Indie und Rock und Beatles und Stones dann auch und Bob Dylan und Blues und ein bisschen Jazz.“
Richard Socher zählt die Rolling Stones als Teil seiner musikalischen Sozialisation auf, bevor er über das Burning-Man-Festival zur elektronischen Musik fand.
Bob Dylan
Bob Dylan
Bob Dylan ist das Debütalbum des US-amerikanischen Singer-Songwriters Bob Dylan. Das Album wurde im März 1962 von Columbia Records veröffentlicht. Produziert von John H. Hammond. Das Album enthält überwiegend Traditionals, die von Dylan teilweise neu arrangiert wurden, jedoch auch die beiden Eigenkompositionen Talkin' New York und Song To Woody. Entstehung und Inhalt John Hammond lernte Bob Dylan im September 1961 zufällig bei einem privaten Treffen kennen. Zu der Zeit machte der sich gerade bei Auftritten in Musiklokalen der New Yorker Folkszene einen Namen. Hammond lud ihn ins Studio ein und bot ihm am 29. September einen Plattenvertrag bei Columbia an.
🗣 Richard Socher erwähnt beiläufig bei ⏱ 07:55:54 „Und hat also jahrelang so Red Hot Chili Peppers und ein bisschen Grunge und viel Indie und Rock und Beatles und Stones dann auch und Bob Dylan und Blues und ein bisschen Jazz.“
Im Kontext seiner musikalischen Entwicklung nennt Richard Socher Bob Dylan als einen der Künstler, die er über Jahre hinweg gehört hat.
Emily Dickinson: Tell all the truth but tell it slant
Emily Dickinson
Literarische Analyse von Emily Dickinsons Gedicht "Tell all the truth but tell it slant", das untersucht, wie Wahrheit graduelle und blendende Wirkung entfaltet. Das Gedicht und sein Kernmotiv "Truth must dazzle gradually" dienten als Namensgeber für die Band "Gradually Dazzled" und veranschaulichen im Podcast-Kontext fundamentale Unterschiede zwischen menschlicher Poesie und künstlich generiertem Text.
🗣 Richard Socher referenziert bei ⏱ 08:08:01 „Nach einem Gedicht von Emily Dickinson, wo sie sagt, die Truth must dazzle gradually“
Das Gedicht war Namensgeber für Richards Band 'Gradually Dazzled' und wird als Beispiel für KI-Textgenerierung erwähnt
Tell all the truth but tell it slant
Emily Dickinson
Gedicht über die subtile Vermittlung von Wahrheit. Die zentrale These: Wahrheit sollte "schräg" und nicht direkt erzählt werden, um ihre überwältigende Schönheit nicht zu überfordern.
🗣 Richard Socher referenziert bei ⏱ 08:08:01 „Dann haben wir uns umbenannt in Gradually Dazzled. Nach einem Gedicht von Emily Dickinson, wo sie sagt, dass die Wahrheit und die Welt so schön sein kann.“
Richard Socher erzählt von seiner Jugendband, die zunächst 'die Kekse' hieß und dann in 'Gradually Dazzled' umbenannt wurde. Der Name stammt aus einem Gedicht von Emily Dickinson, in dem es um die überwältigende Schönheit der Wahrheit geht. Das Gespräch dreht sich gerade um alternative Lebenswege, die Socher hätte einschlagen können.