Machine Learning
3 Medien · 0 Episoden
Medien (3)
CS224N / CS224D (Stanford-Vorlesung)
Richard Socher, Christopher Manning
Stanford CS 224N ist die bahnbrechende Vorlesungsreihe von Fei-Fei Li und anderen Experten, die Natural Language Processing mit Deep Learning von Grund auf vermittelt. Die frei verfügbaren Vorlesungen wurden zum weltweiten Standard für die Ausbildung in modernem NLP und erreichten Millionen von Zuschauern auf YouTube. Sie deckt fundamentale Konzepte wie Word Embeddings, RNNs und Attention-Mechanismen ab und gilt als eine der einflussreichsten Ressourcen zur praktischen Anwendung von Deep Learning in der Sprachverarbeitung.
Collobert & Weston 2008 (ICML Paper)
Ronan Collobert, Jason Weston · 2022
Embeddings have undoubtedly been one of the most influential research areas in Natural Language Processing (NLP). Encoding information into a low-dimensional vector representation, which is easily integrable in modern machine learning models, has played a central role in the development of NLP. Embedding techniques initially focused on words, but the attention soon started to shift to other forms: from graph structures, such as knowledge bases, to other types of textual content, such as sentence...
GPT-3
OpenAI
GPT-3 ist ein Sprachmodell von OpenAI mit 170 Milliarden Parametern, das auf hunderten Millionen Texten trainiert wurde. Das Modell kann mit wenigen Beispielen lernen und neue Aufgaben lösen, was die Leistungsfähigkeit moderner Language Models in der Sprachverarbeitung demonstriert. GPT-3 zeigt, wie weit die KI-Entwicklung in Few-Shot-Learning vorangeschritten ist.