Grundkurs Machine Learning

Aus der Buchreihe »Informatik verstehen«. Ideal zum Selbststudium

Maschinelles Lernen alle Grundlagen! Paul Wilmott ist für seine erhellende und unterhaltsame Darstellung angewandter Mathematik bekannt. Von der linearen Regression bis zu Neuronalen Netzwerken führt er Sie durch alle Verfahren, und zwar komplett Software-unabhängig. Der Vorteil dabei: Jeder Schritt ist schwarz auf weiß zu sehen, kein Framework kann etwas verstecken, es geht immer um die Sache selbst. Mit vielen Beispielen, Grafiken und Schritt-für-Schritt-Kästen. Für alle, die wirklich verstehen wollen, wie Maschinen lernen. Aus dem Inhalt: Lineare Regression k-Nearest Neighbors Naive Bayes-Klassifikatoren k-Means-Algorithmus Support Vector Machines Logistische Regression Selbstorganisierende Karten Entscheidungsbäume Reinforcement Learning Neuronale Netze

Klappentext

Maschinelles Lernen - alle Grundlagen! Paul Wilmott ist für seine erhellende und unterhaltsame Darstellung angewandter Mathematik bekannt. Von der linearen Regression bis zu Neuronalen Netzwerken führt er Sie durch alle Verfahren, und zwar komplett Software-unabhängig. Der Vorteil dabei: Jeder Schritt ist schwarz auf weiß zu sehen, kein Framework kann etwas "verstecken", es geht immer um die Sache selbst. Mit vielen Beispielen, Grafiken und Schritt-für-Schritt-Kästen. Für alle, die wirklich verstehen wollen, wie Maschinen lernen.

Aus dem Inhalt:

• Lineare Regression
• k-Nearest Neighbors
• Naive Bayes-Klassifikatoren
• k-Means-Algorithmus
• Support Vector Machines
• Logistische Regression
• Selbstorganisierende Karten
• Entscheidungsbäume
• Reinforcement Learning

• Neuronale Netze

  Inhalt

  Vorwort ... 13

  1. Einführung ... 17

  1.1 ... Maschinelles Lernen ... 18

  1.2 ... Lernen ist der Schlüssel ... 19

  1.3 ... Ein wenig Geschichte ... 20

  1.4 ... Schlüsselmethodiken in diesem Buch ... 22

  1.5 ... Klassische mathematische Modellierung ... 26

  1.6 ... Maschinelles Lernen ist anders ... 28

  1.7 ... Einfachheit führt zu Komplexität ... 29

  1.8 ... Weiterführende Literatur ... 33

  2. Allgemeines ... 35

  2.1 ... Jargon und Notation ... 35

  2.2 ... Skalierung ... 37

  2.3 ... Distanzmessung ... 38

  2.4 ... Fluch der Dimensionalität ... 39

  2.5 ... Hauptkomponentenanalyse ... 39

  2.6 ... Maximum-Likelihood-Schätzung ... 40

  2.7 ... Konfusionsmatrix ... 44

  2.8 ... Kostenfunktion ... 47

  2.9 ... Gradientenabstieg ... 52

  2.10 ... Training, Testen und Validieren ... 54

  2.11 ... Bias und Varianz ... 57

  2.12 ... Lagrange-Multiplikatoren ... 63

  2.13 ... Mehrfachklassen ... 65

  2.14 ... Informationstheorie und Entropie ... 67

  2.15 ... Verarbeitung natürlicher Sprache (NLP) ... 70

  2.16 ... Bayes-Theorem ... 72

  2.17 ... Was nun? ... 73

  2.18 ... Weiterführende Literatur ... 74

  3. K-nächste Nachbarn ... 75

  3.1 ... Wofür können wir die Methode verwenden? ... 75

  3.2 ... Wie die Methode funktioniert ... 76

  3.3 ... Der Algorithmus ... 78

  3.4 ... Probleme mit KNN ... 78

  3.5 ... Beispiel: Körpergröße und -gewicht ... 79

  3.6 ... Regression ... 83

  3.7 ... Weiterführende Literatur ... 85

  4. K-Means Clustering ... 87

  4.1 ... Wofür können wir die Methode verwenden? ... 87

  4.2 ... Was macht K-Means Clustering? ... 89

  4.3 ... Scree-Plots ... 93

  4.4 ... Beispiel: Kriminalität in England, 13 Dimensionen ... 94

  4.5 ... Beispiel: Volatiliät ... 98

  4.6 ... Beispiel: Zinssatz und Inflation ... 100

  4.7 ... Beispiel: Zinssätze, Inflation und BIP-Wachstum ... 103

  4.8 ... Ein paar Kommentare ... 104

  4.9 ... Weiterführende Literatur ... 105

  5. Naiver Bayes-Klassifikator ... 107

  5.1 ... Wofür können wir ihn verwenden? ... 107

  5.2 ... Verwendung des Bayes-Theorems ... 108

  5.3 ... Anwendung des NBK ... 108

  5.4 ... In Symbolen ... 110

  5.5 ... Beispiel: Politische Reden ... 111

  5.6 ... Weiterführende Literatur ... 114

  6. Regressionsmethoden ... 115

  6.1 ... Wofür können wir sie verwenden? ... 115

  6.2 ... Mehrdimensionale lineare Regression ... 116

  6.3 ... Logistische Regression ... 117

  6.4 ... Beispiel: Noch einmal politische Reden ... 119

  6.5 ... Weitere Regressionsmethoden ... 121

  6.6 ... Weiterführende Literatur ... 122

  7. Support-Vektor-Maschinen ... 123

  7.1 ... Wofür können wir sie verwenden? ... 123

  7.2 ... Harte Ränder ... 123

  7.3 ... Beispiel: Iris (Schwertlilie) ... 126

  7.4 ... Lagrange-Multiplier-Version ... 128

  7.5 ... Weiche Ränder ... 130

  7.6 ... Kernel-Trick ... 132

  7.7 ... Weiterführende Literatur ... 136

  8. Selbstorganisierende Karten ... 137

  8.1 ... Wofür können wir sie verwenden? ... 137

  8.2 ... Die Methode ... 138

  8.3 ... Der Lernalgorithmus ... 140

  8.4 ... Beispiel: Gruppierung von Aktien ... 142

  8.5 ... Beispiel: Abstimmungen im Unterhaus ... 147

  8.6 ... Weiterführende Literatur ... 149

  9. Entscheidungsbäume ... 151

  9.1 ... Wofür können wir sie verwenden? ... 151

  9.2 ... Beispiel: Zeitschriftenabo ... 153

  9.3 ... Entropie ... 158

  9.4 ... Überanpassung und Abbruchregeln ... 161

  9.5 ... Zuschneiden ... 162

  9.6 ... Numerische Merkmale/Attribute ... 162

  9.7 ... Regression ... 164

  9.8 ... Ausblick ... 171

  9.9 ... Bagging und Random Forest ... 171

  9.10 ... Weiterführende Literatur ... 172

  10. Neuronale Netze ... 173

  10.1 ... Wofür können wir sie verwenden? ... 173

  10.2 ... Ein sehr einfaches Netzwerk ... 173

  10.3 ... Universelles Approximations-Theorem ... 174

  10.4 ... Ein noch einfacheres Netzwerk ... 176

  10.5 ... Die mathematische Manipulation im Detail ... 177

  10.6 ... Häufige Aktivierungsfunktionen ... 181

  10.7 ... Das Ziel ... 182

  10.8 ... Beispiel: Approximation einer Funktion ... 183

  10.9 ... Kostenfunktion ... 184

  10.10 ... Backpropagation ... 185

  10.11 ... Beispiel: Buchstabenerkennung ... 188

  10.12 ... Training und Testen ... 190

  10.13 ... Mehr Architekturen ... 194

  10.14 ... Deep Learning ... 196

  10.15 ... Weiterführende Literatur ... 197

  11. Verstärkendes Lernen ... 199

  11.1 ... Wofür können wir es verwenden? ... 199

  11.2 ... Geländeausfahrt mit Ihrem Lamborghini 400 GT ... 200

  11.3 ... Jargon ... 202

  11.4 ... Ein erster Blick auf Blackjack ... 203

  11.5 ... Der klassische Markow-Entscheidungsprozess für Tic-Tac-Toe ... 204

  11.6 ... Noch mehr Jargon ... 206

  11.7 ... Beispiel: Der mehrarmige Bandit ... 207

  11.8 ... Etwas anspruchsvoller 1: Bekannte Umgebung ... 211

  11.9 ... Beispiel: Ein Labyrinth ... 214

  11.10 ... Notation zu Wertefunktionen ... 218

  11.11 ... Die Bellman-Gleichung ... 220

  11.12 ... Optimale Policy ... 221

  11.13 ... Die Bedeutung der Wahrscheinlichkeit ... 222

  11.14 ... Etwas anspruchsvoller 2: Modell-frei ... 223

  11.15 ... Monte Carlo Policy Evaluation ... 224

  11.16 ... Temporal-Difference-Lernen ... 227

  11.17 ... Vor- und Nachteile: MC versus TD ... 228

  11.18 ... Finden der optimalen Policy ... 229

  11.19 ... Sarsa ... 230

  11.20 ... Q-Lernen ... 232

  11.21 ... Beispiel: Blackjack ... 233

  11.22 ... Große Zustandsräume ... 245

  11.23 ... Weiterführende Literatur ... 245

  Datensätze ... 247

  …