Untersuchung, Implementierung und Einsatz des Levenberg-Marquardt-Algorithmus zur Analyse von Chip-Fertigungsdaten

Diplomarbeit aus dem Jahr 1999 im Fachbereich Informatik - Angewandte Informatik, Note: 1,3, Eberhard-Karls-Universität Tübingen (Unbekannt), Sprache: Deutsch, Abstract: Inhaltsangabe:Einleitung:
Der fehlerfreie Produktionsprozeß der Chip-Fertigung ist für die IT-Industrie eines der wichtigsten Entwicklungsziele. Für dessen Optimierung werden verschiedene Ansätze verfolgt. Die Universität Tübingen hat sich in Kooperation mit verschiedenen Vertretern dieses produzierenden Gewerbes zu dem Projekt Smart Fabrication - Neuronale Netze zusammengeschlossen mit dem Ziel, die Analysemethoden bei der elektrischen Parametermessung sowie die Qualitätssicherung zu verbessern. In diesem Rahmen ist der Neuronale Netze Simulator NetSim entstanden, der u.a. für die Ausschußvorhersage (Yieldmodelling) des laufenden Produktions-prozesses anhand von PCM-Daten in der industriellen Chip-Fertigung zum Einsatz kommen soll. Diese Arbeit befaßt sich mit einem weiteren neuronalen Lernverfahren, das, neben verschiedenen anderen Verfahren wie Backpropagation oder Counterpropagation, in diesen Simulator implementiert und auf seine Potentiale bei der Analyse von Chip-Fertigungsdaten evaluiert wurde - dem Levenberg-Marquardt-Algorithmus.
Inhaltsverzeichnis:Inhaltsverzeichnis:
1.Einleitung und Motivation6
1.1Das Smart Fabrication-Projekt6
1.1.1Technischer Inhalt des Vorhabens "Neuronale Netze"7
1.1.2Einsatzgebiete Neuronaler Netze in der Produktion8
1.2Der Neuronale Netze Simulator NetSim9
1.3Motivation und Zielsetzung10
2.Optimierung nichtlinearer kleinster Fehlerquadrate13
2.1Methode des steilsten Abstiegs (steepest descent)15
2.1.1Liniensuchalgorithmus zur Bestimmung der Schrittweite (line minimization)16
2.2Die Gauß-Newton-Methode19
2.3Die Levenberg-Marquardt-Methode21
3.Implementierung des Levenberg-Marquardt-Algorithmus in einem Neuronalen Netz23
3.1Grundlagen Neuronaler Netze und verwendeter Netztyp24
3.2Berechnung der Hessematrix bzw. des Gradienten27
3.2.1Berechnung der Hessematrix27
3.2.2Berechnung des Gradienten28
3.3Weitere grundlegende Implementierungsaspekte30
3.3.1Bestimmung des Levenberg-Marquardt-Parameters ?30
3.3.2Terminierung31
3.3.3Bestimmung des Iterationsschrittes31
3.4Flußdiagramm32
3.5Das Herzstück : die Methode lm_lev_marq33
3.6Der mathematische Kern: die Methode lm_core38
3.7Gesamtübersicht aller Klassen45
3.7.1Die Klasse Singularvaluedecomposition: Gleichungssystemlösung mit Singulärwertzerlegung45
3.7.2Die Klasse TrainSet: Speicher für Trainingsdaten48
3.7.3Die Klasse Levmarq: der Levenberg-Marquardt-Algorithmus49
3.8Vorstellung der abgeschlossenen Implementierung55
4.Evaluierung anhand von Chip-Fertigungsdaten60
4.1Generalisierungsfähigkeit und Übertrainieren60
4.2Die Trainingsdaten und das Lernverhalten63
4.3Validierung ausgewählter Netze67
4.4Endanalyse validierter Netze69
5.Theoretische Diskussion des Levenberg-Marquardt-Algorithmus72
6.Zusammenfassung76
6.1Verbesserungsansätze und Ausblick76
6.2Fazit77
Anhang A : HTML-Dokumentation der Evaluierung79
Abbildungsverzeichnis96
Tabellenverzeichnis97
Literaturverzeichnis98
Stichwortverzeichnis100

Klappentext

Inhaltsangabe:Einleitung: Der fehlerfreie Produktionsprozeß der Chip-Fertigung ist für die IT-Industrie eines der wichtigsten Entwicklungsziele. Für dessen Optimierung werden verschiedene Ansätze verfolgt. Die Universität Tübingen hat sich in Kooperation mit verschiedenen Vertretern dieses produzierenden Gewerbes zu dem Projekt Smart Fabrication - Neuronale Netze zusammengeschlossen mit dem Ziel, die Analysemethoden bei der elektrischen Parametermessung sowie die Qualitätssicherung zu verbessern. In diesem Rahmen ist der Neuronale Netze Simulator NetSim entstanden, der u.a. für die Ausschußvorhersage (Yieldmodelling) des laufenden Produktions-prozesses anhand von PCM-Daten in der industriellen Chip-Fertigung zum Einsatz kommen soll. Diese Arbeit befaßt sich mit einem weiteren neuronalen Lernverfahren, das, neben verschiedenen anderen Verfahren wie Backpropagation oder Counterpropagation, in diesen Simulator implementiert und auf seine Potentiale bei der Analyse von Chip-Fertigungsdaten evaluiert wurde - dem Levenberg-Marquardt-Algorithmus. Inhaltsverzeichnis:Inhaltsverzeichnis: 1.Einleitung und Motivation6 1.1Das Smart Fabrication-Projekt6 1.1.1Technischer Inhalt des Vorhabens "Neuronale Netze"7 1.1.2Einsatzgebiete Neuronaler Netze in der Produktion8 1.2Der Neuronale Netze Simulator NetSim9 1.3Motivation und Zielsetzung10 2.Optimierung nichtlinearer kleinster Fehlerquadrate13 2.1Methode des steilsten Abstiegs (steepest descent)15 2.1.1Liniensuchalgorithmus zur Bestimmung der Schrittweite (line minimization)16 2.2Die Gauß-Newton-Methode19 2.3Die Levenberg-Marquardt-Methode21 3.Implementierung des Levenberg-Marquardt-Algorithmus in einem Neuronalen Netz23 3.1Grundlagen Neuronaler Netze und verwendeter Netztyp24 3.2Berechnung der Hessematrix bzw. des Gradienten27 3.2.1Berechnung der Hessematrix27 3.2.2Berechnung des Gradienten28 3.3Weitere grundlegende Implementierungsaspekte30 3.3.1Bestimmung des Levenberg-Marquardt-Parameters ?30 3.3.2Terminierung31 3.3.3Bestimmung des Iterationsschrittes31 3.4Flußdiagramm32 3.5Das ?Herzstück?: die Methode lm_lev_marq33 3.6Der mathematische Kern: die Methode lm_core38 3.7Gesamtübersicht aller Klassen45 3.7.1Die Klasse Singularvaluedecomposition: Gleichungssystemlösung mit Singulärwertzerlegung45 3.7.2Die Klasse TrainSet: Speicher für Trainingsdaten48 3.7.3Die Klasse Levmarq: der Levenberg-Marquardt-Algorithmus49 3.8Vorstellung der abgeschlossenen Implementierung55 4.Evaluierung