Ein Neuron ist eine gewichtete Summe – mehr nicht
Der Begriff „neuronales Netz“ weckt Bilder von Gehirnzellen und Bewusstsein. Die Realität ist erfreulich nüchtern: Ein künstliches Neuron nimmt mehrere Zahlen entgegen, multipliziert jede mit einem eigenen Gewicht, addiert alles zusammen, rechnet einen Schwellwert dazu und schickt das Ergebnis durch eine einfache Funktion. Das ist der gesamte Mechanismus.
Formal: z = w₁·x₁ + w₂·x₂ + … + wₙ·xₙ + b. Die x sind die Eingaben, die w die Gewichte, b ist der Bias. Ein Gewicht sagt, wie stark eine Eingabe zählt – und ob sie für oder gegen die Ausgabe spricht. Ein positives Gewicht erhöht das Ergebnis, ein negatives senkt es, ein Gewicht nahe null bedeutet: Diese Eingabe interessiert dieses Neuron nicht.
Der Bias verschiebt die Entscheidungsschwelle unabhängig von den Eingaben. Er ist die eingebaute Grundhaltung des Neurons: Bei einem stark negativen Bias muss viel Evidenz zusammenkommen, bevor es überhaupt reagiert.
Beispiel: Kreditentscheidung mit zwei Zahlen
Eine Bank bewertet Anträge nach Bonität (x₁) und Eigenkapitalquote (x₂), beide normiert auf 0 bis 1. Ein Neuron mit w₁ = 1,0, w₂ = 1,0 und b = −1,0 rechnet für einen Antrag mit Bonität 0,8 und Eigenkapital 0,5: z = 1,0·0,8 + 1,0·0,5 − 1,0 = 0,3. Das Ergebnis ist positiv, das Neuron sagt „bewilligen“. Bei Bonität 0,3 und Eigenkapital 0,4 ergibt sich z = −0,3, also „ablehnen“. Die gesamte Entscheidungslogik steckt in drei Zahlen.
Selbst ausprobieren: die Trennlinie verschieben
In der folgenden Demo steuern Sie genau diese drei Zahlen. Jeder Punkt ist ein Kreditantrag, grün wurde bewilligt, rot abgelehnt. Die blaue Linie ist die Grenze, die das Neuron zieht: alles auf der einen Seite bekommt eine 1, alles auf der anderen eine 0.
Beobachten Sie zwei Dinge. Erstens: Die Gewichte drehen die Linie, der Bias verschiebt sie parallel. Zweitens: Es gibt Einstellungen, mit denen alle 14 Fälle richtig liegen – und das Training eines Netzes ist nichts anderes als die automatisierte Suche nach genau solchen Zahlen.
Die Aktivierungsfunktion: der entscheidende Knick
Nach der Summe folgt die Aktivierungsfunktion. Sie wirkt wie ein Detail, ist aber der Grund, warum tiefe Netze überhaupt funktionieren. Ohne sie wäre jede Schicht eine lineare Abbildung – und mehrere lineare Abbildungen hintereinander ergeben zusammengefasst wieder nur eine einzige lineare Abbildung. Ein Netz mit hundert Schichten könnte dann exakt so viel wie ein einzelnes Neuron: eine gerade Linie ziehen.
Erst die Nichtlinearität erlaubt es, Schichten sinnvoll zu stapeln und krumme, verschachtelte Grenzen zu lernen. In der Praxis dominiert ReLU, weil sie fast nichts kostet: ein Vergleich mit null, fertig. Bei Milliarden Neuronen macht das den Unterschied zwischen möglich und unbezahlbar.
| Funktion | Wertebereich | Kosten | Typischer Einsatz | Schwäche |
|---|---|---|---|---|
| ReLU | 0 … ∞ | sehr gering | Verdeckte Schichten, Standardfall | „Sterbende“ Neuronen: dauerhaft negative Eingänge geben immer 0 aus |
| Sigmoid | 0 … 1 | hoch (e-Funktion) | Ausgabe bei Ja/Nein-Entscheidungen | Flache Enden bremsen das Training tiefer Netze aus |
| Tanh | −1 … 1 | hoch | Ältere Architekturen, manche Zeitreihen | Dieselben flachen Enden wie Sigmoid |
| Softmax | 0 … 1, Summe 1 | mittel | Ausgabeschicht bei mehreren Klassen | Erzwingt eine Verteilung – „nichts davon“ ist nicht vorgesehen |
Parameter und Hyperparameter – zwei sehr verschiedene Dinge
In Gesprächen über KI werden diese beiden Begriffe oft vermischt, obwohl sie Gegensätzliches bezeichnen. Parameter sind die Zahlen, die das Modell selbst lernt: Gewichte und Biases. Wenn von „einem Modell mit 70 Milliarden Parametern“ die Rede ist, sind genau diese gemeint.
Hyperparameter dagegen legt ein Mensch vor dem Training fest: wie viele Schichten, wie viele Neuronen pro Schicht, welche Aktivierungsfunktion, welche Lernrate. Sie werden nicht gelernt, sondern ausprobiert – ein erheblicher Teil der praktischen Arbeit an Modellen besteht aus dieser Suche.
| Parameter | Hyperparameter | |
|---|---|---|
| Wer legt sie fest? | Das Training, automatisch | Der Mensch, vor dem Training |
| Beispiele | Gewichte, Biases | Schichtzahl, Neuronen je Schicht, Lernrate, Batchgröße |
| Anzahl | Millionen bis Billionen | eine Handvoll bis wenige Dutzend |
| Änderbar im Betrieb? | Nein – nur durch neues Training | Ja, aber es folgt ein neues Training |
Größenordnungen zum Einordnen
Das Ziffernetz aus dem nächsten Modul hat 25.760 Gewichte und 58 Biases – eine 35-KB-Datei. Ein Bilderkennungsmodell für die Industrie liegt bei 5 bis 50 Millionen Parametern, also etwa 20 bis 200 MB. Große Sprachmodelle bewegen sich zwischen 8 Milliarden (läuft auf einem guten Notebook) und mehreren hundert Milliarden Parametern (braucht ein Rechenzentrum). Der Sprung von der 35-KB-Datei zum Rechenzentrum ist ein Größenunterschied – kein prinzipieller Unterschied in der Rechenart.
Von einem Neuron zur Schicht – und zur Tiefe
Ein einzelnes Neuron kann nur eine Grenze ziehen. Interessant wird es, wenn viele Neuronen dieselben Eingaben gleichzeitig betrachten, jedes mit eigenen Gewichten. Diese parallele Gruppe heißt Schicht. Ihre Ausgaben werden zur Eingabe der nächsten Schicht.
Damit entsteht eine Arbeitsteilung, die niemand programmiert hat: Frühe Schichten reagieren auf einfache lokale Muster, spätere Schichten kombinieren diese zu größeren Zusammenhängen. Bei Bildern heißt das grob: Kanten, dann Kurven und Ecken, dann ganze Formen. Bei Sprache: Wortformen, dann Satzstruktur, dann Bedeutung.
Genau diese Hierarchie ist der Kern des sogenannten Deep Learning. „Deep“ meint schlicht: viele Schichten hintereinander.
- Eingabeschicht: die Rohdaten als Zahlen – Pixelhelligkeiten, Messwerte, Wortvektoren
- Verdeckte Schichten: die eigentliche Merkmalsarbeit, für Menschen nicht direkt lesbar
- Ausgabeschicht: das Ergebnis im gewünschten Format – eine Klasse, ein Wert, eine Wahrscheinlichkeitsverteilung
- Parameter: alle Gewichte und Biases zusammen. Sie sind das gesamte „Wissen“ des Netzes
Ein Durchlauf von Hand
Damit klar ist, dass hier keine Magie im Spiel ist, hier eine komplette Vorwärtsrechnung für ein winziges Netz mit zwei Eingängen, zwei verdeckten Neuronen und einem Ausgang.
| Schritt | Rechnung | Ergebnis |
|---|---|---|
| Neuron A: Summe | 1,2 · 0,5 + (−0,4) · 0,9 + 0,1 | 0,34 |
| Neuron A: ReLU | max(0; 0,34) | 0,34 |
| Neuron B: Summe | (−0,8) · 0,5 + 1,5 · 0,9 + (−0,2) | 0,75 |
| Neuron B: ReLU | max(0; 0,75) | 0,75 |
| Ausgabe: Summe | 2,0 · 0,34 + 1,0 · 0,75 + (−1,0) | 0,43 |
| Ausgabe: Sigmoid | 1 / (1 + e^−0,43) | 0,606 |
Rechnung Schritt für Schritt
Eingaben x₁ = 0,5 und x₂ = 0,9. Neuron A hat w = (1,2; −0,4) und b = 0,1 → z_A = 1,2·0,5 + (−0,4)·0,9 + 0,1 = 0,34 → ReLU(0,34) = 0,34. Neuron B hat w = (−0,8; 1,5) und b = −0,2 → z_B = −0,8·0,5 + 1,5·0,9 − 0,2 = 0,75 → ReLU(0,75) = 0,75. Das Ausgabeneuron hat w = (2,0; 1,0) und b = −1,0 → z = 2,0·0,34 + 1,0·0,75 − 1,0 = 0,43 → Sigmoid(0,43) ≈ 0,606. Ergebnis: 60,6 % für die positive Klasse. Mehr als Multiplizieren und Addieren passiert nie – nur eben milliardenfach.
Warum Matrizen? Ein Wort zur Rechenleistung
Die Rechnung oben lässt sich Neuron für Neuron durchführen – aber genau das tut niemand. Alle Gewichte einer Schicht werden als Matrix geschrieben, alle Eingaben als Vektor, und die gesamte Schicht ist dann eine einzige Matrixmultiplikation.
Das ist kein mathematischer Schönheitspreis, sondern der Grund, warum moderne KI überhaupt möglich ist. Grafikkarten sind darauf ausgelegt, tausende solcher Multiplikationen gleichzeitig auszuführen. Eine Aufgabe, die eine CPU Schritt für Schritt abarbeitet, erledigt eine GPU in einem Rutsch – bei großen Modellen ein Unterschied von Faktor 50 bis 100.
Wenn also in Nachrichten von Rechenzentren voller Grafikkarten die Rede ist: Der Grund dafür steht in diesem Modul. Es sind Multiplikationen und Additionen, nur sehr viele davon, sehr parallel.
Das Wichtigste in Kürze
- Ein Neuron berechnet eine gewichtete Summe plus Bias und schickt sie durch eine Aktivierungsfunktion.
- Gewichte drehen die Entscheidungsgrenze, der Bias verschiebt sie.
- Ohne nichtlineare Aktivierung wäre ein tiefes Netz nicht leistungsfähiger als ein einzelnes Neuron.
- Schichten erzeugen eine Hierarchie von Merkmalen – von einfachen Mustern zu komplexen Zusammenhängen.
- Das gesamte „Wissen“ eines Netzes steckt ausschließlich in seinen Gewichten und Biases.
?Wissens-Check
Beantworten Sie die Fragen, um Ihr Verständnis zu prüfen. Sie erhalten sofort eine Rückmeldung.
Frage 1.Was bewirkt der Bias in einem Neuron?
Frage 2.Warum braucht ein tiefes Netz nichtlineare Aktivierungsfunktionen?
Frage 3.Was ist ReLU?
Frage 4.Wo steckt das „Wissen“ eines trainierten neuronalen Netzes?