Neuronale Netze einfach erklärt | #Künstliche Intelligenz 🤖

00:00:00: Hallo und herzlich willkommen zu einem neuen AI Unplugged Podcast von Digital Compact.

00:00:12: Mein Name ist Erik Panmüller, Gründer und CEO von SolveMate.

00:00:15: Solvemade automatisiert Kundensupport auf unserer KI-basierten Plattform, bauen sich unsere BtoB-Kunden Chatbots mit denen ihre Endkonsumenten, ihre Kundenanfragen in Sekundenschnelle rund um die Uhr selbst lösen können.

00:00:26: Und wie immer bei AI UnPlugged erklären wir Alltagsthemen rund um das Thema KI einfach und für jedermann verständlich.

00:00:32: Heute geht es bei EIR an Plakt um das Thema Neuronale Netze.

00:00:36: Dazu habe ich Rasmus Rote, CEO und Gründer von Merantics heute bei mir.

00:00:39: aber bevor ich sage warum du gut passt und heute hier bist Rasmuss herzlich willkommen erzähl doch mal was über dich

00:00:45: Erik.

00:00:45: vielen Dank für die Einladung.

00:00:46: Genau, ich bin Rasmus Rote.

00:00:48: Mein Background ist in der KI-Forschung.

00:00:49: Ich war mehrere Jahre in der Akademie unterwegs und habe Paper im Bereich Neuronale Netzwerke publiziert und dann vor drei Jahren Merantiks gegründet.

00:00:57: Merantik sitzt in Berlin – wir bauen KI-Unternehmen auf.

00:01:00: Das heißt, wir finanzieren von Tag eins bis zur Produktisierung KI Unternehmen, bringen das Team zusammen, bringen die ersten Kunden zusammen und aktuell haben mehrere KI-Ungernehmen, die wir aufbauen.

00:01:09: Einzeln Medizinbereich.

00:01:10: da geht es darum Radiologen zu unterstützen bei ihrer Diagnose.

00:01:14: ein zweites Unternehmen ist im Bereich des autonomen Fahrens unterwegs und händelt die rohen Daten, die von autonomen Autos kommen.

00:01:20: Und dann haben wir noch zwei oder drei neue Themen an denen wir arbeiten.

00:01:23: In dem Kontext machen wir auch ein bisschen Projektgeschäft mit ein paar Industriepartnern um eben auch neue Themen zu

00:01:28: identifizieren.".

00:01:29: Das klingt als ob du einiges an Erfahrung hast in heute sehr spannende Insights zum Thema neuronal Netzwerke wie sie funktionieren was es eigentlich ist mit uns klären kannst?

00:01:37: Was besprechen wir heute?

00:01:38: Wir werden über Themen Definitionen sprechen, was ist Machine Learning, Deep Learning AI.

00:01:44: Was sind neuronale Netzwerke?

00:01:46: Wie funktionieren die?

00:01:47: Wir werden uns über das Thema Explainability und Blackbox Gedanken machen, über Limitations.

00:01:52: Das heißt was kann neurone Netzwerker, was können sie nicht?

00:01:55: Was sind möglicherweise auch Gefahren und Chancen?

00:01:57: und auch über die neuesten Trends sprechen?

00:02:00: also legen wir los.

00:02:01: Neurone Netzwerk ist ein riesiger Hype.

00:02:03: Kannst du ein bisschen über die Historie sagen wie es eigentlich dazu kam?

00:02:07: Genau, neuronale Netzwerke gibt es ja schon seit vielen Jahrzehnten.

00:02:10: In den Fünfzigern war man schon relativ optimistisch, dass man KI-Systeme bauen kann auch auf Basis neuronaler Netzwerken die sehr erfolgreich sein würden.

00:02:18: Dann hat man allerdings kurz danach gemerkt ist das doch noch alles nicht so richtig gut funktioniert.

00:02:22: und in den acht Jahren gab's dann so den nächsten halb.

00:02:24: da ging's dann vor allem darum neuronale netzwerke zu verwenden zum Beispiel Handschrift zu erkennen.

00:02:29: Das hat auch ganz gut funktioniert aber alles was dann ein bisschen komplexer war dann doch nicht so wirklich geklappt.

00:02:33: Und

00:02:33: warum hat das nicht geklappt?

00:02:35: Eigentlich kann man sagen eigentlich aus drei Gründen und das ist auch die drei Gründe, wieso es heutzutage klappt.

00:02:39: Einerseits hat man oft zu wenig Daten trainiert.

00:02:42: also das war so.

00:02:42: der erste Grund dass man oft eben nur mehrere hundert oder mehrere tausend Trainingsdaten hatte von denen das Neuronal-Netz weg lernen sollte.

00:02:50: Das zweite war, dass die neuronalen Netzwerke selber und ich erkläre gleich noch ein bisschen wie die genau aufgebaut sind.

00:02:55: Einfach zu klein waren und so nicht in der Lage waren wirklich sehr komplexe Sachen zu lernen.

00:02:59: Und das Dritte ist schon so, dass eben gerade in den letzten zehn bis zwanzig Jahren in der KI-Forschung sehr viel passiert ist wo auch die Methoden an sich weiterentwickelt wurden.

00:03:07: Dass sie einfach besser funktionieren.

00:03:09: So neuronale Netzwerke muss man sich so ein bisschen vorstellen wie die Neuronen im menschlichen Gehirn.

00:03:13: Das sind kleine Recheneinheiten, die im Prinzip nur sehr einfache Multiplikationen und Additionen durchführen können und die aber in einem großen Netzwerk deswegen neuronales Netzwerk miteinander verbunden sind.

00:03:24: Neurone das ist sowas wie Gehirngzellen oder?

00:03:26: Genau!

00:03:27: Man kann es sich ja so eigentlich vorstellen also wie eine einzelne Gehirneselle.

00:03:29: vereinfacht gesagt

00:03:30: Ich stelle mir so eine Gehirnselle hat ja so eine Art Wurzeln und da gibt's viele viele Milliarden von dem Gehirnen und diese sind wir ineinander verbunden.

00:03:38: Die haben sozusagen Eingangssignale und eine Gehirnssitter kann Signale weitergeben, elektrische Signale.

00:03:44: Kann man sich das ungefähr so vorstellen bei einem neuronalen Netzwerk?

00:03:46: Ja, man kann sich das ziemlich genauso vorstellen.

00:03:48: also man hat ein einzelnes Neuron da kommen bestimmte Daten rein und da kommen Daten dann wieder raus und dieser Daten die daraus kommen gehen dann wieder in das nächste Neuronen rein.

00:03:57: Und davon hat man eben viele tausend, zehntausend, hunderttausend oder sogar Millionen.

00:04:01: In der Gesamtheit sind sie dann ein neuronales Netzwerk.

00:04:04: Im Prinzip ist es jetzt so, dass man diese neuronalen Netzwerke jetzt nutzt um eben auf großen Datenmengen zu trainieren.

00:04:10: Das heißt nochmal

00:04:10: kurz einen Schritt zurück was das einfachste neuronale Netzwerk das du dir vorstellen kannst.

00:04:14: Das einfachste neuronale Netzwerk ist im Prinzip nur ein einzelnes Neuron, was mehrere Eingangssignale hat und dann einen Ausgangssignal.

00:04:21: Also wir könnten zum Beispiel ein Beispiel nehmen und wollen ein neuronales Netzwerk bestehen aus einem einzigen Neuronen.

00:04:26: Was die imponsiv sagen soll, soll ich heute zum Strand gehen?

00:04:29: ja das ist die Aufgabe die das Neurone lernen sollen und da gibt es zwei Eingangssignale.

00:04:33: das eine ist das Wetter Und das andere ist, ob man heute arbeiten muss oder nicht.

00:04:37: Wenn eben es über dreißig Grad ist und man nicht arbeiten muss, dann geht man zum Strand und sonst nicht.

00:04:43: Das wäre ein einfacher Zusammenhang, dass ein neuronales Netz weg lernen könnte.

00:04:46: Und wenn ich jetzt sozusagen mir dann vorstelle der Input in diesem Fall ist die Temperatur sagen wir mal über Dreißig Grat und keine Arbeit führt dazu, dass dieses neurone Art Entscheidung trifft?

00:04:56: Die Entscheidung ist dann der Output.

00:04:57: Das ist doch ja oder nein richtig?

00:05:00: Genau!

00:05:00: In diesem Fall schon.

00:05:01: sind alle Neuronen wie näher, das heißt sie sagen ja oder nein als Output?

00:05:06: Wie funktioniert es?

00:05:08: Das muss nicht der Fall sein.

00:05:09: Man könnte zum Beispiel auch einen Neuron haben was eine kontinuierliche Zahl ausgibt

00:05:13: z.B.,

00:05:13: wenn man sich vorstellt... ein Neuron, das in der Lage ist es alter einer Person vorher zu sagen.

00:05:18: Da wäre es so, dass eben Output nicht mehr die Person zehn oder zwanzig Jahre sondern das Neuronen direkt vorhersagen würde wie alt die Person ist.

00:05:25: Das ist beides möglich.

00:05:26: Okay wir haben also gelernt Es gibt sowas wie Eingangsvariablen Das sind meistens Teilen zwischen Null und Eins.

00:05:31: bitte korrigier mich Und es gibt Ausgangsvariabeln.

00:05:34: Aber das ist nicht wie im Gehirn wo es ist Null-und-Eins Signal oder nicht.

00:05:39: elektrischer Strom ja, oder nicht weitergeben.

00:05:41: Sondern das ist ein Neuron.

00:05:42: und wie wird jetzt aus einem Neurone ein neuronaler Setzwerk?

00:05:45: Genau wenn man jetzt eben einen Neuronen hat kann man das mit anderen Neurons verbinden.

00:05:49: Jetzt im ersten Schritt hatten wir nur einen Neuren was Eingangsvariablen hat und was ein gewisses Ausgangssignal gibt.

00:05:55: Dieses Ausgangs-Signal kann man jetzt wieder in das nächste Neurohn reinführen wo dann auch die Signale von anderen Neuronen noch kommen und kann das wieder kombinieren in einem Neuron, was wieder ein Ausgangssignal gibt.

00:06:05: Und so kann man eben im Prinzip sehr viele Neurone miteinander verbinden, die alle untereinander verbunden sind und so viel komplexere Zusammenhänge lernen können als nur die Frage ob man zum Strand gehen soll oder nicht.

00:06:16: Das habe ich verstanden!

00:06:17: Wir sind jetzt schon fast in den Liebdive-Neurelleinnetze reingekommen.

00:06:20: deswegen würde ich kurz einen Schritt zurück machen eigentlich so eine Art Definition beziehungsweise Kategorisierung machen.

00:06:25: Es sind ja ganz viele Begriffe, die heutzutage herumschulen von AI, Machine Learning, Deep Learning, Neuron aller Netze, convolutional neural networks.

00:06:33: Kannst du das versuchen, unsere Art Taxonomie zu bringen damit unsere Hörer das einordnen können wenn sie diese Begriffs hören?

00:06:39: Ja, gerne.

00:06:39: Künstliche Intelligenz oder AI ist sicher der größte Oberbegriff.

00:06:43: Der im Prinzip alles beschreibt was eben künstliche also maschinelle intelligente Systeme sind.

00:06:48: Das ist ein relativ schwammiger Begriff, der irgendwo anfängt irgendwo aufwärts aber der im Prinzip eigentlich alles beschreiben was intelligentem Entscheidungen treffen kann und aus Software besteht.

00:06:55: Hier kurz zur Querverweis zu unserer ersten Folge von ARnplug, wo wir das Thema Artificial Intelligence Superintelligence General Intelligence auch schon mal kurz beleuchtet haben.

00:07:04: Also für die interessierten Hörer bitte noch mal Folge eins anhören, da haben wir das auch schon mal grob kategorisiert.

00:07:09: Aber wie waren beim Thema Machine Learning, Deep Learning, Neuro und alle Netze verschiedene Typen?

00:07:13: Genau!

00:07:14: Und wenn man jetzt unter das Thema AIKI geht gibt es eben den ganzen Bereich des Machine-Learnings.

00:07:18: Das ist eine Art von künstlicher Intelligenz.

00:07:21: Da ist es so, dass man im Prinzip alle Methoden zusammenfasst die von Daten lernen können.

00:07:25: Wie zum Beispiel eben auch neuronale Netzwerke.

00:07:27: das ist eine Art von maschinellen Lernen den man große Mengen an Daten gibt und die daraus eben Zusammenhänge lernen können dann auf der Basis intelligente Entscheidungen treffen können.

00:07:35: Wenn man jetzt sagt neuronal sind Netzwerken sind eine art von Machine Learning da er so.

00:07:39: in den Achtziger Neunzigern hat man immer von neuronalen Netzwerkeln geredet.

00:07:42: mittlerweile redet man von Deep Learning was eigentlich ein neuer Begriff für neuronale Netzwerk Deep Learning oder deep neural networks suggeriert.

00:07:51: einfach, dass die neuronalen Netzwerke sehr tief sind.

00:07:53: Also sehr viele Schichten haben, sehr viele Neuronen haben, die miteinander verbunden sind und deswegen diese Netze tief sind und deshalb man von Deep Learning

00:08:00: redet.".

00:08:01: Was heißt Tief sein?

00:08:02: Wie kann ich mir das

00:08:03: vorstellen?".

00:08:03: Ja

00:08:04: wir hatten ja vorher schon gesagt, dass man ein einzelnes Neuron hat was wiederum dessen Ausgangssignal des Eingangssignals vom nächsten Neurone ist und man kann so jetzt diese ganzen Neuren aneinanderketten und da jeweils auch viele parallel.

00:08:16: Je mehr man ein Aneinander kettet, desto mehr Schichten hat man.

00:08:19: Also wenn man zehn Neu-Unnen hintereinander hat dann hat man zehn Schichten.

00:08:22: Diese Zahl beschreibt die Tiefe des neuronalen Netzwerkes.

00:08:26: Also es gibt die Tieve des Netzwerks in dem wie sozusagen Schichten, die man aufeinander legt?

00:08:30: Meistens visualisiert das von links nach rechts, wenn ich mich nicht irre und dann kann ich sozusagen von oben nach unten... wie zählen, wenn man sich das so vorstellen kann, wie viele Neuronen in jeder Schicht sind.

00:08:41: Und dann gibt es ja noch sozusagen die erste Schicht, die ist sozusagen die Input-Schicht und die Output-Schicht.

00:08:45: Und dazwischen gibt's sogenannte versteckte Schichten oder Hinlayers, wie man sie nennt.

00:08:49: Du hast gerade gesagt Deep Learning beschreibt die Tiefe eines Netzwerks oder die Breite oder Höhe?

00:08:55: Genau!

00:08:55: Deep learning wird heutzutage als Begriff für viele neuronale Netzwerke genutzt weil die Netze mittlerweile sehr tief sind.

00:09:02: Das ist wie eine Art Rebranding für etwas was eigentlich schon da war.

00:09:05: Das ist interessant.

00:09:06: D.h.,

00:09:06: eigentlich ist Deep Learning nun synonym für neuronale Netze, weil heutzutage keiner mehr ganz kleine neuronelle Netze baut?

00:09:12: Genau!

00:09:13: Wie groß sind denn so die neuronellen Netzen, die man heute baut?

00:09:15: und wie viele Neuronen haben sie?

00:09:16: Unterschiedlich, aber die können bis zu zehntausende oder hunderttausende Neuronnen haben.

00:09:20: Oft zählt man auch weniger die Anzahl der Neurons sondern die Anzelle der Parameter, die dann lernen kann.

00:09:27: Und ein Parameter ist im Prinzip wenn man jetzt einen Neurohnen hat... Den nimmst

00:09:29: du schon direkt meine Frage vorweg.

00:09:31: ich wollte gerade sagen was ist denn das Parameter?

00:09:34: Genau, ein Parameter ist im Prinzip, wenn man ein einzelnes Neuron ist.

00:09:36: Wenn man wieder bei dem Beispiel Strand ist ganz am Anfang wo man eben zwei Eingangsvariablen hat nämlich das Wetter und ob man frei hat dann kann man diese beiden ja unterschiedlich gewichten.

00:09:46: also man könnte zum Beispiel sagen ob ich frei habe es gar nicht so wichtig weil ich gehe dann trotzdem zwischen Strand dann schwänzt sich halt die Arbeit.

00:09:52: oder umgekehrt, auch wenn es nicht dreißig Grad ist sondern nur zwanzig Grad gehe ich auch zum Strand weil mich die Kälte nicht so stört.

00:09:58: Das heißt man kann diese beiden Eingangsvariablen unterschiedlich stark gewichten und hat wahrscheinlich auch jeder eine etwas andere Präferenz.

00:10:04: das heißt jeder dieser beiden Eingsvariabeln hat einen Parameter eine Variable die beschreibt wie wichtig sie ist.

00:10:09: d.h.

00:10:09: in diesem Fall mit zwei Eingangsvariabelen hätten wir zwei Parameter Und das sind im Prinzip die die man dann später auch lernen kann die das System definieren.

00:10:16: Wenn ich jetzt Mathematisch drüber nachdenke wenn du hundert Neuronen hast.

00:10:20: Dann kannst du ja entscheiden, welches Neuron ist und welchem verbunden?

00:10:24: Wenn du hundert Neuromen mit Hundert Verbinden ist dann steigt das ja quadratisch an.

00:10:27: Das heißt die Anzahl der Neurone ist gar nicht wichtig sondern wenn du hunderte Neuroren hast, hast du viel mehr mögliche Verbindungen weil du ja jedes mit jedem verbinden kannst.

00:10:34: und bei tausend hast du noch vielmehr mögliche Verbindung.

00:10:37: Das heisst die ich sage mal Intelligenz sind die Anzeilverbindungen.

00:10:43: legt man als Forscher oder als Data Scientist fest, was die Verbindungen sind?

00:10:47: Oder ist von vornherein alles miteinander verbunden?

00:10:50: Normalerweise ist alles miteinander verbunden.

00:10:53: Dann startet eben der Lernprozess in dem man diese Verbindung dann lernt und wo dann manche Verbindung sehr stark werden können und manche Verbindungen auch komplett verschwinden.

00:11:02: Das ist ganz spannend.

00:11:02: Ich komme gleich auf den Lernprozess noch mal zurück, wir haben gerade über das Thema AI gesprochen als Überbegriff auf alles was die Menschen nicht verstehen.

00:11:09: Machine Learning als Oberbegriff für eine Maschine, die etwas lernt aus Daten und von Erfahrungen und dann eine Vorhersage macht.

00:11:16: und wir haben gesagt Neuronale Netzwerke sind ein Typ von Algorithmen und Deep Learning ist ein Synonym für neuronale Netze.

00:11:23: Es gibt ja auch andere Algorithmentypen wie zum Beispiel Wahrscheinlichkeitsmodelle wie Entscheidungsbäume oder Support-Vektormaschinen Aber die sind sozusagen heute nicht Bestandteil.

00:11:32: Kannst du kurz vielleicht einen Überblick geben, warum gerade neuronelle Netzwerke heutzutage so spannend sind?

00:11:38: in den letzten Jahren?

00:11:39: Ja ich glaube so seit zwanzig elf, zwanzich zwölf haben die System auf einmal einfach sehr gut funktioniert.

00:11:45: dadurch kam eigentlich das Interesse dann auch der Industrie.

00:11:47: also es gibt diesen einen ganz berühmten Wettbewerb.

00:11:49: da ist der Image Net Challenge.

00:11:51: das ist der wo im Serien-Siebzig die ganzen Forscher miteinander vergleichen wie gut ihre Algorithmen, wie gut ihr Software funktioniert.

00:11:58: Da geht es ganz konkret darum auf Bildern Objekte zu erkennen die Bilder zu klassifizieren also zu erkennen ist das irgendwie ein Hund eine Katze mein Auto?

00:12:06: und da war's eben so das erste mal im Jahr zweitausend elf dass neuronale Netzwerke auf einmal viel besser waren als alle anderen Methoden die es davor gab.

00:12:14: Und das hat eigentlich dazu geführt dass diese ganze Forschungswelt in Aufruhr war und sich auf einmal auf die neuronalen Netzwerken gestürzt hat.

00:12:21: und jetzt in den letzten Jahren haben im neuronalen Netzwerk in vielen Anwendungsbereichen gezeigt, egal ob es darum geht irgendwie Bilder zu kennen Sprache zu verstehen dass sie in der Lage sind gegeben das man genug Daten hat von dem man lernen kann diese Aufgaben teils eben schon besser durchführen kann als ein Mensch und dann wird's natürlich auch aus anwenderperspektive sehr sehr spannend.

00:12:40: Über ImageNet habe ich auch schon gehört.

00:12:41: Da gibt es dann eine Million Trainingsdaten, wo drauf steht auf diesem Bild ist einer Katze und ein Hund und noch weitere Klassifizierung.

00:12:49: Und dann hat man diese Daten und füttert die in der Neuronalesnetz.

00:12:52: Und da kommen wir sozusagen zum Thema wie lernt das eigentlich?

00:12:56: Was ist eigentlich das Ergebnis von den Neuronalenets?

00:12:58: Ich würde gerne sozusagen vielleicht mal eine Beispiel erklären, wie sich ein Forscher entscheidet.

00:13:03: Und ich sage Forscher dazu nicht, data scientist, sozusagen das Problem zu lösen.

00:13:06: Bilderkennung und ich glaube ihr habt da auch ne spannende Anwendung beim Rantix mit der er arbeitet Wie entscheidet euch für die Struktur eines neuronalen Netzes?

00:13:14: Wie lernt es dann eigentlich im Trainingsprozess und wie testet ihr dass das auch funktioniert?

00:13:18: Also vielleicht von vorne nach hinten

00:13:20: Genau, also eine Anwendung an der wir bei Merantics arbeiten ist die Erkennung von Tumoren in radiologischen Bildern und das heißt Wir haben jetzt eben ein Trainingsdatensatz.

00:13:30: Das heißt wir haben von medizinischen Einrichtungen Bilder erhalten wo auf manchen Tumore sind und auf Manchen sind keine Tumor.

00:13:36: Unser Ziel ist jetzt am neuronalen Netzwerk dies beizubringen.

00:13:39: Das heisst einen neuronales Netzwerk so trainieren und da komme ich gleich zu dass es in der Lage ist wenn man ihm ein neues Bild gibt Ein neues radiologisches Bild, dass das neuronalen Netzwerk selber entscheiden kann.

00:13:49: Ist da jetzt ein Tumor oder ist da kein Tumour?

00:13:51: Das machen wir eben indem wir dieses neuronale Netzwerk trainieren.

00:13:53: D.h.,

00:13:54: wer mit uns eben einen ziemlich großen Datensatz im Bereich der Millionen an radiologischen Bildern aufgebaut

00:13:59: und auf jedem dieser Bilder ist dann so ein roter Kreis.

00:14:02: Muss ich mir das beispielsweise ein rotter Kreis wie das ist ein TUMOR oder nur auf diesem Bild ist irgendwo ein Tумor drauf?

00:14:07: also was ist der Dateninput für eure Tumorerkennungs?

00:14:10: Genau, wir wissen sogar in der Tat ganz genau wo der Tumor im Bild ist.

00:14:13: Weil das hat nochmal gewisse Vorteile.

00:14:15: aber wie?

00:14:15: wir können es jetzt auch mal kurz vereinfachen weil im Prinzip reicht es schon wenn man einfach weiß isst auf diesem Bild ein Tumour oder ist auf diesen Bild kein Tumore.

00:14:23: Das heißt wir haben jetzt sagen wir einmal eine Million Bilder.

00:14:25: auf fünfhunderttausend ist sein Tumoor und auf fünf hunderttaussend ist kein Tume.

00:14:29: Und wir wissen für jeden dieser Bilder ist er nicht der Tuma.

00:14:33: Jetzt nutzen wir diese Bilder und zeigen die neuronalen Netzwerken und lassen die neuronale Netzwerke davon lernen.

00:14:39: Und das funktioniert wie folgt.

00:14:40: Dieses neuronale Netzwerk, wir hatten ja vorhin davon gesprochen dass es eben sehr viele Parameter gibt also Werte die im Prinzip genau beschreiben wie stark die Verbindungen zwischen zwei Neuronen sind.

00:14:49: Die sind am Anfang alle zufällig initialisiert.

00:14:51: Das heißt am Anfang weiß das neuronalen Netzwerk nichts und ist komplett zufältig verknotet und weiß natürlich auch nicht über Radiologie oder irgendein anderes Problem.

00:14:58: Nur dass wir uns das vorstellen können.

00:15:00: wie ungefähr sieht das neurone Netzwerk aus?

00:15:02: Wie viel Neuron hat das mit dem man so eine Bilderkennung machen würde?

00:15:06: Unser neuronales Netzwerk hat zwischen hundert und zweihundert Millionen Parametern.

00:15:10: Okay, also schon ziemlich groß!

00:15:12: Und du sagst die Verbindung der Neuronen sind zufällig initialisiert?

00:15:16: Das heißt einfach ganz randomisiert wie ein Kind das auf die Welt kommt eigentlich gar nichts weiß.

00:15:22: Wie lernt das jetzt?

00:15:23: Genau dann geht es los.

00:15:24: Dann nimmt man dieses randomisierte neuronale Netzwerk und tut die ersten Bilder rein von der eine Million Bilder von den ich vorhin erwähnt hatte.

00:15:32: Hinten aus dem neuronalen Netzwerk kommt jetzt an die Information raus, ist das ein Tumor oder kein Tumour?

00:15:37: Bei den ersten Bildern wird es ja so sein da das Netzwerk noch nichts weiß dass da irgendwas Zufälliges rauskommt.

00:15:42: Manchmal ist es vielleicht richtig manchmal ist es falsch aber es ist komplett zufällig.

00:15:46: und dann gibt's diesen Lernprozess Backpropagation nennt man das.

00:15:49: Dann geht man im Prinzip vom Output Wert also dem ist es ein TUMOR oder nicht kein TUMORE rückwärts im neuronal netzwerk zurück zum bild sozusagen und versucht eben diese Parameter so anzupassen, dass die Aussage etwas richtiger wird.

00:16:03: Also wenn beim ersten Bild kein Tumor ist auf dem Bild aber das der Output aktuell sagt, neunzig Prozent wahrscheinlich, dass es ein Tumors ist dann versucht man diese Wahrscheinlichkeit ein bisschen runterzubringen vielleicht nicht direkt auf Nullprozent Aber sagen wir mal vielleicht auf Fünfund Achtzig Prozent.

00:16:16: Das ist doch eine Art Fehler Minimierung oder?

00:16:19: Genau im Prinzip versucht man den Fehler hinten zu minimieren.

00:16:22: Man setzt den Fehler nicht direkt auch null weil dann würde man zu sehr hin und her springen Sondern man passt es halt eben nur leicht an und zeigt dann einfach das nächste Bild, und passt es da auch wieder leicht an.

00:16:31: Und so macht man viele Millionen Iterationen bis eben dieses neuronale Netzwerk den Fehler richtig minimiert hat und von dieser einer Million Bildern da relativ gut darin ist, das richtig vorher zu sagen.

00:16:42: Wenn ich mir eine lineare Regression vorstelle Kennt jeder im Excel hat man schon mal gemacht, man nimmt sich drei Punkte und sagt lieber Excel bitte mache mir die gerade, die diese Punkt am besten approximiert.

00:16:53: Da gibt es den Algorithmus der den Abstand der Punkte zur Geraden minimiert.

00:16:57: das heißt man findet die ideale Gerade.

00:16:59: in diesem Fall sind wir in einem zweidimensionalen Raum.

00:17:01: Das heißt die gerade hatten Anstieg und einen Achsenabschnitt.

00:17:04: Das ist ja eine Formel der Art Fehler Minimierung Und dieser Algorithmos tastet sich immer näher ran und errechnet immer wie groß ist mein Fehler?

00:17:11: Kann ich mir das genauso vorstellen bei einem neuronalen Netz?

00:17:14: nur dass wir halt statt zwei Dimensionen auf einmal hundert Millionen Dimension haben.

00:17:18: Und dass deswegen schwieriger ist, diese Art Backpropagation also rückwärts den Fehler minimieren?

00:17:23: Genau das ist richtig.

00:17:24: genau weil wir eben jetzt zum Beispiel in unserem Fall Hundert Millionen Parameter haben ist es eben nicht so einfach genau zu verstehen welche von diesen hundert Millionen Parametern muss ich anpassen damit meine Tumor-Erkennung funktioniert.

00:17:36: im Prinzip muss sich nämlich alle hundert millionen Parameter anpassen und die hängen halt auch eben alle miteinander zusammen.

00:17:40: das heißt wenn ich jetzt einen Parameter irgendwo im neuronalen Netzwerk anpasse Hat das einen Einfluss auf mein Vorhersage?

00:17:46: Und wenn ich den anderen anpasse auch, d. h., die hängen ja alle miteinander zusammen und beeinflussen sich gegenseitig... ...und deswegen ist diese Optimierungsprozess so

00:17:53: schwierig.".

00:17:53: Das ist so wie dass man aus dem Gehirn nicht einfach ein Neuron rausschneiden kann.

00:17:57: Aus unserem Gehirnen wären mal zehn Milliarden Neuronen und die wiederum haben noch vier mehr Verbindungen miteinander Und man kann nicht einfach ein Neuron rausnehmen und sagen, das ist dafür verantwortlich.

00:18:06: Deswegen sagt er auch die Gehirnforschung.

00:18:08: wir können nur grobe Areale die Aktivität messen aber wenn die Gehörnfassung exakt wissen würde welches Neuronen wofür verantwortliche es davon sind wir ganz weit weg.

00:18:17: Das ist also so eine Art Blackbox, beziehungsweise kann man nicht genau sagen welches Neuron, welcher Parameter wofür verantwortlich ist.

00:18:22: Dazu kommen wir später nochmal.

00:18:24: Wir haben gerade gelernt Deep Learning heißt verschiedene Layer.

00:18:27: Es gibt versteckte Layer sogenannte Hidden Layer und der Prozess geht eigentlich rückwärts nämlich mit jedem Bild das wir hinzufügen versucht der Backpropagation Algorithmus.

00:18:35: es ist eine Art Fehlerminimierungssache Mit jedem weiteren Bild den Fehler zu minimieren oder anders gesagt die Wahrscheinlichkeit richtigzulegen.

00:18:42: Nämlich Ist ein Tumor auf dem Radiologiebild oder Nichts zu verbessern.

00:18:46: Wie sieht man deine Erfolge und wie teste man eigentlich, ob das funktioniert?

00:18:49: Man hat jetzt diese eine Million Bildern auf denen man diesen Trainingsprozess durchgeführt hat.

00:18:53: Jetzt haben wir noch zusätzliche Bilder die der Algorithmus noch nie gesehen hat ja.

00:18:56: Das ist das sogenannte Test Set vielleicht nochmal hunderttausend Bilder zusätzlich und der Alghythmus während dem Trainings-Prozess diese Bilder nie gesehen.

00:19:03: D.h.,

00:19:03: sie sehen natürlich leicht anders aus.

00:19:05: Es ist nicht ganz klar, ob wir jetzt auf diesen hundert tausenden Bildern auch gute Performance haben.

00:19:08: Aber ihr wisst dann!

00:19:10: Aber

00:19:11: wir wissen auch, ob darauf ein Tumor ist.

00:19:13: Wir nehmen jetzt diese hunderttausend Bilder, füttern die durch das neuronale Netzwerk und schauen dann wie oft das neuronales Netzwerk richtig ist?

00:19:20: Und dass es unsere Art und Weise zu messen, wie gut die Performance von dem System ist!

00:19:24: Das ist spannend für uns interessierten Hörer.

00:19:26: bei der letzten Folge haben wir über AIME Commerce gesprochen und da haben wir auch witzigerweise das Thema Trainingsdaten und Testdaten gehabt.

00:19:32: Das heißt, das ist ja ein Schema, dass wir immer wieder hören im Bereich AI und Machine Learning weil man natürlich den Algorithmus einerseits trainieren muss muss ihm Daten geben, aus diesen Daten macht er vorher sagen und dann muss ich ja überprüfen mit dem ich die Realwelt schon kenne wie gut der ist.

00:19:46: Und dann kommt auch sowas raus wie die Accuracy oder die Wahrscheinlichkeit dass er richtig liegt.

00:19:51: was messst ihr da?

00:19:53: versuch dir dann den Algorithmus zu verbessern, denn ihr habt ja die Daten.

00:19:57: Die sind immer noch die gleichen.

00:19:58: also ich sag jetzt wir haben eine Million Radiologiebilder.

00:20:00: du ist ja nicht so dass man das neue Netzwerk macht und die einmal durchschießt und es ist fertig sondern wie ist der Iterationsprozess des neuronale Netzwerks sodass man ein besseres Ergebnis hat?

00:20:09: Und wie messst ihr das Ergebnis?

00:20:11: Wir haben sogar mehrere Test-Sets, fünf sechs Test sets.

00:20:13: Manche von denen nutzen wir eben relativ häufig und schauen uns ganz genau die Ergebnisse an und schauen was wir verbessern können.

00:20:19: Also Beispiel Wir haben jetzt auf diesem ersten Test-Zett mit hunderttausend Bildern getestet und haben gemerkt, dass wir sehr viele große Tumore verpassen.

00:20:27: Weil die einfach sehr typisch aussehen und sehr unterschiedlich.

00:20:30: Dann gehen wir wieder zurück und organisieren unsere Mehrbilder wo wir große Tummore draufhaben so das der Algorithmus werden trainiert davon mehr sieht und sozusagen daran sich mehr gewöhnt hat und deswegen da bei diesen Arten von Bildern besser wird.

00:20:42: Ihr

00:20:42: besucht euch also mehr und oder andere Testdaten eine Dimension.

00:20:46: Verstanden?

00:20:47: damit ihr zum Schluss auch die großen Tumore besser erkennen könnt, weil der Algorithmus wie Menschen, die das lernen, die müssen Dinge einfach mal gemacht haben.

00:20:55: Wenn so wenige große Tumoren drin waren, kann er das nicht gut erkennen.

00:20:57: Habe ich verstanden?

00:20:59: Macht ihr noch andere Sachen?

00:21:00: Was wir gerade gesagt haben ist eben zu sagen man verändert den Trainingsdansatz.

00:21:03: Die andere Art und Weise, was zu verbessern ist natürlich, dass man selber am neuronalen Netzwerk schraubt.

00:21:07: Dass man sagt okay vielleicht können wir das neuronale... Ich

00:21:10: sage aber nicht wie schrauben bei einem Auto weil man einen Rad dran schraube.

00:21:13: Genau es ist alles an dem Computer.

00:21:15: Das man dann eben sagt ok wir haben jetzt das neuronalen Netzwerk, vielleicht müssen wir das größer machen?

00:21:19: Weil wenn's größer ist hat es mehr Parameter, mehr Neuronen und kann auch noch komplexere Zusammenhänge lernen

00:21:25: oder auch anders.

00:21:26: Man kann das ja auch kleiner machen.

00:21:28: Genau, man kann es auch kleiner machen.

00:21:30: Das ist eben auch was womit man natürlich viel rum spielt, dass man entweder die Größe des neuronalen Netzwerkes verändert oder wie das an sich strukturiert ist.

00:21:36: Und dieser Trainingsprozess – ich komme da gleich noch mal darauf zurück aber ich möchte es gerne nochmal kurz durchsprechen – da gab's ja GPUs, Grafikprozessoren, die das besonders schnell berechnen können.

00:21:45: Ich stell mir das so vor!

00:21:46: Und bitte korrigiere mich, du musst jedes Röntgenbild durch den Algorithmus jagen und dann musst du ja was berechnen für jedes einzelne Bild.

00:21:52: Das ist recht aufwendig!

00:21:53: Du musst dir einhundert Millionen Parameter anpassen für jedes Bild und das ganze Mal eine Million Bilder, was ziemlich viele Berechnungen sind.

00:22:01: Wie lange dauert so einen Durchlauf?

00:22:02: So ein Trainingsprozess?

00:22:03: Aktuell

00:22:04: brauchen wir mehrere Stunden dafür.

00:22:06: Es ist jetzt nicht so dass wir jetzt irgendwie vier Wochen warten müssen es aber auch nicht so, dass man innerhalb von zwei Minuten das Ergebnis hat.

00:22:11: Das funktioniert relativ gut, also was wir viel machen ist dass wir Abends-Experimente starten und dann sind am nächsten Morgen die Ergebnisse da.

00:22:17: Das ist interessant!

00:22:18: Wir hatten vorhin gesprochen warum das jetzt gerade so ein Thema ist.

00:22:20: natürlich haben wir schnellere Computer und Grafikprozesse und die das machen können und vor allem auch viel mehr Berechnungen.

00:22:25: du hast vorhin gesagt wir hatten zu wenig Daten vor dreißigvierzig Jahren in den Achtzigern.

00:22:30: Jetzt habt ihr Millionenbilder, Digitalvorliegen.

00:22:32: die Neuron-Netzwerke sind größer man kann mehr Parameter berechnen und das heißt die Rechenkraft ist ein wichtiger Faktor.

00:22:37: wenn du sagst abendsstatten morgens die Ergebnisse sehen Ist es dann so ein bisschen Try and Error im Sinne von Abend?

00:22:42: überblickt euch ich könnte heute noch einen Layer hinzufügen immer Neurone des Netz oder hier was rausschneiden und dann klick und dann gucken wir was das Ergebnis sagt Die Vorhersage Wahrscheinlichkeit Es

00:22:52: ist ein bisschen vereinfacht.

00:22:53: Ich glaube es gibt halt eben hunderte Richtungen im Prinzip in dem man eben Sachen kann.

00:22:58: Man kann was an den Daten verändern, da gibt es auch viele verschiedene Artenweisen die Daten aufzubereiten.

00:23:02: man kann an dem Netz viel ändern und wie der Trainingsprozess abläuft Sachen verändert man kann wie man misst verändern Man kann unterschiedliche Probleme lernen, die ähnlich sind.

00:23:10: Der Teufel ist da immer im Detail

00:23:12: Und deswegen gibt es ja auch solche Profis, die sich Data Scientist nennen und Science.

00:23:16: in diesem Fall ist das wirklich eine Wissenschaft Wenn ich mir das vorstelle so ein neuronales Netzwerk, hundert Millionen Verbindung, einer Million Daten.

00:23:22: Ich kann ja überall schrauben um überhaupt einen Ergebnis zu finden und natürlich weiß man nie was man verändern muss damit das Ergebnis noch besser wird.

00:23:30: Also von alleine funktioniert das nicht, so out of the box?

00:23:32: Nee leider nicht.

00:23:34: Sehr gut dass immer noch nicht.

00:23:35: vielleicht in zwanzig Jahren wenn die Algorithmen und Maschinen und Daten noch besser sind

00:23:38: ist aber übrigens ein aktives Forschungsfeld.

00:23:40: algorithmen die neuronale Netzwerke optimieren da wird gerade recht viel dran geforscht weil natürlich die Forscher auch ein bisschen merken dass es so sehr viel Optimierung ist und trial and error und sich Leute gefragt haben kann man das auch lernen?

00:23:51: also sehr sehr spannendes Forschungs-Feld.

00:23:54: Wieviel Prozent der Tumore entdeckt ihr?

00:23:56: seid ihr besser als der Mensch?

00:23:57: wir sind im bestimmten Bereich besser

00:24:00: Besser als der Mensch.

00:24:01: heißt, es gibt ja immer zwei Fehler.

00:24:03: Oder bin ich jetzt gar nicht sicher da bist du als Profi mich korrigieren?

00:24:05: Es gibt den Fehler wenn man fätschlicherweise ein Tumor erkennt das heißt einer der gar nicht da ist und die Maschine sagt hey da ist aber eine.

00:24:12: Und es gibt den fehler wo man einen tumor der da ist übersieht also fädschlicherweise negativ ausgibt Wenn ihr den Algorithmus trainiert worauf legt ihr mehr Wert und welcher Fehler ist wichtiger für euch?

00:24:23: Jetzt im Beispiel Tumorekennung.

00:24:24: Genau

00:24:24: ich glaube im Bereich Tumorenkennungen ist eben sehr wichtig dass man keinen tumour übersieht Weil im Endeffekt ist ja unsere Software immer noch unterstützend für den Arzt.

00:24:32: Das heißt, selbst wenn wir an einer Stelle etwas anzeigen wo dann doch kein Tumor ist schaut der Arzt immer nochmal drüber und merkt das dann im Zweifel.

00:24:38: Wenn wir allerdings was übersehen ist es halt nicht so gut weil dann kann es natürlich auch eher sein dass der Arz den Tumo auch übersieht.

00:24:44: Das heisst ihr trainiert euren Algorithmus eher in die Richtung lieber mal ein falsch positiv zu geben als ein Falsch negativ.

00:24:50: Das ist wiederum, du hast vorhin gesagt eine der hundert Dimensionen die man verändern kann.

00:24:54: alleine die Zielfunktion des Algorithmus nämlich lieber fältsicherweise positiv als fälzlicherweise negativ wenn der Algorithm mal falsch fliegt ist auch ne wichtige Sache.

00:25:02: Du hast gerade gesagt den Arzt unterstützen das heißt es geht nicht darum den Arz zu ersetzen sondern ihm die Analyse zu vereinfachen.

00:25:08: Verlassen sich die Ärzte denn da drauf?

00:25:10: Ich glaube, in dem Bereich Brustkripserkennung, wo wir aktiv sind, werden viele Tumore übersehen.

00:25:16: Die Ärzte müssen sehr viele Diagnosen pro Tag stellen und viel Bild anschauen.

00:25:19: Es ist visuell kognitiv gar nicht so einfach als Mensch da nichts zu oversehen.

00:25:24: Den Arzt dazu unterstützen weniger zu oversehnen und eine Hilfe zu sein wird er gut angenommen.

00:25:29: Dazu kommt auch, dass wir gerade in ländlichen Regionen oder Deutschland einen Radiologenmangel haben, der die nächsten Jahre nicht besser wird.

00:25:36: Alles was da hilft ... zu unterstützen, ist das sehr gerne gesehen.

00:25:40: Das ist spannend!

00:25:40: Das heißt ich sehe den Trend dass man sozusagen anfängt.

00:25:43: am Anfang kann der Algorithmus überhaupt funktionieren danach nehmen die benutze es zur Augmentation also zur Hilfe zur Unterstützung einfach um effizienter zu werden.

00:25:51: und natürlich verlässt sich heutzutage würde ich zumindest annehmen kein Radiologe komplett auf die Diagnose eines Algorithmos.

00:25:58: aber irgendwann kommt auch der Punkt wo man sagt Ist das nicht besser als was ich selbst kann?

00:26:02: Und sollte ich nicht eigentlich blind und mit blind meine ich jetzt wirklich einfach auf die Blackbox Algorithm vertrauen weil der Algorithmus besser kann.

00:26:09: Manchmal vergleiche das mit Navigationssystemen in Autos, vor zehn Jahren hat man gesagt ich bin klüger als das Navigation-System, weil ich die Abkürzung kenne.

00:26:17: und heutzutage bin ich soweit dass ich auf das Navigation System von Google Maps vertraue, weil Ich sage die haben die Echtzeitdaten und die wissen einfach mehr als ich und es muss die bessere Route sein im Durchschnitt, Weil ich als Mensch das gar nicht überblicken kann.

00:26:29: Wie würdest du das sehen in der Evolution, der Marktanahme eines Algorithmus oder einer neuen Technologie?

00:26:34: Ich

00:26:34: glaube schon, dass es irgendwann dazu kommen wird, dass Teile auch komplett automatisiert werden.

00:26:38: Weil man einfach klar nachgewiesen hat, dass der Algorithmos eben im Zweifel bessere Entscheidungen trifft und dann ist sich ja auch aus Patientensicht die sicherer Variante.

00:26:47: Wenn ich als Mensch die zum Arzt gehe und die Wahl habe, lasse mich von den Menschen oder von der Maschine klassifizieren und die Maschine übersieht nur halb so viele Tumore, da bin ich mir aber sicher, dass eben viele Leute sagen würden okay, dann nehme ich lieber diese Variante!

00:26:59: Das ist eine interessante Aussage.

00:27:00: Da stimmen wir interessanterweise überein, das ist wie mit selbstfahrenden Autos wo man sich komplett auf der Autopiloten verlässt.

00:27:05: Wenn irgendwann der Autopolot im Durchschnitt mehr Millionen Kilometer ohne tödliche Opfer fährt dann wird irgendwann der Mut der Gesellschaft umschwenken auf eigentliches Selbstfahren gefährlicher und damit gefährdet man sich und andere genauso wie in zehn Jahren vielleicht oder wann auch immer, je nachdem wie schnell ihr so erfolgreich seid.

00:27:21: Wir werden sagen lieber Radiologe ich vertreue nicht dir, ich vertraue dem Algorithmus weil der das im Durchschnitt einfach besser

00:27:26: macht.

00:27:26: Genau!

00:27:27: Ich meine da sind wir natürlich schon noch ein bisschen von entfernt aber ich glaube in vielen Bereichen wird es auf jeden Fall irgendwann kommen.

00:27:31: Wie viele

00:27:32: Millionen Bilder braucht man damit man vielleicht dahin kommt?

00:27:35: Wie intensiv muss der Algorithmos lernen?

00:27:38: Beim Selbstfahren in Auto sind schon hunderte Millionen Kilometer an Sensordaten, Laserdaten und Videokamera-Daten in den neuronalen Netzen.

00:27:45: Es wird immer weiter geforscht und wir sind immer noch nicht da.

00:27:48: Das hängt damit zusammen, dass Autofahren einfach so komplex ist.

00:27:50: Wir hatten vorhin über die Verbindung von Neuron gesprochen.

00:27:53: Autofahrung ist so schwierig das man eine große Masse an Daten braucht.

00:27:57: Gibt es denn eine Verbindung zwischen der Komplexität einer Aufgabe und dem Trainingsdaten?

00:28:03: Je komplexer die Aufgabe ist, desto mehr Trainingsdaten braucht man auch.

00:28:06: Das ist ja auch so ein bisschen für den Mensch wenn der Mensch eine neue Aufgabe lernen möchte Wenn die Aufgabe schwieriger ist, braucht der Mensch eben auch länger um diese zu lernen.

00:28:14: Man braucht mehr Beispiele und so ähnlich kann man sich das bei der Maschine auch vorstellen.

00:28:17: Wie meine Kinder?

00:28:18: Die Ironie habe ich festgestellt erst mit fünf oder sechs Jahren lernen Das heißt Sprache lernen im Sinne von Sprechen einfacher Sätze ist einfach lernt man früh.

00:28:26: Und wir haben dann aber festgestellt dass wenn wir ja Witze machen Dass Kinder die in einem bestimmten Alter noch nicht verstehen und sie müssen erst weil es eben so schwierig ist ironie herauszufinden dass ihr das mit Stimmlage zu tun Mit der Situation mit wie ist das Gesicht während jemandem macht Parameter Ironie herauszufinden.

00:28:42: Es war sehr schwierig für Kinder und deswegen brauchen sie einfach lange, schrägstrich viele Trainingsdaten viel Erfahrung um das zu machen.

00:28:49: Das heißt du sagst es gibt auch diesen Zusammenhang?

00:28:51: Ist ist nicht nur die reine Anzahl wichtig sondern eben auch wie relevant die jeweiligen Trainingsbeispiele sind.

00:28:57: also zum Beispiel Wenn man jetzt das Thema Autonomen fahren sich nimmt und sagt, man möchte im Auto autofahren beibringen.

00:29:02: Dann geht es nicht nur darum einfach mehr Kilometer Daten zu sammeln.

00:29:06: zum Beispiel Autobahnfahren hat der Algorithmus relativ schnell gelernt.

00:29:09: Aber die

00:29:09: Passstraße im Winter bei Schnee ist viel schwieriger?

00:29:13: Ist viel schwierig.

00:29:13: Das heißt wenn man jetzt sagt man möchte noch hunderttausend Kilometer mehr an Daten sammelt dann sammellt man lieber nicht Autobahnen sondern lieber eben die Passstrasse bei Schneee weil davon der Algoritmus noch viel mehr lernen kann.

00:29:23: Weil Autobahn fahren hatte schon nach ein paar Hundert Kilometern gut gelernt.

00:29:26: Und hier kommt wieder die Querverbindung zu dem, was du gerade gesagt hast.

00:29:29: Mit der Algorithmus konnte große Tumore noch nicht erkennen.

00:29:31: Da muss man mehr Trainingsdaten für große Tummore

00:29:34: sammeln.".

00:29:35: Wir hatten das Thema Autonomisfahren schon in Folge Nummer drei.

00:29:38: Wenn er transizierte.

00:29:38: in der Folge mit Brosche haben wir sehr viel über das Thema Automas fahren und auch KI im Auto gesprochen.

00:29:43: Dann muss man schauen, was funktioniert nicht?

00:29:46: Und da bin ich ganz ehrlich, man muss auch sehen die Algorithmen sind falsch am Anfang.

00:29:50: Die müssen ja trainiert werden.

00:29:51: so wie Kinder Menschen erst lernen müssen ist ja wie unser Gehirn.

00:29:54: wir machen ja auch Fehler ein.

00:29:55: bald zu fangen lernt man auch erst nach tausendmal Ballfang üben und dann wird es schwieriger mit einem Bomberang fangen und Mitwind ohne Wind schwierige Dinge werfen.

00:30:02: So muss dann auch die Autoindustrie schauen wo sind Fehler?

00:30:06: Und dann ganz speziell die Daten nachjustieren neue Trainingsdaten generieren die diese Fälle abbilden aber auch eine Struktur des neuronalen Netzes.

00:30:14: Ja und witzigerweise macht das genau unsere Firmenbereich autonomes Fahren.

00:30:18: Also die nimmt die ganzen Daten, die von den autonomen Autos produziert werden.

00:30:21: Das sind ja teils mehrere Terabyte pro Stunde.

00:30:23: Das heißt sobald man eben ein paar Autos auf der Straße hat, produziert man schon Dutzend oder hunderte Terabyte an Daten pro Tag.

00:30:29: Und unsere Software hilft im Prinzip daraus dann rauszufiltern, welche Daten eben relevant sind die man speichern sollte.

00:30:35: Die man nutzen sollte um die autonomen Fahrsysteme zu verbessern und welche man vielleicht eher wegschmeißen kann weil sie nicht so relevant sind.

00:30:40: zum Beispiel eine gefährliche Situation ist ja so ein unprotected left turn also so einen links abbiegen wo von vorne eigentlich noch grün ist.

00:30:47: das ist ja eine ganz gefährliche situation die aber auch nicht oft vorkommt wo natürlich des neuere leitzweig das lernen muss und gerade wie du sagst den nächsten eine million kilometer auf der autobahn.

00:30:56: wir sind recht einfach Kennt man die Autofahren ist langweilig, lenken geradeaus ein bisschen bremsen.

00:31:00: Aber wann darf ich beim Linksabbiegen noch vor dem Auto vorbei und wann muss ich warten auf das nächste Auto?

00:31:06: Das stelle ich mir sehr schwierig vor und das ist ja auch wenn nicht sagen die Königsdisziplinen im Straßenverkehr.

00:31:10: aber das sind die schwierigen Dinge.

00:31:11: Und die sagst du ihr habt eine Firma die filtert diese Sachen raus

00:31:15: Genau!

00:31:16: Das ist natürlich ne riesige Hilfe weil in der Entwickler sagt er soll jetzt die unprotected left turns verbessern.

00:31:21: wird er nicht manuell durch hunderte Pet-Arbeit an Daten suchen, bis er eben noch Zehntausend unprotected Left-Hands findet.

00:31:26: Sondern dann kann er mit unserer Software super schnell diese Daten hervorrufen um die zu nutzen, um sein System zu verbessern und zu validieren.

00:31:33: Und ihr benutzt neuronale Netzwerke, um diese Daten zu filtern?

00:31:36: Genau!

00:31:36: Das heißt hier ist wiederum spannend wie Deep Learning und neuronale Netze eigentlich das Training von neuronalen Netzen beeinflussen.

00:31:43: Das ist Ihr habt eine Firma, die nur die Daten aufbereitet für autonomes Fahren Was nochmal die Komplexität vielleicht von Autonomen fahren.

00:31:51: Er hervorruft dann auch und sagt, wie schwierig das eigentlich ist eine Maschine dingeweiht zu bringen?

00:31:55: Das ist vielleicht ein guter Übergang zum Thema Explanability Limitations Recent Trends.

00:31:59: Das heißt wenn ich so'n großes neuronales Netzwerk hab', dann haben wir ja schon oft gehört Die Black Box!

00:32:03: Wir müssen das erklären.

00:32:05: Muss man das erklären

00:32:06: können?!

00:32:07: Ich glaube, das ist sehr schwierig.

00:32:08: Weil wir geben im neuronalen Netzwerk die Aufgabe ein sehr komplexes Problem zu lernen also zum Beispiel eben Tumore zu erkennen wo selbst Menschen daran oft scheitern oder im Straßenpaket fehlerfrei zu fahren wo eben auch Menschen viele Fehler machen.

00:32:20: und dann kann man eben nicht erwarten dass das neuronale Netzwerk so simpel ist dass man in drei Sätzen erklären kann wie Autofahren funktioniert oder wie Tumorerkennung funktioniert.

00:32:29: Dieses neue Netzwerk ist eben sehr, sehr komplex.

00:32:31: Es muss sehr komplexte Sachen lernen und deswegen ist es eben auch sehr schwierig dann das sehr einfach zu erklären.

00:32:36: Deswegen ist es schon eine gewisse Art von Blackbox und man wird nie in der Lage sein die hundertprozentig zu erklären.

00:32:41: aber man kann natürlich schon mit gewissen Methoden oder indem man die Netzwerke auf eine bestimmte Art und Weise strukturiert ja gewisse Insights sag ich mal bekommen von den Netzen.

00:32:48: Ist

00:32:48: das nicht auch Systeminherent?

00:32:50: Also wenn ich die Regeln beschreiben könnte wie genau ein Tumor aussieht.

00:32:54: Und zwar wirklich regelbasiert so und so und So jede Verbindung beschreiben zwischen den Neuronen, dann bräuchte hier kein Neuraliznetzwerk.

00:33:00: Genau das Neuralizeit gibt es ja weil ich mit der Backpropagation also von hinten nach vorne die Parameter erst lerne, die Menschen gar nicht beschreiben können, weil es ja wie du hast ist da hundert Millionen Parameter Da müsste ich ja hundert Millionen Erklärungen machen.

00:33:13: Ist das nicht so systeminherend, dass es eine Blackbox sein muss?

00:33:16: Denn das ist das Problem, das es löst.

00:33:18: Wie versucht man dann diese riesengroße Blackbox was da abläuft eigentlich zu erklären?

00:33:21: Weil natürlich haben die Menschen einen Bedürfnis nach Erklärung.

00:33:24: Ich meine, was man jetzt mittlerweile macht, ist, dass man die neuronalen Netzwerke schon so designt, dass sie etwas leichter erklärbar sind also zum Beispiel autonomes Fahren.

00:33:32: Dass man selbst immer den neuronalem Netzwerk beibringt direkt vorzuschlagen von den Sensor-Daten wo lang man fahren soll dass man mitten darin noch ausgibt, also in der Mitte von dem neuronalen Netzwerk, welche Objekte erkannt wurden.

00:33:44: Dann ist es nämlich so, wenn man dieses neuronalene Netzwerk einsatzt und irgendwas nicht funktioniert, dann hat es einen Zwischenergebnis den Fußgänger oder das Auto was von vorne kommt wirklich erkannt oder nicht?

00:33:57: Und wenn es das nicht erkannt hat, dann ist vielleicht auch der Grund wieso hinten eine falsche Entscheidung getroffen wurde.

00:34:01: Also muss man mehrere neuronale Netzwerke sozusagen, das war ein Output im Sinne von habe Auto erkannt, habe Mensch erkannt und habe Tier erkannt.

00:34:08: Das ist ja eine Output sind ja sozusagen mehrere Stufen von neuronalen Netzwerken die dann sozusagen einen Output führt zu einem Input zum neuen.

00:34:16: Das heißt besteht denn ein großes neuronales Herzwerk aus vielen kleinen Netzwerkes?

00:34:21: Das kann man so denken, ja.

00:34:22: Im Prinzip ist ein großes mehrere kleine und man optimiert das ganze Neuronalnetzwerk als eines mit Backpropagation aber man hat halt viele kleine Subnetze in diesem großen.

00:34:30: Das ist sehr spannend!

00:34:31: Und dann gibt es auch so ganz fancy Begriffe wie convolutional neural networks recurring neural networks layered neural networks.

00:34:37: das sind aber dann Spezialfälle von wie man Neuronnetzwerke aufeinander aufsetzt oder miteinander kombiniert.

00:34:45: ich glaube das braucht man gar nicht verstehen.

00:34:46: für den gemeinhörer reicht das schon aus wenn man einfach weiß wie's im prinzip funktioniert.

00:34:50: Das heißt, Explanability zusammengefasst ist systeminhärend und man versucht das zu lösen mit Zwischenergebnissen.

00:34:56: Was sind eigentlich sozusagen Limitationen von neuronalen Netzwerken?

00:35:00: Ist es jetzt das Allheilmittel?

00:35:01: oder gibt's da auch Dinge, wo du siehst, wo Sie vielleicht nicht richtig sind und was uns dann führt zu, wo ist die aktuelle Forschung.

00:35:07: Es gibt

00:35:07: viele Probleme, wo man andere Methoden vom maschinellen Lernen sehr gut einsetzen kann, also wo man eben keine neuronal netzwerke zwangsläufig braucht.

00:35:15: Da sollte man immer sehr realistisch sein.

00:35:16: Also bei Bilddaten oder bei Sprachdaten, dass ein neuronaler Netzwerk sehr, sehr gut verwendbar.

00:35:21: aber wenn man jetzt zum Beispiel, sag ich mal Daten in einem Excel-artigen Format hat... kann man eben oft auch mit simpleren Modellen, ob es jetzt Decision-Trees oder andere statistische Verfahren sind genauso gut oder teilt sogar bessere Ergebnisse erlangen.

00:35:33: Ich glaube bei den neuronalen Netzwerken ist das so.

00:35:35: wenn man genug Daten hat funktionieren sie immer sehr sehr gut aber eben auch noch nicht perfekt.

00:35:40: also es ist immer autonomes Fahren, Krebserkennung alles noch nicht gelöst und deswegen wird da gerade schon noch sehr viel daran geforscht.

00:35:46: wie kann man die Netze besser designen?

00:35:48: Wie kann man von weniger Trainingsdaten lernen?

00:35:50: Auch ein riesiger Trend weil in manchen Anwendungen hat man ja gar nicht so viele Daten dass man eben nicht erst zehn Millionen Bilder von Tumoren sich aufbereiten muss, sondern dass man vielleicht auch nur von dem Hundertstel dieser Daten lernen kann.

00:36:00: Weil der Mensch, der Arzt, der schaut ja auch nicht erst hunderte Millionen Bilder an, wie es er als Arzt zugelassen ist, sondern der kann schon mit viel weniger Daten die er während seiner Ausbildung sieht in ziemlich guter Arzt werden.

00:36:10: und da versucht man die Maschinen gerade auch hinzubekommen.

00:36:13: Dies ganze Feld nimmt man Zero-Short oder Few-Shorts Learning Und das ist grade sehr, sehr enttrennt.

00:36:17: ein anderes Feld was auch sehr spannend ist so das ganze Thema Meta-Learning weil zurzeit man in der KI-Forschung diese neuronalen Netzwerke immer für eine spezifische Anwendung trainiert.

00:36:27: Das heißt, wir haben jetzt ein neuronales Netzwerk was wir für Tumorerkennung verwenden und wir haben ein neuronales Netzwerk das wir für autonomes Fahren verwenden.

00:36:33: Und es sind zwei komplett verschiedene Netze und der eine kann nur das eine und der andere kann nur dass andere.

00:36:38: Als Mensch funktioniert man hier anders als Mensch hat man eben nur einen Gehirn, ein neurones Netzwerk... Ich habe einen

00:36:43: riesengroßes!

00:36:44: Ein sehr großes was aber sehr viele verschiedene Aufgaben lösen können.

00:36:47: die Frage ist halt Kann man mehrere Probleme in einem Netzwerk lernen?

00:36:52: besser werden.

00:36:52: Also kann ein neuronales Netzwerk, was Tumor erkennt und Autofahren kann.

00:36:56: ist das vielleicht besser als ein Netz, was nur eins der beiden Probleme löst?

00:36:59: Und daran wird auch gerade sehr viel geforscht.

00:37:01: Das ist jetzt die Forschung einer Artificial General Intelligence.

00:37:04: Es gibt so die Narrow Intelligence.

00:37:07: Wenn man eine Sache ganz gut kann, Tumorekennung, Autofahrern, Spamfilter... jeder einzelne Algorithmus sozusagen, aber eine generelle Intelligenz wenn man sagt wie Menschen die ja auch verschiedene Sachen können.

00:37:17: Wir haben ein großes neuronales Netzwerk im Kopf das aus vielen vielen Subnetzen für Sehen hören sprechen bewegen alle möglichen Körperfunktionen besteht.

00:37:27: Das zusammenzufassen sagst du nennt sich Meta Learning als Trend und das versuchen wir dich auch vor Schaden.

00:37:31: es ist die coolere künstliche Intelligenze und der bessere Algorithmos wenn man mehr Sachen kann und Du sagst vielleicht kann das System dass sowohl Auto fahren als auch Tumor erkennen kann In Summe beides besser.

00:37:42: Genau,

00:37:43: dann ist eins plus eins drei.

00:37:45: Hoffentlich ja!

00:37:46: Deswegen sind wir Menschen so intelligent geworden.

00:37:48: vielleicht ist das gerade der Schüssel zu unserer evolutionären Entwicklung?

00:37:51: Vielleicht zum Abschluss ein Thema was ich letztens gehört habe oder was in den Medien immer wieder drin ist des thema deepfake.

00:37:57: Was ist das eigentlich und warum ist es eine Gefahr für uns?

00:38:00: Seit ein paar Jahren gibt's die sogenannten Generative Adversarial Networks, kurz GANS-GANS geschrieben.

00:38:05: Die eben in der Lage sind entweder bestehende Bilder oder Videos zu manipulieren.

00:38:10: also Deep Fakes aber ist vor allem im Bereich Videos sehr aktiv geworden wo eben Videos genommen wurden die manipuliert werden wo zum Beispiel das Gesicht ausgetauscht wurde oder die Lippen sozusagen ersetzt worden dass man auf einmal zum Beispiel Obama etwas in den Mund gelegt hat was eigentlich Trump gesagt hat und umgekehrt.

00:38:26: Das ist natürlich ziemlich beeindruckend und teils auch etwas beannextigendes Thema, weil man eben so in der Lage ist, visuellen Content so zu manipulieren oder neu sich auszudenken.

00:38:35: Dass der Mensch eigentlich gar nicht mehr unterscheiden kann – Ist das jetzt echt?

00:38:38: Oder ist das jetzt Fake-Content?

00:38:40: Die Forschung da geht gerade sehr schnell voran.

00:38:42: also ich bin mir sicher dass man ein paar Jahre noch soweit ist, dass man wirklich Bilder und Videos erzeugen kann wo es fürs menschliche Auge eben nicht mehr möglich ist zu erkennen, ist das Jetzt Echt oder ist das Generierter Content?

00:38:52: Und dann brauchen wir Neurollerles Netz, das erkennt ob Content echt oder nicht echt ist.

00:38:56: An dem Punkt Rasmus – Das war ein super interessantes Gespräch!

00:38:59: Ich hoffe an unsere Hörer dass wir was beibringen konnten.

00:39:01: zum Thema Was sind eigentlich Neurallernetzwerke?

00:39:03: Warum sind die so erfolgreich gerade in der letzten Zeit?

00:39:06: Weil es nämlich mehr Daten gibt weil wir mehr Rechenkraft haben als bessere Methoden gibt und wir tiefere größeren Neurullernetzwerk berechnen können.

00:39:14: Wir haben darüber gesprochen was das Thema Deep Learning und sozusagen haben von dem einzelnen Neuron, von geh ich zum Strand oder nicht bis hin zu einer hundert Millionen Parametern besprochen.

00:39:24: Wie diese trainiert werden?

00:39:25: Wir haben über Expandability Blackbox und zum Schluss auch die Zukunft was eigentlich die Limitation für Neuroner letzten gesprochen.

00:39:32: An diesem Punkt danke Rasmus für das Gespräch und

00:39:34: Danke für die Einladung Erik!

00:39:36: Gerne.