Wie mischt Europa in Sachen General AI mit? | #Kuenstliche Intelligenz 🤖

00:00:00: Digital Compact, heute aus dem Bereich künstliche Intelligenz mit deinen Moderatoren Rasmus Rote und Jasper Marsemann.

00:00:08: Los geht's!

00:00:15: Hallo willkommen

00:00:16: zu einer weiteren

00:00:17: Folge von AI Amplakt vom Digital Compactor.

00:00:19: mein Name ist Jasper Marsemann.

00:00:20: ich bin Partner bei Adventure Captivant HVCaptlet Berlin und ich fokussiere mich auf Software &

00:00:26: KI Investments.

00:00:28: Hallo zusammen, ich bin Rasmus, Gründer von Merantix dem Venture Studio für Künstliche Intelligenz und Initiator vom AI Campus.

00:00:34: Ich bin außerdem noch im Vorstand vom KI-Bundesverband.

00:00:36: Heute haben wir mal ein etwas anderes Thema.

00:00:38: Ihr wisst ja, wir fokussieren uns gerne auf Narrow AI Themen viel in der Praxis all das was funktioniert aber wir wollen natürlich auch ein bisschen über den Teller anschauen und in die Zukunft.

00:00:48: Und heute geht es um Innovationen und Revolutionen.

00:00:51: Einige nennen es General.

00:00:53: AI gibt sicherlich auch andere Bezeichnungen Aber uns interessiert vor allen Dingen die europäische Perspektive und wie man da mitgestalten kann.

00:00:59: Und dafür haben wir

00:00:59: einen besonders

00:01:00: tollen Gast gewinnen können!

00:01:02: Ja, ich

00:01:02: freue mich sehr auf die Folge heute.

00:01:03: Wir haben nämlich Jonas Androulis von ALEP Alpha da.

00:01:06: Jonas hat am KIT im Karlsruhe Institute of Food Technology studiert, wie man so schön sagt.

00:01:12: Wirtschaftsingenieurwesen war da neun Jahre im Konsulting tätig und hat dann eine Firma Palaludens gegründet, die im Bereich Computer Vision aktiv war und sich vor allem mit Labeling also Annotation von Daten beschäftigt hat und dann relativ schnell nach circa zwei Jahren von Apple gekauft wurde.

00:01:25: Jonas ein paar Jahre bei Apple und er hat jetzt im Jahr zweizig neunzehn wieder gegründet, nämlich Aleph Alfa.

00:01:30: Und wir freuen uns sehr auf die Folge heute mit dir, Jonas!

00:01:33: And let's get right into it!

00:01:34: Klasse schön hier zu sein.

00:01:36: Cool pass auf dann lass uns doch so starten.

00:01:38: Erklär'n es doch mal was ihr macht bei Aleph Alpha vielleicht so die einfache Version für mich als Investor nicht die für Rasmus und vielleicht auch wo der Name Aleph-Alpha überhaupt herkommt?

00:01:47: Also der Name erstmal dazu ist eine Nerdname.

00:01:50: in der Mathematik gibt es Aleph Null das kleinste Menge der unendlichen abzählbaren Zahlen, also so Null eins zwei drei fünf sechs sieben und alle.

00:01:58: Alpha ist die allfahrtste Menge.

00:02:00: Der unendliche Abzählwaren zahlen was auch schön passt ist das im Alfa natürlich im Bereich KI durchaus einen Namen gewonnen hat als AlphaGo, AlphaStar.

00:02:10: Also auch da haben Modelle mit Alpha im Namen gezeigt dass KI dazu in der Lage ist uns fundamental zu überraschen Mit innovativen Problemlösungen.

00:02:21: Was wir machen Kümmern uns um Jan-Lekunds Kuchen.

00:02:25: Im Jahr nix, kenne ich sicherlich das berühmte Slide mit dem Kuchen wo er damals sehr visionär gesagt hat Superweiß Learning is just the icing on a cake Also die Technologie, die die aktuelle KI Revolution in der wir ja mittendrin sind getrieben hat ist Supervised Learning.

00:02:45: Haben wir mit der letzten Company viel gemacht, Rausnuss hast du schon richtig gesagt und die Funktion funktioniert so dass der Mensch labelt also der Mensch gibt ein Signal vor was die KI dann lernt abzubilden das super praktisch und viele Use Cases sehr geeignet.

00:03:02: letztendlich wird dann die KI aber nun funktionaler Approximator für Input G zu Output Und ob das dann ein tiefes neuronales Netz ist oder irgendeine andere Methode, dahinter eine Support-Vektormaschine oder Random Forest spielt dann eigentlich keine Rolle mehr.

00:03:18: Was diese Systeme und diese Ansätze allerdings natürlich nicht können, ist menschliches Kontextverständnis, menschliche Intelligenz erreichen.

00:03:27: die werden immer ihre Wahrnehmung der Welt fundamental reduzieren.

00:03:33: auf mein Label also im Automotive Bereich zum Beispiel wird das System nie etwas anderes lernen können, als ist ein bestimmter Pixel ein Fußgänger ja oder nein.

00:03:45: Und alles andere egal wie viel Warten ich zeige, egal wie groß ich das Modell mache die Komplexität unserer Welt, die wir als Menschen beherrschen wird das System nicht lernen und deswegen sind diese Fußgängererkennung fundamental verwirrt wenn ich Werbung, Werbeplakat habe was ein Menschen abbildet.

00:04:03: Wenn ich eine Reflexion eines Fußgängers in der Fensterscheibe habe, wenn ich Menschen im Karneval habe die ganz anders aussehen und so weiter.

00:04:12: Und da hat sich gezeigt jetzt in den letzten Monaten das Ich durch Self-Supervised Learning also dadurch dass KI-Systeme trainieren, die eben nicht mehr Anotationen und Labels brauchen.

00:04:25: Sondern sie einfach sich eine riesige Menge von Daten, von Beobachtungen anschauen Und als Ziel nur haben Die Struktur und die Muster und die Intelligenz in diesen Daten In der gesamten Welt, die Sie anschauen zu erkennen.

00:04:41: Dann haben mehrere Firmen jetzt schon gezeigt dass man mit diesem System dann KI-Modelle bauen kann, die flexibel auf Situationen reagieren können.

00:04:51: Die alle möglichen Arten von Aufgaben und Herausforderungen und Situationen verstehen und bewältigen können auch wenn sie die noch nie vorher gesehen haben.

00:05:01: Und damit sowas wie menschlichen gesunden Menschenverstand und Kontextverständnis eben mitbringen.

00:05:07: Ja, super spannend Jonas.

00:05:08: Von diesen Self-Superbeiß Modellen, welches siehst du denn so als die großen Use Cases an?

00:05:12: Weil ich meine für viele Anwendungen funktionieren jetzt ja auch die Superbeißmodelle schon ganz gut.

00:05:16: also wo siehst Du das größte Potenzial und damit verbunden auch wie verändert es vielleicht auch die Nutzer dann von diesen KI Modellen diese zu nutzen vor allem für den Programmierer der sozusagen vorher jetzt vielleicht ein spezifisches Modell angewandt hat und jetzt einen Self-superbeiß Model nutzt?

00:05:32: Das ist eine super Frage.

00:05:33: Also auf der einen Seite kannst du natürlich alles, was du mit anderen Modellen vorher schon machen konntest machen nur halt ein bisschen besser.

00:05:40: Du kannst jeden NLP-Task auch mit einem Modell wie GPT-III und Verwandte lösen.

00:05:48: Also Textklassifikationen, Suche, Entitäten, Extraktion.

00:05:54: wirklich interessant wird es aber da wo du Dinge machen kannst die eben bisher nicht gingen oder fast nicht gingen.

00:06:01: Das ist zum Beispiel eine Zusammenfassung von komplexen Texten, wir haben ein hybrides Interface gebaut wo du unstrukturierte Informationen in eine symbolische Repräsentation überführen kannst also Stichwort Objektrepräsentation Knowledge Grafen wo du komplexe inhaltliche Fragen zu Texten beantworten kannst und eben nicht Extractive.

00:06:23: Extractiv gibt es ja gibt so Bird Extractivesysteme die funktionieren ja so dass du halt einfach einen Token oder ein Start- und Endtoken aus einem Evidence Text schätzt.

00:06:34: Dass du also sagst, irgendwo in dem Quelltext ist die Antwort drin wo es startet und stoppt.

00:06:40: mit den neuen Modellen kannst du die Antwort völlig frei formulieren.

00:06:44: sie kann implizit nur im Text drinnen sein.

00:06:47: Sie können über mehrere Absätze verteilt vorkommen.

00:06:50: Also das ist eine ganz neue Qualität von Fähigkeiten im Bereich von Text Und jetzt seit kurzem auch im Bereich vom Bildern die ungefähr an das rankommt, was man vom Praktikanten erwarten könnte.

00:07:03: Also dass was ein pfiffiger Praktikat machen könnte können diese Modelle und das können Dinge sein.

00:07:09: wie lesen diese Zehntausend Dokumente und schreibt die wichtigsten Thesen für die ökologische Revolution im XXI Jahrhundert raus.

00:07:19: also es gab keine Modelle der Vergangenheit die sowas in der Lage gewesen wären zu lösen

00:07:24: Bevor jetzt alle Praktikanten da draußen anfangen, dir Hass-E-Mails zu

00:07:27: schreiben.

00:07:29: Wie siehst du denn?

00:07:30: Also nochmal zurück zur Aleph Alpha!

00:07:31: Was ist eure Aufgabe?

00:07:32: Wollt ihr das Toolkit bereitstellen dass die Leute kreativ in den Use Cases unterwegs sind?

00:07:38: oder sagt ihr Nein wir müssen schon ein bisschen Guidance zu den use cases gehen sonst sind die Leute in ihrer Kreativität total verloren.

00:07:43: wie siehst Du da eure Position auch Rolle?

00:07:46: First and foremost also bauen wir diese Modelle.

00:07:48: Wir machen den Research Wir entwickeln die Basistechnologie selbst und wir entwickeln sie auch soweit, dass es eben mehr ist als nur ein Paper oder einen schönen Löstritter Blockbeitrag.

00:08:02: Also bringen die auch in Produktionen.

00:08:04: Wir haben ein Python client, wir haben eine API, haben eine Playground der also in diese Größenordnung skalieren kann und robust funktioniert.

00:08:11: Und dann sind wir aktuell so dabei mit ausgewählten Partnern, erste transformative Use Cases umzusetzen.

00:08:21: Da geht es mir jetzt dann darum etwas zu zeigen was bisher nicht möglich war.

00:08:25: Also kreative innovative Möglichkeiten.

00:08:28: wer so ein bisschen die Presse zum Thema GPT-III verfolgt hat der weiß dass da unglaublich tolle und kreatieve Dinge entstanden sind und wir haben zum einen nicht die Manpower in der Breite zum anderen haben wir auch gar Domänexpertise, das Branchenwissen was aus ganz vielen Bereichen hier kreative Ideen beitragen kann.

00:08:48: Das heißt unsere Aufgabe eher als Basistechnologie-Lieferant und Plattform und dann wollen wir andere enablen.

00:08:55: Wir wollen also mit Partnern arbeiten die dann die Ideen haben, die dann Die End to end Kompetenz haben.

00:09:01: Das wird auch sehen wir jetzt schon ganz neue Form der UX geben.

00:09:05: Also diese Menschmaschine-Interaktion, die UX, wie man mit diesen Systemen arbeiten kann.

00:09:12: einer bei uns aus dem Team nennt das tatsächlich auch Programmierende.

00:09:14: Er sagt ein Prompting eine Interaktion mit so einem Weltmodell ist eine Art von Programmieren der freien Informationen.

00:09:22: Ja das

00:09:22: ist super spannend weil das ändert ja auch wirklich die Art und Weise wie wir mit dem KI Modell interagiert.

00:09:27: also wenn ich jetzt als Anwender von eurem Modell agieren möchte muss ich am Zweifel gar keine eigene Modelle mehr trainieren, oder kann doch direkt auf euer Modell im Prinzip zugreifen?

00:09:36: Oder vielleicht kannst du es mal an einem Beispiel beschreiben wie man mit euch zusammenarbeiten würde.

00:09:41: Genau das ist auf jeden Fall eine Möglichkeit dass Du also sagst Ich habe zum Beispiel was wir in einem fall umgesetzt haben eine verschlagwortung dass wir also ZeroShot von dem Modell eine Verschlagwortung von Texten erzeugt haben.

00:09:54: Wenn ich jetzt sage, ich komme aus einer Branche oder der Versicherungsbranche zum Beispiel und ich habe eine tolle Idee wie ich die Arbeit in gewissen Schritten in der Versicherungsprange leichter machen kann und dazu brauche ich eben zu E-Mails oder E-mail Chains Verschlagwortungen und die Möglichkeit dazu, Zusammenfassungen zu schreiben oder die Möglichkeit da in Sentiment rauszulesen.

00:10:18: Dann kann ich das entsprechend nutzen.

00:10:20: Ich kann mir Beispiele anschauen, die wir mit Partner entwickelt haben und kann relativ einfach mit einer Basiskenntnis von Python integrieren.

00:10:29: Da braucht kein Machine Learning Know-how.

00:10:31: Und ich kann aber trotzdem eigene Machine Learning Modelle kombinieren.

00:10:36: Ich kann, dass wir in einigen Fällen auch schon gesehen haben.

00:10:38: Dass man das kombinieren kann und also die von einem so großen Modell wie wir es haben erzeugten Informationen dann wieder intelligent weiterverarbeiten können.

00:10:48: Wenn du jetzt mal nach vorne schaust, ich habe ja angefangen mit der Innovation aber auch Revolution.

00:10:52: Du sprichst ja öfters über General AI.

00:10:54: Ist das dann für dich der erste Schritt auf dem Weg dieser General AI?

00:10:58: Vielleicht fangen wir damit an.

00:10:58: was verstehst du da drunter überhaupt und wie seid ihr Teil von dem Ganzen?

00:11:02: Das ist besser zur Einordnung!

00:11:03: Es ist so ein wilder Begriff und ich will mich ungern mit Gary Marcus streiten.

00:11:09: also das Thema Manchmal unterspezifiziert.

00:11:12: AGI, General AI wird oft verstanden als etwas dem Menschen ebenwürdig und man kann sich darüber streiten was sie jetzt dazu gehört, Robotik dazu.

00:11:22: wo hängt also das eigene Agency notwendig die diese Systeme haben müssen.

00:11:29: ich glaube dass hilft uns gar nicht so viel.

00:11:30: weiter.

00:11:31: diese Diskussion.

00:11:32: und was mir eigentlich besser gefällt ist der Begriff der transformativen KI wie auch von Open Philanthropie geprägt wo sie sagen, das ist eine Technologie die mindestens fünfzig Prozent dessen was wir jetzt arbeiten nennen transformieren können und eine Technologie in der Folge ähnlich ist wie die industrielle Revolution.

00:11:55: Und ich glaube dass es greifbarer da haben wir auch ganz handfeste Indizien, dass wir uns sehr schnell darauf zu bewegen und diese Themen wie was ist bewusst sein?

00:12:06: Was ist Intelligenz?

00:12:07: Die sind dann sind mir zumindest eine Stufe zu esoterisch, um darüber wirklich zu streiten.

00:12:13: Ja super spannend und ich meine für eben so große Modelle die man da ja trädieren muss braucht man auch sehr große Hardware oder?

00:12:20: Also das ist ja nicht mehr so dass man das auf seinem Laptop geschweige denn auf seine einen Grafikkarte ohne weiteres trainieren kann.

00:12:26: Das sind ganz andere Dimensionen und die Dimension werden da auch immer größer.

00:12:30: Ich glaube es wäre spannend wenn du dem Zuhörer einmal ein bisschen erläuterst was eigentlich so die Requirements sind.

00:12:34: und obwohl sich das Ganze gerade hin entwickelt dass es eben mittlerweile schon auch echt komplex ist, diese großen Modelle zu trainieren.

00:12:40: Ja das ist ein wesentlicher Aspekt der uns jetzt natürlich die letzten Monate und Jahre beschäftigt hat.

00:12:46: ich kann mich erinnern vor fünf Jahren zehn Jahren war so da konnte jeder Doktor Rand sich zwei Grafikkarten kaufen und konnte dann State of the Art Modelle trainieren.

00:12:55: Das hat sich eben geändert.

00:12:57: Die Trainingskosten also allein die Rechenleistung die man braucht um einen GPT-III Modell zu trainiren Das kostet so zwischen fünf und zwanzig Millionen.

00:13:08: D.h.,

00:13:08: das sind die Kosten, die ich nur habe... Ich hab mein Datensatz, mein Team aufgebaut, meine Algorithmen gebaut, alle Experimente sind durch.

00:13:17: Ich drücke jetzt nur auf den Knopf und trainiere das einmal!

00:13:20: Und wenn irgendetwas dabei schief geht was es Spoiler, was es regelmäßig mal tut muss ich von Neue starten.

00:13:26: Das heißt, dass ist enorm ressourcenaufwendig und es erfordert ein spezielles Wissen um das Engineering dieser Trainingspipeline so zu designen, dass sich riesige GPU-Cluster effizient nutzen können.

00:13:40: Es gibt einen wesentlichen Unterschied... Natürlich gibt es schon Training, was auf GPU-Clustern läuft.

00:13:46: Allerdings sind KI-Modelle die wir bisher verwendet haben nur so groß dass sie auf eine GPU passen.

00:13:54: und das heißt dieses Verwenden von GPU-Clustern wurde halt eben so gemacht, dass ich gesagt habe gut ich mache halt Kultlauter Kopien von meinem Modell verteile das auf die GPUs und trainiere parallel.

00:14:04: unser Modell ist so groß dass es nicht mehr nur auf eine GPU nicht passt.

00:14:10: Es passt auch nicht auf ein Node mit acht GPUs, das heißt wir müssen das über mehrere Nodes und mehrere GPUs verteilen.

00:14:19: Aktuell arbeiten wir mit fünfhundert zwölf A in hundert quasi im Hochgeschwindigkeitsverbund.

00:14:27: der Optimierer beim Training eben über die ganze Breite des Netzwerks den Gradienten finden möchte, habe ich eine extrem hohe Geschwindigkeitsanforderung zwischen den GPUs.

00:14:40: Also normales Ethernet reicht da nicht aus.

00:14:43: Aktuell haben wir vier mal zweihundert G zwischen den Notes als Geschwindigkeit.

00:14:50: Latents ist auch wichtig eben um ein Modell effizient verteilt über viele hunderte GPUs gleichzeitig zu trainieren.

00:14:58: Und beim Training ist dann die Challenge, dass man diese Layer und Neuronen dieses Netzwerks so auf die GPUs verteilt das die Kommunikation optimiert werden kann.

00:15:13: ich kann nicht einfach beliebig kann ich einfach sagen ja es egal dieser Layer halt auf diese GPU dieser Layer auf diese gpu.

00:15:19: Ich muss das so designen dass die Kommunikation zwischen den Notes reduziert wird und das sich so ein Pre-D Pipelining heißt, dass sich also die Kommunications Redues and Forward Passes so übereinanderschiebe.

00:15:34: Dass sie eben nicht gegenseitig blockieren.

00:15:37: Also ist recht knifflig und ist eben auch eine große Herausforderung zur Dedemokratisierung dieser Technologie weiter.

00:15:45: beitragen wird, weil es eben nicht mehr nur genügt das Ganze analytisch und mathematisch zu verstehen.

00:15:52: Ich brauche also eine Kombination von Infrastruktur-Engineers, von Machine Learning Engineers, von Research Scientist, von research engineers die alle zusammenkommen müssen und jeder muss einen hoch spezialisierten Skill haben.

00:16:04: Keiner kann mehr ganz alleine mit seinem eigenen Skill in der Größenordnung operieren.

00:16:09: Es sind ja auch große Mengen an Geld, die man dafür braucht oder so ein Cluster aufzubauen.

00:16:15: Was eben nicht jeder hat.

00:16:16: und ich glaube du hattest vor kurzem in einem Interview gesagt dass wir einen weiteren digitalen Sputnik Moment vermeiden sollten Und deswegen in Deutschland und Europa, die KI-Revolution proaktiv und souverän mitprägen müssen.

00:16:30: Was müssen wir da machen in Europa?

00:16:31: Welche Rolle spielt ja vielleicht auch die Politik, dass wir da nicht noch einen Sputnikmoment

00:16:35: haben?".

00:16:35: Ja

00:16:36: das ist uns sehr wichtig!

00:16:37: Ich glaube, wir müssen Handlungsfähigkeit erhalten.

00:16:39: Das ist genau der Punkt den du vorhin angesprochen hast.

00:16:42: Microsoft hat ja nicht umsonsten im Milliarde für die exklusiven Rechte an GPT-III gezahlt.

00:16:49: Wenn wir kein Unternehmen haben, was die Ressourcen, die Kenntnisse und ein Team hat.

00:16:57: Was diese Technologie mitgehen kann.

00:16:59: Also was zumindest mal in der Champions League kicken kann.

00:17:03: Dann bleibt uns keine andere Wahl als Nutzer zu sein Und dann können wir diese Technologien nicht gestalten.

00:17:09: Wir können also unsere Werte unserer Vorstellungen nicht in diese Technik mit einbauen Und wir können auch die so entstandene Wertschöpfung nicht verwenden.

00:17:19: Ich glaube, die Kontrolle des Verständnisses, die Transparenz aber auch die Wertschöffung dieser Technologie ist essentiell notwendig um die Folgen, die diese Entwicklung hat also die kulturellen Folgen und politischen Folgen die sozialen Folgen Die folgen für unser Bildungssystem Um die mitzugestalten.

00:17:39: dazu brauchen wir die Kompetenz und da brauchen wir Und das ist natürlich eine Aufgabe für uns alle, nicht nur die Politik aber auch für die Politik.

00:17:49: Also unsere Idee ist ja zu sagen wir arbeiten eng mit der Politik zusammen und bieten an dass diese Technologie also europäisch souverän hergestellt und betriebene Technologie als Basis für die Digitalisierung dienen kann.

00:18:05: Das ist sowieso ein Problem was wir angehen müssen und wenn wir sagen wir werden wir das Problem angehen Unterstützen wir damit europäisch souverän gebaute KI-Forschung.

00:18:15: Dann, glaube ich, können wir zwei Fliegen mit einer Klappe schlagen und das wäre mir persönlich lieber als Fördermittel und

00:18:21: Forschungsprojekte.".

00:18:23: Wie

00:18:23: geht dir das dann an der ALEFA?

00:18:25: Es gibt ja den Trend von Open Source, es gibt sowieso sehr viel auch im KI Bereich.

00:18:29: also wie schafft ihr es dass jeder in Europa da Zugriff drauf hat aber gleichzeitig natürlich ihr als Firma eure Ziele weiterflöten wirklichen könnt?

00:18:39: Stellt mir das sehr schwierig vor, weil man muss ja auch amerikanische Forschung vielleicht sogar chinesische Forschungen mit einbauen.

00:18:44: Wie macht ihr das für euch?

00:18:46: Wir haben tatsächlich den Kerncode unseres Modells Open Source.

00:18:51: Das macht Open AI nicht mehr und aus gutem Grund glaube ich nicht mehr.

00:18:56: Das ist ein Balanceakt Weil natürlich muss sich auch die Equity Story erzählen können.

00:19:01: Ich brauche mehr Geld und ich muss natürlich klar machen für die nächste Finanzierungsrunde, dass wir eben auch ökonomisch ein transformatives Wertschöpfungspotenzial haben.

00:19:12: Das ist nicht nur coole Forschungs.

00:19:14: Gleichzeitig aber bin ich überzeugt das Wissenschaft und auch dieser gesellschaftliche Diskurs der braucht Transparenz und der braucht Reproduzierbarkeit.

00:19:23: Wir haben momentan den Kerncode Open Source.

00:19:28: Ich werde mir Mühe geben, so viel wie möglich transparent und offen zu machen.

00:19:33: Das sind akademische Publikationen das ist Source Code und das sind natürlich andere Aspekte noch.

00:19:39: Und im nächsten Schritt also ich habe das gesehen in unserem Portfolio wir haben auch einige NLP-Firmen.

00:19:43: die reine Komodizierung ist ja auch gleichzeitig ein Vorteil für dich wenn du mehr Leuten ermöglicht dein Modell zu nutzen für ihre Geschäftsmodelle.

00:19:51: es ist Ja auch in Ordnung wenn Du daran mitverdienst.

00:19:54: jetzt mal aus meiner Perspektive als Investor Seht ihr das auch so, dass ihr sagt also wir unterstützen diese Komoditisierung des Ganzen über uns?

00:20:01: Aber die Leute sollen natürlich uns nutzen als europäische Alternative.

00:20:05: Dafür nehmen wir dann Geld.

00:20:06: ist das eine Idee dahinter?

00:20:07: Das ist absolut das Ziel.

00:20:09: Also ich will andere Enablen kreative tolle Produkte zu bauen.

00:20:15: Wir haben natürlich das andere Thema.

00:20:18: es gab jetzt eine Schweizer Firma, die ein sechs Milliarden Parameter französisches Modell veröffentlicht hat Und die haben einfach den Quellcode von GPTJ genommen.

00:20:29: Die haben gesagt, wir nehmen den Trainingscode, wir bauen einen eigenen Datensatz und dann machen wir unser eigenes Modell.

00:20:35: Wudao hat den Dattensatz verwendet.

00:20:40: Das ist natürlich das Thema unserer Forschung ist teuer.

00:20:44: wenn ich die Ergebnisse open source stelle

00:20:46: dann

00:20:47: wird irgendjemand mal kommen und sagen, jetzt mache ich übrigens mein eigenes Modell oder ich bin übrigens zehn Prozent günstiger als alle Pfeiffer mit allem.

00:20:54: Irgendwo dazwischen ist die Wahrheit.

00:20:56: Ich glaube nicht dass wir hier ein Zero-Sum Game haben und ich glaube auch nicht daran das man die Zugbrücken hochziehen sollte und alles für sich behalten sollte.

00:21:05: aber wir müssen natürlich funktionieren als Firma.

00:21:09: Wir müssen auch die nächsten Experimente noch bezahlen können.

00:21:12: Vielleicht als kleine Frage noch, der Rasmus ist auch schon in Stadtlöchern.

00:21:15: Aber Wudau du hast gerade erwähnt das sind ja die Chinesen.

00:21:17: was siehst Du von denen überhaupt?

00:21:19: Man redet sehr viel über USA und GPT-Free.

00:21:22: Was passiert in China auf dem Gebiet?

00:21:24: Ja die sind auf jeden Fall ernst zu nehmen, ernster zu nehmen als die vor zehn Jahren waren.

00:21:31: Ich kann mich erinnern Vor zehn Jahren war die die Paper die aus China kamen oft nicht so beeindruckend.

00:21:37: mittlerweile hat sich das gelten wird.

00:21:39: Die haben ganz gut aufgeholt, die haben auch gigantische Mittel mit Hundertfünfzig Milliarden der New Artificial Intelligence Development Plan und haben natürlich eine Menge Schwungmasse dort mittlerweile erreicht.

00:21:52: Ich habe das Gefühl dass man noch nicht auf dem Level der USA ist.

00:21:56: also auch Fudau ist klar zehnmal größer als GPT-III.

00:21:59: aber außer Der Flex mit der Größe habe ich noch nicht so viel gesehen von den Modellen, denn es gehört mehr dazu ein Modell gut zu machen als es einfach nur großzumachen.

00:22:09: Aber China hat erkannt dass wir hier Basistechnologie haben.

00:22:13: eben das was wir vorhin hatten mit der industriellen Revolution ist auch einen Kriterium übrigens von Open Philanthropy dass sie sagen transformative KI ist so einflussreich dass sie das globale Machtgleichgewicht verändern kann und das hat man in China erkannt Und deswegen gehen die all in, was KI angeht und es ist ernst zu nehmen.

00:22:34: Wenn wir sozusagen schon bei dieser geografischen Diskussion sind, ist ja eben auch ein Punkt dass wir viele verschiedene Sprachen haben und von daher gerade wenn man aus Europamodell trainiert natürlich eben andere Sprachen wie Französisch hat das du grad schon erwähnt aber auch Deutsch oder Spanisch relevante Sprachen sind das sicher ein Engel wo man sich auch nochmal differenzieren kann.

00:22:51: einen Zweiter der zumindest in Europa ja auch viel diskutiert wird ist das ganze Thema von biases.

00:22:58: Gibt es da noch mal eine spezifische Perspektive von euch und sozusagen auch die Probleme, die man damit hat?

00:23:03: Wenn man auf großen Mengen Anzuberweiß trainiert.

00:23:06: Wie geht ihr damit um?

00:23:07: Und was ist deine Perspektiv auf das Thema Bayeris ist?

00:23:10: Auf jeden Fall stimmt es dass wir gesehen haben dadurch, dass wir einen europäischen Trainingsdatensatz haben Wir haben das Modell auf den fünf großen europäischen Sprachen trainiert Und dadurch, dass wir das gemacht haben, haben wir gesehen, dass es eben nicht nur ein Sprachverständnis mitbringt sondern eben auch werte und kulturelle Informationen.

00:23:30: Diese Modelle sind natürlich unheimlich mächtig und haben mehr Wissen als eben nur Sprachvokabeln.

00:23:36: Das haben wir zum Beispiel gezeigt indem wir das Modell über Fußball gefragt haben, über Sport.

00:23:42: Und dann haben wir gesehen es kennt sich viel besser im europäischen Fußball aus.

00:23:47: Es kennt viel besser mehr Clubs und weiß darüber etwas.

00:23:49: Wenn du GPT-Free fragst, dann bekommst du als Antwort die New York Giants.

00:23:54: Welches Team supportet ist?

00:23:56: Welches Teams...?

00:23:57: Das war ja auch keine Frage!

00:23:58: Es kommt darauf an in welcher Sprache du's fragst.

00:24:01: Wenn Du es in Deutsch fragst... Die meisten Antworten sind Dortmund oder Bayern.

00:24:06: Traurig

00:24:07: Ja.

00:24:07: Da können wir gerne ein Fine-Tuning-Projekt machen, um dem Modell einen anständigen Fußballgeschmack beizufringen.

00:24:13: Der Rasmus und ich kommen ja aus Bremen also... Ich weiß nicht, ob wir der Zweitliga-Verein noch hochkriegen?

00:24:17: Auf jeden Fall einer Speck, dass wir halt sagen Trainingsdatensatz bringt mehr mit als Sprachverständnis.

00:24:23: Und dann ist das andere Thema Bayer's unerwünschte Informationen.

00:24:29: Und ich glaube, da sind wir an einem Punkt angelangt wo es nicht funktionieren kann, zu definieren was ein Bayes ist und was nicht.

00:24:40: Denn das ist in manchen Situationen sehr offensichtlich.

00:24:43: Darüber sagen wir, dass das ganz eindeutig eine Aussage die nicht gut ist.

00:24:48: aber die Welt ist so komplex und es gibt so viele Interdependenzen.

00:24:53: also zum Beispiel neunzig Prozent der Insassen von Gefängnissen sind Männer.

00:24:58: Ist das jetzt ein Bayeris, ein sexistischer?

00:25:00: Ist das eine empirische Beobachtung die sich nachweisen lässt.

00:25:04: Ich glaube hier ist es wichtig zu sagen zum einen diese Modelle sind und wollen keine deontologische Instanz sein.

00:25:13: sie sind weder Wahrheitsmaschinen noch sind ethische Ratgeber.

00:25:19: Das ist, sie sind uns genauso ethische Radgeber wie eine Google-Suche unglaublich nützlich.

00:25:24: aber wenn ich in Google eingeben würde alle Männer sind und der erste Treffer wäre alle Männern sind faul dann würde ich ja nicht sagen google ist der Meinung das ist einfach.

00:25:34: diese modelle sind eine möglichkeit die komplexe informationen das komplex wissen was eben in der breite der welt da ist für uns nutzbar zu machen und so müssen wir es auch verwenden vielleicht wieder in Richtung Praktikant.

00:25:47: Der Praktikat wird Fehler machen, der Praktikan weiß noch nicht alles, der ist unglaublich nützlich und vor allem wenn ich unbegrenzte und fast kostenfreie Praktiken habe kann ich damit unheimlich viel machen.

00:25:59: Ich kann damit Arbeits- und Wertschöpfungsprozesse transformieren aber ich muss als Mensch immer noch eine Auge drauf haben und muss mir die Frage stellen wie nutze ich dieses unglaubliche mächtige Werkzeug in meinem Sinne?

00:26:15: Ja, dann lass uns mal ein bisschen in die Zukunft schauen.

00:26:17: Was sind denn so aktuelle Sachen an denen ihr arbeitet?

00:26:19: Was sind die neuesten Modelle, die ihr trainiert?

00:26:21: Kannst du uns da vielleicht schon mal einen kleinen Sneak-Preview geben?

00:26:24: Wir hatten ja schon vorhin einmal gesprochen und ich habe gehört... Da gibt es jetzt ein paar multimodale Modelle hier trainiert.

00:26:30: Vielleicht erzählst du dazu ein bisschen was soweit du kannst!

00:26:33: Ja sehr gerne, da bin ich gerade sehr stolz drauf Denn mit dem, was wir bisher gemacht haben war immer so die berechtigte Frage könnt ihr eigentlich auch noch was anderes als das nachmachen, was OpenAI vorgemacht hat.

00:26:46: Und klar jetzt haben wir ein bisschen was geändert in einem Modell und an den Trainingsdatensalz aber mein letztendlich Klassenpäher ist mal hinterher gelaufen.

00:26:51: Was wir jetzt entwickelt haben ist ein Modell, was eben in der Fähigkeit vergleichbar ist GPT-III nur dass du im Promt also in der Art und Weise wie du dir Modellinformationen gibst beliebig Text und Bilddaten vermischen kannst und wir haben gesehen, völlig neue visuelle Konzepte lernen kann mit Viewshot Learning, dass es technische Diagramme Architekturen lesen kann.

00:27:17: Dazu Fragen beantworten kann Es kann Schatzkarten navigieren und es kann eben Dinge verstehen Bild-Kontext und Bildinhalte verstehen die mit klassischen Objekterkennung oder klassischen Modellen eben unlösbar gewesen waren.

00:27:34: Also wir haben also ein paar lustige Bilder ausprobiert, ein Fisch mit Sahnlöcke.

00:27:38: Ein Bär der im Taxi sitzt und so also alles erkannt und beherrscht.

00:27:44: und eben auch da die ganze Flexibilität von GPT-III, also dass ich so was sagen kann wie ich nehme drei Bilder und erzähle dazu eine Geschichte.

00:27:53: Das ist ja gerade was GPT III ausmacht das es flexibel ist und das es generalisiert zu allen möglichen Anforderungen und Situationen.

00:28:02: Das haben wir jetzt mit einem multimodalen Modell gezeigt.

00:28:05: Und das ist grade im Testbetrieb mit ein paar ausgewählten ersten Testkunden und das werden wir jetzt in Kürze auch in Produktion nehmen können.

00:28:15: Und aussalieren?

00:28:16: Ja, bin ich super gespannt zu sehen wenn ihr das sozusagen kompett published und man es vielleicht noch ausprobieren kann.

00:28:21: Das klingt ja ziemlich impressive wie du sagst.

00:28:22: einige sehr spannende Anwendungen die man darauf bauen kann.

00:28:25: was denkst du kommt danach.

00:28:26: Ich meine mir mit sehr schon viel Auch gehört, ich meine die Modelle werden immer größer.

00:28:29: Es kommen immer mehr Daten rein.

00:28:31: Die Modelle wird multimodaler.

00:28:32: Das skalieren sie sozusagen irgendwie along all dimensions.

00:28:34: so was ist noch etwas was du kommen siehst wenn du jetzt sozusagen zwei Jahre drei Jahre in die Zukunft schauen würdest?

00:28:39: Was denkst du ist so die dominante Achse entlang derer sich dieser ganze Bereich weiterentwickeln wird.

00:28:45: also was man sieht es eben und das ist glaube ich auch so ein bisschen des game was microsoft spielt warum Microsoft da so investiert dass unsere white collar work Also unsere Knowledge-Worker, unsere Informationsverarbeitenden Arbeitsschritte und Wertschöpfungsschritte, dass die transformiert werden.

00:29:06: Dass wir also das was wir aktuell als Arbeit sehen wie Art & Weise mit Software interagieren, mit Textfeldern, mit Dropdown Boxen, mit Tastaturen ja mit Klickerklacker und so, dass das zurückgehen wird und es wird dadurch eine ganz neue Dimension der Effizienz und Möglichkeiten aufmachen.

00:29:29: Und das, was mich allerdings besorgt daran ist zum einen natürlich der drohende Kontrollverlust und die Monopolisierung dieser Basis-Technologie aber ähnliches werden wir auch bei den Anwendern sehen.

00:29:42: dass wir sehen es jetzt schon.

00:29:43: Wir haben ein paar DAX Konzerne und mittelgroße Unternehmen wie unglaublich innovativ sind Die am Ball sind in die das verstanden haben Was da gerade passiert Und die versuchen, ihr eigenes Business in ihren eigenen Prozesse zu transformieren und um Schritt zu halten.

00:29:59: Aber das ist eine enorme Herausforderung, dass es schwer zu machen, das Internet-Team aufzubauen, dass diese Technologie überhaupt versteht, dass sie Kapazitäten dafür hat.

00:30:08: Und da die Veränderungen so schnell geht sehe ich durchaus die Gefahr, dass da Teile der Bevölkerung, Teilen der Unternehmen eben abgehängt werden.

00:30:18: Das sehen wir auch.

00:30:19: Ich glaube, das Thema ist so ein bisschen auch die Vermischung wie man das über die Zeit macht und die Leute mitnimmt.

00:30:24: Aber das finden wir sehr gut dass du dich da engagierst weil ich glaube du bist einer der wenigen die da offen drüber sprechen.

00:30:30: also viele denken ja eher an das Geld um vielleicht aber ans Geld zurückzukommen.

00:30:33: Wir sind ja ein bisschen praktisch in diesem Podcast.

00:30:35: auch Du hast ja sehr sehr beeindruckende Runde eingesammelt von sehr sehr namhaften Investoren.

00:30:41: Hast du vielleicht für die Hörer die auch in dem Bereich aktiv sind was Fundraising angeht aber auch für die Zukunft Gerade im KI Bereich so ein paar Tipps und Tricks, wie man damit umgehen sollte.

00:30:53: Weil ja natürlich genau wie du sagst es gibt halt GPT-Three eine Milliarde Microsoft das ist ja ein schöner Case und auch was dazukünftig passieren kann.

00:31:01: aber Investoren also jedenfalls wir sind ja immer sehr praktisch orientiert womit kann man eigentlich jetzt Geld verdienen?

00:31:06: Wie machst du das?

00:31:06: Was würdest du den Leuten empfehlen?

00:31:08: Ich glaube mir hat zwei Dinge geholfen.

00:31:10: zum einen einfach Glück gehabt mit dem Timing.

00:31:13: Ich glaube, die Zeit war jetzt reif für dieses Thema.

00:31:16: Vor fünf Jahren hätte man auf dem Thema nicht so raisen können, glaub ich und dann natürlich meine persönliche Vergangenheit, die mir ein bisschen Kredibilität geliehen hat.

00:31:28: Nichtsdestotrotz aber, glaube ich verändert sich auch die Ventureszene in Deutschland.

00:31:34: Wir haben ja eine sehr ähnliche Investoren wie ESA.

00:31:37: Aerospace ist ja auch ein schöner Moonshot.

00:31:41: Ich glaube, diese Dinge werden möglich.

00:31:42: Wir haben in Deutschland verstanden dass es eben nicht mehr nur lohnenswert ist E-Commerce zu machen oder Produktlösungen die übrigens ja auch wichtig sind.

00:31:55: also wer eine tolle Idee hat für E-commerce soll sie bitte machen.

00:31:58: das ist total wertvoll dass wir da auch da Innovationen haben.

00:32:01: aber ich glaube wir können auch Basistechnologie wir können noch grundlegende Dinge angehen.

00:32:06: Die Stimmung ist entsprechend offen dafür und Da kann ich nur jeden ermutigen zu sagen.

00:32:12: Ich hatte ein paar Gespräche auch, wo Leute gesagt haben sie würden gerne was bereit machen im Bereich Semi-Kondakter ob Sie in die USA gehen sollen und vielleicht ist es noch einen Schritt einfacher eine große Runde zu raisen in den USA.

00:32:24: aber es ist jetzt aktuell in Deutschland möglicher denn je.

00:32:28: Und um vielleicht ein bisschen Formul

00:32:30: zu erzeugen

00:32:30: also four of missing out bei anderen Investoren du sprichst doch bestimmt mit US Investor bereits.

00:32:36: Die haben ja schon Interesse, auch in deutsche Führung zu investieren?

00:32:38: Es war uns bisher sehr wichtig und ich finde es auch eine tolle Leistung oder ein tolles Ergebnis dass es uns gelungen ist die ersten zwei Runden auch in der Größenordnung Deutsch zu raisen.

00:32:49: das finde ich klasse weil die Souveränität eben liegt uns am Herzen.

00:32:53: Ich glaube wenn wir jetzt in der nächsten runde auch einen US Investor dabei hätten dann wäre für irgendwie zehn Prozent im Cap-Table an eines US Investors, wäre die europäische Souveränität trotzdem noch nicht gefährdet.

00:33:08: Das stimmt!

00:33:08: Na gut dann gucken wir mal.

00:33:09: werde ich jetzt danach den Podcast alles anruft?

00:33:12: vielen vielen Dank für deine Zeit.

00:33:14: das war super super insightful wenn man so schön auf Englisch sagt also Ich habe wieder sehr viel gelernt.

00:33:19: auch danke dass du so offen warst zu uns

00:33:21: hat mir viel Spaß gemacht.

00:33:22: Danke

00:33:22: Ja vielen dank Jonas und viel Erfolg und ich bin gespannt auf die News die wir in den nächsten Wochen sehen werden.

00:33:26: Alles klar ich danke euch Ciao.

00:33:28: Bis dann ciao.

00:33:31: Danke fürs Zuhören beim Digital-Kompakt-Podcast.

00:33:36: Du merkst, hier ziehst du massig Wissen für dich und dein Unternehmen heraus!

00:33:39: Wenn du mit uns noch erfolgreicher werden möchtest, abonniere uns auf den gängigen Podcastplattformen – und hey, je größer wir werden, desto mehr Menschen können wir helfen?

00:33:50: Also erzähl doch auch deinen Kolleginnen und Kollegen von uns.

00:33:54: Bis zum nächsten Mal.