Wenn KI das Reißverschlussverfahren lernt

00:00:00: Also im originalen Paper haben die Autoren gezeigt, dass die Agentin so was wie ein Reißverschlussverfahren gelernt hat.

00:00:07: Das wurde den nie gezeigt!

00:00:08: Die haben nur gesehen es ist eine große Straße mit vier Lanes, drei sind geblockt und alle wissen aber richtig

00:00:14: dieses Nadelöhr.

00:00:21: Willkommen zu Autonomobil lieber Andreas.

00:00:23: in der Vorbereitung hast du mir schon geschildert das der aktuelle heiße Scheiß im autonomen Fahren Die closed loop simulation and the new era of data-free autonomous driving models ist.

00:00:36: Für jemand, der jetzt autonomes Fahren spannend findet oder nur die Typ genehmigung begleitet sowie ich was ist denn das und warum reden wir dann darüber?

00:00:48: Ja danke Martin erst mal dass ich heute hier sein darf also freue mich mit ihr hin drüber zu diskutieren und ich denke das Keyword hier is close loop simulation.

00:01:00: Das ist eigentlich nichts Neues und vielleicht diskutieren wir erst mal was das Closed Loop Simulation überhaupt.

00:01:06: Und was ist der Gegenpart, nämlich die Open Loop Simulator?

00:01:12: Also in der Regelungstechnik... also am Ende des Tages haben wir autonomus fahren und es ist ein Regelungs-Technikproblem.

00:01:18: In der Regelungstechnik unterscheiden wir Open Loop Systeme und Closed loop Systeme.

00:01:23: Und Open Loop Systems sind diese dummen Systeme, zum Beispiel ein Toster.

00:01:31: den Hebel runter bei deinem Toaster, du wartest dreißig Sekunden oder wie auch immer du ihn eingestellt hast und in dieser Zeit macht der Toaster eben seinen Job.

00:01:39: Also wir kommen keinen Feedback.

00:01:41: also er macht einfach einen Plan nämlich dreißzig Minuten toasten und danach springt der Toester raus.

00:01:48: Das funktioniert wunderbar für einfache Systeme wie Toaster Waschmaschinen Gartenspringklasse-Systeme usw.

00:01:55: aber eben nicht so gut im Autonom fahren.

00:01:57: jetzt haben wir das ziemlich lange gemacht Und der Gegenteil dazu wäre eben die Close-Lub-Simulation oder ein Close-lub-System.

00:02:08: In dem Close-Slub- System führst du zu jedem Zeitschritt eine Aktion aus und das verändert ja deine Umgebung, also beim Autonomenfahren beeinflusst Du als Fahrer auch die anderen Verkehrsteilnehmer und weißt du, so hast du halt dieses Henne-Eye-Probleme.

00:02:24: Also wie soll ich mich behalten?

00:02:26: Weil ich hier verhalte, beeinfluste auch die andere Verkehrsteilsnehmer.

00:02:31: Das ist eben dieses Close Loop System und dieses Hennerei-Problem zu simulieren, darum geht es.

00:02:42: Und sobald du das mal gut kannst dann hast du eigentlich näher oder weniger auch autonomes Fahren gelöst!

00:02:50: Okay also super spannend.

00:02:52: bevor wir jetzt gleich noch viel tiefer darin eintauchen erzähl doch mal wer du eigentlich bist und was dein Hintergrund ist.

00:03:02: Genau, also ich bin Andreas.

00:03:04: Ich bin jetzt seit kurzem an der Hochschule Koburg Professor für Autonomous Systeme War davor sechs und ein halb Jahre bei Bosch hab dort auch promoviert zusammen mit der TU Darmstadt mit Jan Peters.

00:03:18: Damals war das noch ein bisschen allgemeiner.

00:03:19: damit ging es um Stochastik, dynamische Systeme und Certainties.

00:03:25: Also da gings doch gar nicht so sehr im Autonomus fahren.

00:03:28: Und dann ja nach der Promotion Ich habe das Bosch Universum hineingerückt und hab drei bis vier Jahre im Autonomenfahren gearbeitet.

00:03:39: Verschiedene Bereiche, über die ich jetzt nicht so sehr sprechen will aber ich sag mal so, ich habe da verschiedenste Sachen ausprobiert.

00:03:47: Okay also ganz frisch als Professor für autonome Systeme, habe ich korrekt verstanden?

00:03:54: Und jetzt geht es um Open Loop und Closed

00:03:59: Loop.

00:04:00: Habe ich jetzt verstanden?

00:04:02: Da geht es darum, dass sich etwas an Stoße anschalte und dann ändern sich während des Betriebs die Bedingungen.

00:04:10: Also... Es geht jetzt darum genau beim Autonomenfahren, wenn ich jetzt rechtsabbiege zum Beispiel einfädeln auf der Autobahn ein gutes Beispiel.

00:04:21: Wenn ich ja auf der Autobahn einfädeln möchte also auch die auf die Autobahn auffahren möchte und es gibt Verkehr Dann gibt es ja eigentlich immer so zwei Lösungen.

00:04:29: Also entweder kann ich beschleunigen und hoffen, dass die anderen abbrennen und eben aufhaben oder ich werde langsamer und fädeln mich hinten ein.

00:04:39: Jetzt werde ich ja.

00:04:39: wenn ich beschneunige werden das die Anderen sehen und sie werden dann auch dann sehen hey das ist ein aggressiver Fahrer vielleicht gehe ich ein bisschen vom Gas runter Und dieses Zwischenspiel also diese Interaktionen zwischen den Verkehrsteilnehmern akkurat zu simulieren Das funktioniert jetzt plötzlich.

00:04:58: Das funktioniert jetzt plötzlich und das ist der neue Game Changer bei uns in der Community.

00:05:04: Okay, was heißt denn jetzt plötzlich?

00:05:06: Was war denn früher?

00:05:08: Früher... Also das menschliche Verhalten ist doch chastisch.

00:05:12: also wie ich das ja schon gesagt habe es gibt immer verschiedene Möglichkeiten.

00:05:16: man kann aggressiver Fahrer sein ein passiver Fahrern Man kann ein Auto haben verschnell sein kann etwas langsam sein kann.

00:05:25: Es gibt auch Verkehrszahlen jemals die leben mit den Regeln Enger, manche nicht so sehr.

00:05:31: Und wie man es früher gemacht hat ist... Man hat quasi ein Auto simuliert was das autonome Fahrzeug ist.

00:05:41: also da war dann eben dieser Regler drin und für die anderen hat man Heuristicken angewandt.

00:05:47: Also man hat gesagt die Folgen... Das waren eigentlich wie Züge!

00:05:51: Man hat gesagt sie folgen den Straßenverlauf aber mit unterschiedlichen Geschwindigkeiten zum Beispiel Halsen aber immer Abstand.

00:06:00: Also diese Modelle, diese Fahrermodelle die man früher hatte, die waren sehr vorsichtig, möchte ich mal sagen.

00:06:08: Die haben wenig Unvorhersehens gemacht.

00:06:10: Das war ein sehr akkurates passive Fahrer, die nicht so wirklich das menschliche Verhalten widerspiegeln.

00:06:16: Wir haben ja schon auch manchmal Leute, die überholen in Zonen wo man zum Beispiel nicht überholend darf.

00:06:20: Manche fahren zu dicht auf und so weiter und sofort.

00:06:23: Und diese Variabilität hat man früher nicht drin gehabt oder dieses Kooperative also dass man irgendwie aushandelt.

00:06:29: Wir müssen hier verhandeln.

00:06:30: Wer darf zuerst fahren, weil wir sind jetzt gerade im Detlog drin und diese alten Systeme die waren halt sehr vorsichtig.

00:06:36: Die haben nicht das wirklich menschliche Verhalten wieder gespiegelt.

00:06:40: Und wenn du dann quasi ein System daran validiert oder trainiert hast, hast du eigentlich immer sehr tolle Ergebnisse bekommen, sondern die Simulation hat gesagt ja es passt.

00:06:49: Das funktioniert wunderbar an!

00:06:51: Dann hast du es irgendwie getestet.

00:06:53: also sei es eine andere Simulation in der realen Welt und hast du gemerkt dass es funktioniert gar nicht.

00:07:00: Kannst du dein Beispiel nennen?

00:07:03: Was können ich mir vorstellen, was dann gar nicht funktioniert hat.

00:07:06: Also klassisch wird eben das IDM-Modell verwendet, also das Intelligent Driver Model und es ist so ein Modell, dass ein Set of Differenzialgleichungen einfach hat um das Verhalten von Menschen zu beschreiben.

00:07:25: Die fahren wirklich akkurat auf den Linien, halten den Abstand akkurad und die bremsen immer, machen sie auch immer raum.

00:07:32: Also es gibt zum Beispiel kein Fahrrad der aggressiv ist.

00:07:35: Das gibt's nicht!

00:07:36: Und sobald du mal in eine Situation gekommen bist, wo du mit jemandem diskutieren musstest dann hat das einfach nicht mehr funktioniert.

00:07:45: weil diese Annahme wir verhalten uns eben nicht wie ein Set von Defensivegleichungen als Mensch sondern wir sind individuell und eben stochastisch und es gibt doch manchmal Tage wo ich auch schlecht gelaunt bin und anders war.

00:07:58: Ich kenne es ja, weil wir immer wieder über dieses Thema reden.

00:08:04: Wir haben verschiedene Simulationen da haben wir irgendeinen Verkehrs-Szenario.

00:08:10: ich habe mein Ego Fahrzeug das ist jetzt das autonomische Fahrzeug und dann hab' ich einen Verhalten von anderen Verkehrsteilnehmern.

00:08:15: und dann gucke ich eben mit meinem einprogrammierten Verhalten des autonome Fahrzeugs Wie geht es jetzt mit dieser Situation um?

00:08:25: Und dann variiere ich diese Situation ein Millionmal und dann habe ich meine Simulation.

00:08:32: Jetzt sagst du ja, aber die ganzen Verkehrsteilnehmer darin verhalten sich ja nicht real.

00:08:38: Die reagieren nicht wirklich aufeinander.

00:08:42: Also die reagieren schon irgendwie voneinander.

00:08:44: Die halten zum Beispiel einen gelissen Distanzabstand zueinander Die zeigen alle, dass sie denselben Typ verhalten.

00:08:54: Keiner wird plötzlich ausbrechen und überholen mitten in der Stadt und es nicht erlaubt das.

00:08:59: Kein von denen kann ein komplexes Wendemünöver durchführen.

00:09:03: Keine von denen können einparken.

00:09:05: Das sind eigentlich wirklich dumme Roboter.

00:09:08: Also wie im Prinzip die anderen Autos sich in GTA V vielleicht verhalten, die folgen einfach in einem Skript.

00:09:15: Und man hat das ganz oft gesehen, dass man zum Beispiel gesagt hatte ich trainiere jetzt eine Policy also so ein Striving-Modell eben in Simulator eins.

00:09:23: Das kann Kala sein und dann evaluiere ich in einem anderen Benchmark wie z.B.

00:09:28: Newplan, das ist eben auch so ein Open Source Benchmarkt in der Community und dann merkt man hey das transferiert ja gar nicht.

00:09:35: Wenn ich so bald ich meist dieses Behaviormodell gewechselt habe und jeder Simulator hat so ein bisschen so ein eigenes Behaviour Modell also sie sind alles Heuristiken aber jeder macht es halt ein bissel anders.

00:09:45: Und man hat gelernt, dass die Policies, die man rausbekommt, eigentlich überhaupt nicht untereinander transferieren.

00:09:50: Also wenn ich den Benchmark oder den Simulator gewechselt habe,

00:09:54: war vorbei.

00:09:56: Okay okay also

00:09:57: das ist ein klartes System.

00:09:59: Und jetzt stell dir mal vor, du gehst in die echte Welt.

00:10:02: Da triffst du eigentlich auf sowas wie die Mixtur von allen möglichen Simulatern, die dir nur vorstellen kannst.

00:10:07: Mhm.

00:10:08: Okay also die alte Welt bricht ganz schnell, wenn ich eigentlich was schon validiert hatte als positiv und dann komme Ins Reale oder eine andere Art von Situationen und dann habe ich plötzlich ein Problem.

00:10:19: Und jetzt kann man das lösen, wie macht man denn das?

00:10:23: Ja, das ist jetzt das neue große Thema bei uns in der Community.

00:10:27: am Ausstoß geben war ein Paper vor einem Jahr und es war die Arbeit... Man glaubt, dass kann man weiß, weil es war auch die Arbeit von Apple.

00:10:39: Man hatte ja Apple nicht so auf dem Schirm wenn's immer auf den Umgefahren geht aber Apple hat er eben hatte ein autonomes Driving-Team.

00:10:48: Die haben es jetzt, ich weiß nicht, die sind ja immer sehr verschlossen.

00:10:53: Wahrscheinlich haben sie's nicht mehr vielleicht doch, weil weißt man nicht so genau.

00:10:57: Aber auf jeden Fall Apple hatte hier auch ein Problem was wir als Hochschule irgendwie auch haben oder das University oder alles Freie Akademie.

00:11:06: Wir haben ja keine Flotte also... Wir sind ja kein Tesla, wir haben keine zigtausende Autos auf der Straße rumfahren und wir können ja keine Daten einfahren.

00:11:16: Also wir können schon Daten einfahren aber die Daten die wir einfangen können das ist wie so einen Tropfen von heißen Steinen also im Vergleich zu dem was ein Tesla oder einschließlicher Hersteller hat.

00:11:29: Und dann saßen sie eben vor ihrem Problem und haben gesagt okay wir wollen autonomes Fahren lösen haben aber eigentlich keine Flotte.

00:11:38: Was können wir denn machen?

00:11:39: Und dann kam, naja wir können ja simulieren.

00:11:43: Und Simulation und da drin diese Simulation verwenden um quasi wie bestärkendem Lernen also Reinforcement Learning so Wege zu finden.

00:11:52: das war ja schon etabliert hat aber nie wirklich funktioniert.

00:11:56: Also die Idee war schon lange im Raum hat einfach halt nichts geführt.

00:12:01: Naja weil es mal ein Problem wieder angegangen hat gesagt okay dann re-visiten wir das eben nochmal.

00:12:05: Wir haben die Simulation.

00:12:09: Ne, wir an in der Simulation sind eben N-Agenten und bisher war eben so dass N minus Eins Agenten eben diese Fahrspuren abgefahren sind.

00:12:19: Und ein Agent war eben dieser Special Agent ist halt dieses autonome Fahrzeug.

00:12:23: Der musste eben lernen wie man sich verhält wenn sich die nminus eins anderen Anführungszeichen menschlich verhalten.

00:12:31: Das hat nicht funktionieren und da hat man immer gesagt okay dann drehen wir doch mal den Spieß um.

00:12:37: Eigentlich ist es jetzt eine Kleinigkeit aber das hatte vor allem noch niemand gemacht.

00:12:41: Was ist, wenn wir nicht ein Minus eins realistische Agenten haben?

00:12:46: Sondern wenn alle N-Agenten von A nach B fahren müssen.

00:12:52: Also jedes Agent ist eigentlich ein autonomes Fahrzeug.

00:12:56: Okay.

00:12:57: Weil dann wieder eine digitale Fahrer oder ein menschlicher Fahrt drin ist irgendwie so.

00:13:02: Genau also jedes Fahrzeug ist jetzt quasi ein neuronales Netz und es muss von a nach b fahren Und es darf dabei nicht kollidieren.

00:13:15: Es darf auch nicht aus der Karte rausfahren, es muss zum Ziel kommen um eine Belohnung zu halten.

00:13:21: also wir machen dann Reinforcement Learning, also bestärkendes Lernen und natürlich kann man die Belohnungsfunktion noch beliebig komplex gestalten wie zb ich fahre nicht über Rot Ich halte einen gewissen Sicherheitsabstand, ich fahr in der Mitte der Lane, ich halte an Stop-Lanes ein etc.

00:13:39: etc.

00:13:40: Man kann das eben beliebig Komplex designen.

00:13:44: Ich lasse jetzt einfach die Agenten alle in derselben Welt gleichzeitig fahren.

00:13:48: Und am Anfang funktioniert das auch nicht so gut, weil jeder Agent macht ja nur zufällige Sachen.

00:13:57: Also jede Agent beobachtet was passiert um mich herum und er weiß ungefähr wo sein Ziel ist.

00:14:02: also ich als Mensch kriege auch Input vom Nobby sagt mir ja auch du musst gerade ausfahren oder links oder da rechts das weiß ich ja und die Information liegt dem Agenten auch.

00:14:11: so.

00:14:13: aber am Anfang machen wir nur Quatsch Und es dauert ziemlich lange, bis aus diesem Quatsch irgendwas entsteht.

00:14:20: Aber wenn ich die nur lang genug mit sich selber spielen lasse... Also das Ganze ist immer Selfplay.

00:14:26: Wenn ich lang genug dieses Self-Play Algorithmus ausführe dann, auf einmal macht's Klick und die Agenten lernen wie man sich zu verhalten hat.

00:14:39: Also sie lernen dass alle auf einer Spur fahren sollten also dass sie zum Beispiel auf der rechten oder auf der linken Spur fangen.

00:14:46: Das ist ja eigentlich zu abiträer die lerne, dass ich auf dieser Spur fahren soll.

00:14:52: Dass sich nicht kollidieren soll wie ich reagieren soll wenn jemand plötzlich was unvorhergesehenes macht Denn die Agenten sehen NICHT was sie anderen machen.

00:15:01: Also die sehen quasi schon wo die anderen Fahrzeuge sind.

00:15:03: also wie ich als Mensch ja auch sehe wäre es um mich herum Aber ich weiß nicht... Was ist das für ein Typ?

00:15:09: Mensch im anderen Auto.

00:15:11: Also ich weiss nicht wo er hin will Ich weiß noch nicht Wie nimmt das mit den Regeln.

00:15:17: Das beobachten die Agenten auch, also sie sehen schon was muss sich herum passiert.

00:15:21: Sie sehen aber nicht die Details.

00:15:23: Also die wissen nicht wo sie hin wollen.

00:15:25: und wenn man das sehr lange eben ausführt diesen Algorithmus dann sieht man sowas wie Emerging Behavior.

00:15:33: Die Agenten die da rauskommen lernen nicht nur gerade aufs Fahren oder um die Kurve sondern entstehen wirklich beeindruckende Dinge die man gar nicht beigebracht hat.

00:15:46: Also im originalen Paper Das heißt Gigaflow Robots Autonomie Emerges vom Selfplay.

00:15:54: Haben die Autoren gezeigt, dass sie gerne so aus dem Reißverschlussverfahren gelernt haben.

00:16:01: Also das wurde nie gezeigt!

00:16:04: Die haben nur gesehen, es ist eine große Straße mit vier Lanes, drei sind geblockt und alle müssen aber durch dieses Nadelöhr.

00:16:14: Und es hat sich dann naturell ergeben, dass Sie eben dieses Reiß-Verschlussverfang gelernt haben.

00:16:22: Man hat auch dann gesehen, manchmal hat man verschiedene Blöcke, also Obsteckels in der Straße gesehen und gesagt okay.

00:16:27: Es gibt Fahrzeuge, man hat auch verschiedene Fahrzege, man macht daneben alles was man nicht kennt randomisiert.

00:16:34: Also es gab zum Beispiel Fahrzeige die sind lang und dünn, also eigentlich wie ein Motorrad Und es gab doch noch große Fahrzeiche so aus dem Bus Und manchmal ist ein Fahrzeug eben auf der Straße gefahren und es wusste das muss zu diesem Punkt fahren.

00:16:46: Wenn es aber zum Beispiel ein großes Auto war, hat sie gemerkt ob leider kommen wir nicht hin ist aber dann erst zu weit vorgefahren und hat dann gemerkt ich muss ja wieder umdrehen.

00:17:02: Und solche Sachen wie Freepoint U-Turn sind einfach auch rausgekommen.

00:17:07: also die haben wirklich gelernt wie sich komplexe Wände manöver durchführen natürlich auch Parken usw.

00:17:13: das ging alles damit.

00:17:17: Man hat auch ein, also dieses Behaviour was rausgekommen ist.

00:17:20: Das war auch überholen manöver.

00:17:22: Bei manche Fahrzeuge hat man schneller gemacht als andere.

00:17:24: das hat man eben zufällig gemacht um diese Variabilität auch reinzubekommen.

00:17:28: Manche Fahrzeuger die eben schneller waren haben dann auch gesagt okay

00:17:31: überhol'n

00:17:32: weil der andere ist mir einfach zu langsam.

00:17:34: und dann haben sie auch geguckt beim Überhol-Manöver war ich mal ausgeschert und wenn incoming traffic gekommen ist und habe gemerkt hoppla da schaffe ich nicht mehr wieder zurück geschert Oder wenn es eben frei war, auch wirklich dann durchgefahren.

00:17:48: Und das ist halt wahrlich doch Hastizität und das ist wirklich Diversizität.

00:17:55: Dieses Beheber hat man davon noch nie gesehen.

00:17:58: Das war so was wie ein Aha-Moment.

00:18:01: Wie man das noch gemacht hat um eben noch mehr Diversität reinzubekommen ist zu sagen jeder Agent bekommt eine unterschiedliche Belohnung also eine unterschiedlich gewichtete Belohnungen.

00:18:12: Manche Agenten bekommen sehr hohe Strafe, wenn sie über Rot fahren.

00:18:17: Manche Agenten bekommen eine ganz kleine, wenn Sie über Rot fahren.

00:18:21: Maniche Agenten bekommt eine hohe Strafung, wenn die zu schnell fahren, manche nicht.

00:18:25: Also man hat das quasi unterschiedlich gewichtet und so hast du dann die Möglichkeit gehabt auch diese Randomness im Human Behavior dort eben wiederzukehren.

00:18:36: Und... Das war das große Ding.

00:18:41: Gleichzeitig wurden dann auch Benchmark Results mit dem Paper veröffentlicht.

00:18:45: also man hat dann In so ziemlich allen etablierten Benchmarks, die man bei uns eben in der Community hat.

00:18:52: State of the Art Results gehabt.

00:18:54: State Of The Art Zero Shut.

00:18:57: Also kein einziger menschlicher Datenpunkt ist reingeflossen.

00:19:01: alles quasi aus dem nichts und das war natürlich dann extrem beeindruckend.

00:19:07: Und jetzt ist es das riesen Ding wo sich jeder drauf stürzt.

00:19:10: Okay also nochmal zum verstehen Es gibt ein Benchmark in dem verschiedene trainierte AD-Modelle miteinander verglichen werden und das, wo jetzt keine menschliche Daten durch Menschen generierte Daten reingekommen sind war das Beste.

00:19:34: Ist es ein rein digitaler Benchmark oder ist er auch irgendwie auf der Straße?

00:19:43: Das was wir vor einem Jahr gesehen haben, das war ja noch in der abstrahierten Welt.

00:19:48: Also das war zwei D. Man hat quasi ein bisschen so über geht die A-Zwei.

00:19:54: Man guckt von oben drauf und sieht es einfach an der Vogelperspektive aber viele Planer fahren damit also die Planning Community fährt schon oft damit weil damit kann man viel lösen.

00:20:05: Wenn ich von oben darauf gucke wie ein Vogel dann kann nicht mehr viel löse.

00:20:10: Und die Benchmarks sind gemischt.

00:20:13: Also es gibt Benchmarks, die sind rein digital du schon gesagt hast.

00:20:17: Es gibt auch Benchmark, sie basieren auf echten Daten.

00:20:20: also wie zum Beispiel ich weiß jetzt nicht genau welche Benchmax das waren aber da waren auch welche mit Human Lock Replay.

00:20:25: Das bedeutet ich fahre durch eine echte Stadt Ich zeichne auf wer um mich herum ist und Zeichnet dann eben diese dreiektorien auf und das Verhalten von allen anderen Menschen.

00:20:39: Und im Benchmarkt gebe ich quasi diese iniziale Situation.

00:20:43: Also alle um mich herum sind quasi die Menschen und ich bin jetzt das autonome Fahrzeug.

00:20:49: Jetzt bin ich aber als autonomes Fahrzeug nicht mehr, folge nicht mehr meine realen Trajektorie, die ich als Mensch gefahren bin sondern ich sage dem Algorithmus okay was würdest du jetzt tun?

00:21:00: Und es muss einen eigenen Weg finden während aller anderen Agenten, alle anderen N minus eins um mich herum der originalen Traektorie erfolgen wie die Menschen damals gefahren sind.

00:21:12: Also, es muss dann quasi schon lernen mit den Menschen mitzufahren.

00:21:16: Und das hat's gekonnt!

00:21:18: Okay... Die anderen auch.

00:21:21: also... Vielleicht noch

00:21:21: ein paar Zahlen?

00:21:22: Ja, bitte.

00:21:22: Also vielleicht noch ein Paar Zahlen.

00:21:25: Also in ihrer Simulation haben die zwischen zwei Kollisionen im Durchschnitt drei Millionen Kilometer gehabt.

00:21:38: In den Benchmarks, die sie hatten gab's Kollision Aber alle Kollisionen, die sie reportiert hatten waren Kollissionen die unvermeidlich waren.

00:21:48: Also dann zum Beispiel Artifakte der Aufzeichnung.

00:21:51: also man wird falsch gespornt.

00:21:54: Man wird quasi schon In-Collision gespornd oder du bist in einer Situation gesporn worden wo du einfach nicht mehr rauskommen kannst.

00:22:00: Du musst kollidieren!

00:22:02: Das sind eher so Recording-Artifakte.

00:22:06: Im Prinzip in den Benchmarks waren sie collision free und in ihrer Simulation hatten Sie drei Millionen Kilometer Zwischen zwei Inzidenzen.

00:22:15: Das sind beeindruckende Zahlen.

00:22:18: Was sind denn andere Zahlen?

00:22:20: Also, wenn wir jetzt den Menschen allgemein haben... Ich bin mir nicht sicher wie das ist.

00:22:26: Es gibt noch eine Statistik die sagt, polizeilich gemeldete Crashes.

00:22:29: in den USA fangen wir etwa achthunderttausend Kilometer zwischen zwei Kollisionen.

00:22:36: Aber da sind polizeilich gemeldetekollision.

00:22:38: Okay!

00:22:39: Das sind nicht diese ganzen Kleinen drin, Nur mit der Versicherung oder unter der Hand klärt.

00:22:46: Okay, also ist das schon mal sozusagen eine Art Mindest-, also Mindestquote und wenn man von der ausgeht dann waren die jetzt in diesem Fall diese Self-Play Fahrzeuge ungefähr viermal so gut?

00:23:04: Also wenn du zum Beispiel städtischen Verkehr hernimmst San Francisco hast du alle von zwanzigtausend Kilometer einen

00:23:10: Crash.

00:23:11: Au revoir!

00:23:12: Und die Fahrzeuge sind eigentlich alle statistisch gefahren.

00:23:16: Also in den Benchmarks, so wie im Surfplay und diese Gesamtstatistik USA.

00:23:22: also als Mensch ich lege ja deutlich mehr Kilometer auf der Autobahn auch zurück.

00:23:27: Auf der Autobahne passieren eben weniger Unfälle pro Kilometer als in der Stadt.

00:23:32: Deswegen ist es ein bisschen schwer das jetzt zu vergleichen.

00:23:34: aber man kann sagen so einen Faktor zehn waren die definitiv sicherer ohne Human Data.

00:23:44: Also bin ich jetzt ein bisschen sprachlos, aber es gibt ja natürlich offensichtlichen Haken oder zumindest heute eine Hürde.

00:23:53: Wie kriege ich denn so was in den Fahrzeug rein?

00:23:56: In Fahrzeuge die wir dann hier auch nutzen können.

00:23:59: Es gibt ein großes Aber... Ich habe schon gesagt das funktioniert auf der Boxwelt und Reinforcement Learning hat Das Problem, dass sich wirklich viele Samples braucht damit es zu was kommt.

00:24:20: Man hat früher Reinforcement-Learning für Autonomousfahren verwendet und man hat eben solche Sachen wie Kala verwendete, das ist so eine richtige Dreadewelt die ich gerindert habe oder war die andere.

00:24:29: Was

00:24:29: ist Reinforcement Learning?

00:24:31: Oder für Reinforcement Training?

00:24:33: Reinforcement learning ist quasi wenn der Algorithmus selber herausfinden muss wie er ein Problem löst.

00:24:40: Ich denke das bekannteste Beispiel ist AlphaGo von DeepMind, als eben DeepMIND dieses Go-Spiel gelöst hat.

00:24:48: Da hatte auch ein Algorithmus nur gegen sich selber eigentlich dieser WD, nur gegen sie selber go gespielt und man hat dabei selber dann eigene Taktiken entwickeln.

00:24:59: Und generell alles wenn man drüber spricht Superhuman Capabilities das ist immer... Hat immer eine Prise Reinforcement Learning drin also der Algorithmos muss selber herausfinden Durch Trial und Error, was funktioniert?

00:25:10: Was nicht.

00:25:11: Und dabei belohnen wir gutes Verhalten... Also wir geben nur noch die Belohnungsfunktionen vor.

00:25:15: Dabei belohren wir gutes verhalten und bestrafen schlechtes Verhalten.

00:25:20: Okay!

00:25:21: Ich glaube, die initiale Frage war ja, was ist das große Arbe an dem Ding?

00:25:26: Die Idee Reinforcement Learning zu verwenden hat man schon davor gehabt.

00:25:29: Man hat aber hauptsächlich in drei D-Simulatoren gearbeitet, die eben langsam waren.

00:25:34: Und damit es irgendwie anfängt, etwas zu machen, was sinnvoll ist Braucht man schon etwas Zeit.

00:25:42: Und in Kala und Konsorten... Man muss schon wissen, was man macht.

00:25:49: Man muss das Resultat schon erwarten.

00:25:50: Es ist nicht so selbstverständlich da was Gutes rauskommt.

00:25:53: Und bisher hat es einfach noch nicht so funktioniert, wenn man auch diese Zeit nicht mitgebracht hat dort bei Kala.

00:25:58: Ohne diesen Zwei-D-Simulatorn hat man's jetzt unglaublich schnell gemacht.

00:26:02: Also man hat quasi einen Kilometer kontinuierliches Fahren simuliert Das ist quasi die Distanz von der Sonne bis zum Saturn, also einmal durch so ein System durchgefahren.

00:26:17: Okay!

00:26:18: Das hat man simuliert und das sind viele States Transitions.

00:26:22: Dadurch dass es zwei D ist kann man das wunderbar skalieren und man hat es tatsächlich mit relativ bescheidenem Comput hinbekommen, was das skaliert hat.

00:26:31: Das ist so bescheidener Computer sogar wir als Universität das machen können.

00:26:35: Also es ist wirklich wenig.

00:26:38: Also das ist tatsächlich so ein bisschen ein Gleichmacher, also jeder kann es eigentlich jetzt machen.

00:26:45: Also jetzt vielleicht nicht eine Privatperson aber ich sage mal jede Firma, jede Universität hat genug Ressourcen um das zu tun.

00:26:52: Jetzt ist aber die Simulation ja zwei D und das reale Fahren ist eben nicht zwei D. Es ist die Frage wie brücke ich dann meine drei D-Welt in der ich eigentlich lebe mit dieser Zwei D Welt?

00:27:10: Das weiß man noch nicht so richtig.

00:27:13: Also es gibt verschiedene Methoden und jeder probiert sich ein bisschen aus, also es wurde jetzt auch noch nicht zu viel publiziert.

00:27:22: Ich spreche nur über das was eben publiziert wurde.

00:27:25: Es gibt zwei Paper die publiziert wurden drei Paper die die publizierten wurden Die sagen wie brücke ich denn diese Idee mit meiner idealen?

00:27:40: Eine Idee, also das ist ein Paper von Applied Intuition und Xiaomi.

00:27:47: Also die sind auch alle erst aus dem Monat.

00:27:50: Was sie gemacht haben, die haben gesagt okay dieser zwei D-Planer den ich rausbekomme der ist wirklich cool.

00:27:58: Den muss sich irgendwie wieder verwenden.

00:28:00: Und ich habe eigentlich meinen dummen drei D Planer der bisher eigentlich noch nicht so gut funktioniert hat.

00:28:05: Und was man versucht hat war eben das Wissen von einem zwei D Planern in den drei D Planner zu transferieren, indem man eben Simulationen aufgebaut hat die in drei D und zeitgleiche in zwei D existieren.

00:28:19: Also man kann quasi der dreideplaner kann zu jedem Zeitschritt den zweideplanern fragen hey was sollte ich denn hier am besten machen?

00:28:28: Und er versucht quasi sein Verhalten zu klonen.

00:28:32: Das ist so ein bisschen so ein Workstream Was wir jetzt von Applite und Titian und Xiaomi gesehen haben.

00:28:38: Der andere Workstream dem wir gesehen haben es die sogenannte.

00:28:42: Also ich würde jetzt sagen, dass das so D- one comma fünf, wie die Simulation nennt manche.

00:28:46: Also ist es weder zweite noch dreideh?

00:28:50: Sondern ich gehe eigentlich in diese Boxwelt rein.

00:28:53: also in diese zweideh Boxwelt geh' ich rein Schau aber nicht mehr von oben drauf sondern schaue jetzt quasi von der Perspektive also Von der Fahrperspektive in die Box Welt rein Ist dann so ein bisschen wie Minecraft.

00:29:08: Es ist immer noch simpel zu simulieren Aber es ist immer alles boxwältig.

00:29:14: Also das Real World ist da nicht so drin, also was jetzt wirklich funktioniert weiß man noch nicht.

00:29:19: Aber quasi dieser Transfer von diesem extrem guten ZWT-Planner in den drei D-Planer, das ist jetzt so das nächste große Ding.

00:29:31: Manche haben auch schon... Da darf ich jetzt kein Name nennen aber es wurde eben von unterschiedlichen Bushfunks sagt, wenn man diesen zwei D-Plana direkt deployt Also wirklich das Auto fahren lässt.

00:29:47: Man kann das schon mit ein bisschen Patrix machen und einfach alles, was drei D ist, einfach weglässt.

00:29:54: Also man meppt die reale drei D weil direkt in zwei D und ignoriert einfach den Rest sozusagen und lässt ihn fahren, dann funktioniert es wirklich gut.

00:30:04: also auch da zero shut in der echten Welt, dass bisher reported wurde scheint sehr gut zu funktionieren.

00:30:12: okay Ich habe da noch ein paar Detail-Fragen, aber ich wollte glaube nochmal einen Schritt an der Stelle zurückgehen.

00:30:20: Du hattest ja vorher gesagt man tut sich schwer mit den klassischen Modellen tatsächlich was Verlässliches auf die Straße zu bringen?

00:30:30: Jetzt kätzliche Frage!

00:30:31: Aber Waymo und Wave und WeWrite fahren doch schon autonomen.

00:30:46: Sie geben über ihren Stack immer nur so viel Preis, wie sie eben Preis geben wollen.

00:30:52: Und nachdem diese Paper rausgekommen sind und die Community das irgendwie gemerkt hat okay das ist ein Ding, dass Schwenen-Force-Mod Learning wirklich wichtig ist.

00:31:02: dann gab es ein paar Wochen später einen großen Weimoblockpost und da wurde auch der Community breit getan, dass Schweden-Forze-MOD Learning daher an ihre ganzen Systems ist.

00:31:12: Aha, okay.

00:31:14: Also ist nachvollziehbar dass die großen Firmen natürlich nicht so völlig offen darüber reden was hier ihre geheimen Zutaten sind.

00:31:24: Sie wollen ja irgendwo ein Patent was auch immer ihr halt ihr wissen sichern.

00:31:30: Okay also das ist eigentlich die Antwort.

00:31:32: oder deswegen ist die Antwort jetzt auf die freide.

00:31:33: ich stellte Ja die können's und die nutzen das auch scheinbar genauso.

00:31:38: Aber okay bedeutet es dass dir...also mein Bestand ist nach fährt weimau auf hochgenauen digitalen karteln und wenn ich das jetzt richtig verstehe wird deren far gehören sozusagen digital trainiert mit diesem reinforcement learning und nicht auf der straße.

00:32:01: oder vielleicht nehmen die noch mal inputs von der straß und sagen so eine situation die will ich jetzt doch mal nachtrainieren um das besser zu machen.

00:32:08: oder verstehe

00:32:12: Also am Anfang habe ich ja gesagt, wir brauchen können Human Data.

00:32:14: Das heißt bisher auch sehr stark verteidigt.

00:32:17: und jetzt komme ich wieder zu Human Data zurück.

00:32:21: Es ist nicht so dass wir keine Human Data brauchen.

00:32:25: Vielleicht erst mal die Karte das ein bisschen simpler.

00:32:27: Auch beim Reinforcement Learning ist es natürlich besser wenn wir genau in der Stadt trainiert haben, an der wir später fahren weil dann kann man ja an diesen, es gibt ja manchmal ein paar Kreuzungen Tricky, ja das andere.

00:32:44: Und wenn ich quasi schon alles ausgespielt habe was da so passieren kann und schon ganz viele Situationen mir im Kopf ausgemalt hab, was schief gehen kann dann bin ich besser vorbereitet, wenn es passiert also diese digitale Karte diesen digitalen Klohren zu haben.

00:33:00: das ist extrem wichtig.

00:33:04: Jetzt habe ich gesagt wenn ich das Zero-Statt deploye dann kriege ich sehr gute Ergebnisse.

00:33:08: aber die Ergebnisse sind immer noch nicht so dass Konfidential sagen kann, dass sich jetzt das Problem gelöst ist.

00:33:16: Denn am Ende brauche ich immer noch Human Data und ich muss trotzdem diese drei D-Welt noch beachten.

00:33:22: Also was damit gelöstes ist alles was Reaktives fahren ist.

00:33:28: stelle dir damit vor Ich fahre in einer Kolonne von Autos nur mit Das wird wunderbar funktionieren.

00:33:33: Etwas fällt auf die Straße Und ich muss ausweichen Dass es gelöst.

00:33:38: im Kind springt auf die Strasse also irgendein Objekt.

00:33:40: Es springt auf die Straße.

00:33:41: Ich muss ausweichen, dass es das funktioniert.

00:33:43: also all diese reaktiven Fahrsituationen sind gelöst.

00:33:47: Aber wenn ich über so Fahrsituations nachdenke jetzt kommen wir in die Langtels.

00:33:54: Wenn ich jetzt über

00:33:55: das

00:33:57: Szenarien dich sehr selten sehe

00:34:00: Okay

00:34:02: Manchmal sehe ich eine Situation wo ich nachdenken muss und dann lang mit den zwei die Welt eben nicht mehr.

00:34:09: Ein Beispiel, also man kann ganz viele Beispiele konstruieren.

00:34:13: Gibt es auch eine tolle Arbeit die heißt The Fail To Drive von Andreas Geiger aus Tübingen.

00:34:19: Das sind eben in drei D-Szenarien die so konstruiert wurden wo ich meinen Verhalten anpassen muss weil sich was ändert.

00:34:27: Zum Beispiel Hochwasser.

00:34:31: Wie soll ich das ein zwei D darstellen?

00:34:34: Ist es ne Pfütze oder ist er schon zu tief?

00:34:38: umkehren sollte.

00:34:39: Also da muss ich mir wirklich die Situation anschauen und dann entscheiden, was zu tun ist.

00:34:47: Andere Bilder sind so... Ich habe ein Plakat irgendwo stehen auf dem ein Mensch abgebildet ist der vielleicht joggt Richtung Straße.

00:34:57: Das Detektionssystem würde jetzt auch sagen hoppla das ist ja ein Mensch.

00:35:03: Aber wie legt er sich jetzt auf die Straße?

00:35:05: oder ist es ein Plakat?

00:35:09: spielen die Kinder auf der Straße, die da einfach laufen und ich muss denen hinterherfahren ohne sie zu überholen.

00:35:18: Weil die sich einfach da auf der Strasse bewegen irgendwelche Schlaglöcher usw.

00:35:22: Also oder auch Sachen wo ich eben die Interaktion mit dem Mensch brauche.

00:35:26: also es kann ein Verkehrspolizist sein den kriege ich ja einen Zwei D gar nicht dargestellt.

00:35:30: also ein Verkehrspolizist der mich dann durchfängt und sagt okay go oder stopp warte Das kann ich in zweiter Jahr gar nicht deuten.

00:35:42: Also es gibt so viele Sachen, wo ich eben wirklich dann Verständnis in die Szene reinbringen muss und auch dieses drei D reasoning auf Wiederbrauch ein ganz gutes Beispiel.

00:35:53: Ich glaube da gab's mal eine Schießerei vor alle Autos angehalten haben außer der Weymouth ist durchgefahren.

00:36:02: also dieses Longtail diese seltenen Szenarien wo ich wirklich Weltverständnis mit bringen muss da wird human data auch wichtig Und da wird es wichtig und auch in der Simulation, denn ich malen mir ja alles Mögliche ans Szenarien durchspielen.

00:36:23: Manche Sachen sind eher Konvention als fest vorgegeben.

00:36:28: Also beim Einfädeln gibt's eigentlich schon Offizieregeln aber Konventionen wie sie in der Praxis gehamtert ist manchmal ein bisschen unterschiedlich.

00:36:39: Dieses Szenarienerstellung, also was möchte ich auch hin?

00:36:42: Also einmal in drei D. Ich denke das ist jetzt relativ klar manchmal muss sich eben World Knowledge mitbringen.

00:36:46: aber auch in zwei D. Muss nicht mehr überlegen, was für Szenario möchte ich denn überhaupt ausspielen und wenn ich mir einfach irgendwas überlege irgendwelches Zeug dann hat es ja irgendwann gar keine Hand und Fuß mehr.

00:36:58: Ich kann natürlich immer Szenarin schwerer machen und schwerer Machen und den Algorithmus mehr und mehr Challenges Aber irgendwann konstruiere ich hier noch irgendetwas, welches Zeuge was ja komplett unrealistisch ist.

00:37:09: Also ich muss das ja schon auch irgendwo wieder grounden.

00:37:13: Und zu sagen, okay eine Prise oder... Muss es verankern an realen Daten?

00:37:18: Also ich brauche... Was ich definitiv sagen würde, ich brauch weniger Daten deutlich weniger jetzt aber ich brauch immer noch welche.

00:37:28: Okay und wie geht's da weiter?

00:37:31: was sind die nächsten Schritte.

00:37:33: also das Problem der Kopplung mit den klassischen Intent- also klassischer, die sind jetzt auch nicht alt Manche Firmen haben damit erst angefangen.

00:37:45: Aber mit dem End-to-End-Stack, das ist jeden Fall ein Thema und es ist jetzt eben so eine Pandora Box geöffnet und jeder stürzt sich da jetzt drauf.

00:38:02: Ich denke dass Reaktive fahren wird mehr oder weniger als bald gelöst sein.

00:38:09: Das ist dann auch für jeden frei zugänglich.

00:38:12: Das Long-Tail Reasoning, das ist da dann wo wir jetzt arbeiten.

00:38:17: Was da weitergeht werden wir sehen.

00:38:20: Das ist eben das sehr schwierige Problem.

00:38:23: Ich denke gerade an eine Typgenehmigung in Deutschland und Europa.

00:38:29: Jetzt sagt die Typgenehmungsbehörde okay du hast jetzt ein Fahrzeug der soll genehmigt werden.

00:38:38: Kann es denn folgende Situation, zeigt mir mal dass du die folgenden Szenarien kannst.

00:38:47: Kann ich das dann hier auch einfach machen?

00:38:53: Das heißt ich würde dann halt sagen okay Liebes KBA, das wollt ihr haben Ich werfe das in meine Simulation rein und dann zeige ich euch wie ich das mache.

00:39:05: So müsst ihr mir jetzt vorstellen.

00:39:08: Also wenn ich weiß, was das KBA mich dann später fragt.

00:39:11: Dann kann ich ja schon sehr genau darauf trainieren.

00:39:14: Prüfung findet sie auf öffentlicher Strecke statt?

00:39:16: oder ist die Streckel davor bekannt?

00:39:21: Das ist noch nicht so ganz eindeutig.

00:39:23: bestimmt von der Grundidee braucht es bekommt das kba eine Genehmigungsantrag vom Hersteller wer das nachher genehmen lassen möchte Und er beschreibt da sein System und bekommt, und dazu kommt dann vom technischen Dienst der ist das komplette Gutachten über Safety Case.

00:39:43: Über alles was dazugehört zu diesem Autonomfahrendsystem in dem dann zum Beispiel drin steht diese ganzen Prüfergebnisse gibt es die ganze Simulationsergebnisse.

00:39:55: Dann waren wir vielleicht auf einer Prüfstrecke, dann waren wir noch im realen Fahrt und wir sehen es jetzt als in Ordnung.

00:40:03: Jetzt hat das KBA die Möglichkeit, entweder zu sagen OK.

00:40:09: Das scheint für uns ausreichend zu sein was da drin beschrieben wird oder wir möchten hier jetzt aber noch mal so ein Paket Schnürchen daraus drum machen und jetzt zeig mir nochmal genau dies und jenes und usw.

00:40:23: Das steht dem KBA von der heusigen Rechtslage her frei ob es diese Option nutzt.

00:40:31: Und die Idee heute ist dass man sich überlegt beim KBA, was passieren denn für Fälle in Deutschland?

00:40:45: Also eine deutsche Verkehrssituation, die vielleicht typisch für Deutschland wäre.

00:40:52: Und dann, was sich der Klischee-Ball rollt auf die Straße... Man könnte ein Kind dahinter erwarten, was da hinterherrennt wie was machten da jetzt dieses Fahrzeug oder andere Dinge, die man sich ausdenken könnte.

00:41:07: Ich würde erwarten dass reaktives Fahren unabhängig von der Szene nicht gelöst werden sollte.

00:41:16: das Problem dieser Ball ist ja das klassische Beispiel.

00:41:20: ich glaube mittlerweile kann es auch jeder lösen weil er ständig aufdacht.

00:41:25: aber diese dieser Fall wo ich eben über meine also ich muss ja viel wissen Das ist jetzt vielleicht ein bisschen über Exposed dieses Beispiel, aber wenn ich das hier zum ersten Mal hören würde um dann eine gute Entscheidung zu treffen.

00:41:38: Mich müsste ja viel um meine Welt herum wissen.

00:41:40: also ich müsste ja viele mehr als nur Verkehr wissen und so wissen dass dem Ball ein Kind hinterherläuft möglicherweise ein kind hinterher laufen wird.

00:41:48: Und Ich denke gerade diese Prüfung von diesen Long-Tales... Also das war früher mal ein Long-Tell nicht mehr weil es überexposed war.

00:41:56: Aber das ist quasi rübergewandert in die normalen Daten.

00:42:00: Aber diese Abfragen von genau diesen Beispielen, wo ich nicht reaktiv also nicht rejektiv fahren muss.

00:42:10: Das erfordert sehr viel Kreativität vom KWA.

00:42:14: Man muss sich wirklich Gedanken machen denn irgendwann habe ich ja meine Fragenkatalog durch und es gibt ja trotzdem Buschfunk und das wird dann irgendwie von A nach B die Information weitersegern aber kontinuierlich mit neuen Fragen aufzutreten.

00:42:29: Ich denke... Das ist die Aufgabe des KBAS.

00:42:33: Und das ist ein Problem, was eigentlich keiner sehr vernünftig momentan gelöst hat.

00:42:41: Es gibt eben Ansätze wie man das angeht.

00:42:42: ja aber das ist jetzt finde ich die nächste wahre große Herausforderung.

00:42:47: Aber reaktives Fahren sollte unter allen Szenarien von jedem als möglich sein.

00:42:58: Ich glaube, das hat mal Elon Musk irgendwann zu dem Satz gesagt.

00:43:02: Der Longtail ist viel länger als man das vermutet hätte oder als die meisten das einschätzen würden.

00:43:08: Irgendwie so ein Satz?

00:43:09: Ja, das Problem beim Longtail... Also ich muss rückschließen über eine Verteilung schließen, die ich per Definition eigentlich nicht kenne.

00:43:21: und es gibt da jetzt eben zwei Ansätze bzw.

00:43:26: einen Ansatz ist relativ populär dass man sagt, ich bringe eben diese Vision Language Modelle also die Large-Language-Modelle jetzt eben mit ins Spiel rein.

00:43:35: Und diese Modelle, die sind ja so schlau... Die Hoffnung?

00:43:40: Diese Modelle ist nicht so schlawig, dass sie einfach damit alles erschlagen.

00:43:45: Aber da ja die Definition ist es eine Verteidigung, die ich persönlich nicht kenne.

00:43:50: und Intelligenz aus unseres Menschen auszeichnen ist eigentlich das was wir tun wenn wir in einer Situation sind, die wir nicht kennen.

00:43:59: Also auswendig lernen ist eigentlich keine Warte von Intelligenz.

00:44:05: Ich denke schon, dass das eben uns unterscheidet und die VLAs und Lasch-Englisch-Modelle verhalten sich eben in Situationen, in denen sie nicht wissen was sie tun sollen.

00:44:14: Die Verhalten sind ja trotzdem sehr konfident.

00:44:17: also Claude oder Gemini sagen ungern hey weiß ich nicht sondern die sagen konfident eine falsche Antwort Und es bleibt immer noch die Aufgabe von uns zu erkennen.

00:44:32: Also ich denke, das ist eine gute Idee, WLAS und large language Modelle reinzubringen weil sie eben einfach den Longtail verkleinern.

00:44:41: also die Covern viel.

00:44:44: trotzdem bleiben immer noch Szenarien.

00:44:46: Die können immer nicht alles wissen.

00:44:49: Es werden immer noch Cases bleiben wo auch diese Modelle eben versagen.

00:44:54: Manchmal haben sie das Beispiel einfach die Modellität nicht, also zum Beispiel die Schießerei.

00:45:00: Die können ich hören.

00:45:03: Das Auto hat eben kein Mikrofon was nach Hause ist.

00:45:07: Manche sagen Können Sie ihn wenn ich wahrnehme?

00:45:10: Und dann liegt es immer noch an uns zu detektieren dass wir in einer Situation sind, die jetzt wirklich uns unbekannt ist.

00:45:20: und dann sind wir in diesem klassischen Minimal Risk Manual und so sagen hey stopp ich weiß nicht mehr was zu tun ist.

00:45:24: Ich halt dann aber das ist jetzt wirklich schwer das auch zu detektieren, dass ich in einer Situation bin die mir unbekannt ist.

00:45:33: Ich bin ja in einem sehr abstrakten Raum unterwegs.

00:45:36: Also und ich glaube die Erwartung kann doch auch irgendwo gar nicht sein, dass ein autonomes Fahrzeug alles nur erdenkliche oder nicht erdenkliche handeln kann weil es kann ja einen Mensch auch nicht.

00:45:50: und was ist überhaupt mein Anspruch an das Fahrzeugmache?

00:45:52: Das

00:45:54: ist im Prinzip musst du, um zu sagen ich bin hundertprozent sicher musste eigentlich AGI haben.

00:46:02: Also General Artificial Intelligence weil du müsst ihr über deine ganze Welt Rückschlüsse ziehen können und das geht nicht.

00:46:13: also vielleicht geht es irgendwann.

00:46:15: also will ich nicht ausschließen aber momentan ist das unsere Mächte

00:46:20: sehr spannend.

00:46:21: Wave fährt hier in Leonberg mit mehreren Fahrzeugen.

00:46:28: Die sehe ich immer auf meinem Arbeitsweg und wenn ich hier so eine Gegend rumfahre.

00:46:32: Und die fahren ja herum, um Millionen an Kilometern einzufahren, um nachzuweisen dass ihr das System halt sicher ist.

00:46:39: Zumindest ist es für meine Interpretation.

00:46:42: Wenn ich jetzt diese Close Loop Simulation nutze, brauche ich dann diese ganzen Fahrkilometer?

00:46:50: Ich denke nein!

00:46:55: Also wenn ich Testflotte habe... Dann würde ich sie auffahren lassen, wenn sie schon da ist.

00:47:00: Warum nicht?

00:47:03: Einfach nochmal um Daten einzuspielen und zu verifizieren.

00:47:09: Aber diese Simulation, die ist deutlich mehr wert aus Daten... Und das ist nicht nur die zweite Simulation auch die dreidee Simulation.

00:47:18: Das Thema geht ja noch viel weiter.

00:47:19: Es gibt nicht verschiedene Flavors von Dreideesimulationen über die wir jetzt noch gar nicht geredet haben also Cousinsplatings, Worldmodels etc.

00:47:28: Aber worauf ich verweisen möchte, ist auch eine Arbeit von Huawei, die vor drei Monaten veröffentlicht würde.

00:47:37: Das hat sich World Engine genannt und in dem Paper... Ich glaube diese sind Shanghai gefahren.

00:47:46: Und die haben in dieser chinesischen Großstadt eben viele Daten aufgenommen und haben eine Prolicy trainiert, die an diesen realen Fahrlocks von der Huawei Flotte eben trainiert wurde und gleichzeitig haben sie als vergleich eben diesen drei d also das war noch vor der zweideh Zeit dass wir die dreidäge getölt werden erstellt, der eben auch interaktiv ist.

00:48:08: Und ich habe mir davor schon gesagt sehr interessant wie man es koppelt zwei D und drei D. aber die haben eben nur diesen drei D drin gehabt und haben den interaktif gemacht Also der verkehrste.

00:48:19: Das Auto konnte in dieser Dreidä-Welt angegroundet an realen Daten also man für ideale Kreuzungen nachgebaut Kreuzungen konnte das Modell interagieren und gucken was passiert, wenn es A oder B macht.

00:48:32: Wird es besser oder schlechter die Situation?

00:48:36: Und sobald du diese Simulation einfügst... Also die haben's nicht bis zum Ende skaliert.

00:48:44: also wir kennen nicht die gesamten Daten aber Die haben achtzigtausend Stunden realer Farlogs aufgenommen.

00:48:51: Es ist nichts.

00:48:52: Also diesen achtzig tausend stunden durch dieser Stadt gefahren Und sobald du diese Simulation einbringst, kannst du deine Fahrtaten um mehr als neunzig Prozent verringern.

00:49:06: Bekommst aber mehr als doppelso gute Performance.

00:49:10: also diese Collision Rate, also wie oft kollidiert dein Fahrzeug?

00:49:12: Wie oft musst du eingreifen?

00:49:14: Also man muss ja auch noch korrigieren hat sich gleichzeitig halbiert und das waren reale Fahrsaten.

00:49:21: also das ist einer der wenigen publizierten Werte die man herauslesen kann.

00:49:25: dann die anderen Herstellers sind ein bisschen.

00:49:27: Ja verschlossener und hoher weih hat auch nur einen teilpreis gegeben.

00:49:31: also wir wissen nicht wie das skaliert wenn man das jetzt auf die gesamte flotte geht.

00:49:34: es waren eben nur ein teilt teile ihre zu einer experiment.

00:49:40: Also ist noch mal die frage um dass ich das richtig verstanden habe.

00:49:42: die haben zwei vorgehensweisen gegenübergestellt.

00:49:47: einmal ich mache es klassisch oder halt ja so wie es bis er so macht.

00:49:54: ich fahre die kilometer ein Ich trainiere da zum Beispiel end-to-end meine Kaidat rauf.

00:50:02: Also wie war die Situation und wie wurde dann gefahren?

00:50:07: Und dann weiß diese Blackbox in meinem Fahrzeug halt, wie man fährt... Ja,

00:50:13: die klont mein Verhalten quasi!

00:50:15: Die klont meinen Verhalten.

00:50:16: okay also ich mache einfach nach was der Mensch Gefahr gemacht hat.

00:50:19: aber jetzt können ja neunzehntigtausend von den achtzig tauten Kilometern total langweilig gewesen sein.

00:50:26: Stattdessen oder das Gegenteil wäre jetzt, ich nehme das auch.

00:50:29: Aber ich kann viel weniger nehmen und lasse in einer... Und baut es in der digitalen Welt nach.

00:50:36: Lasst dann diese verschiedenen KI-Agenten miteinander spielen rausfinden wie man da zu agieren könnte.

00:50:45: Das Ergebnis ist dann viel besser als das eingefahrene geklohnte Verhalten.

00:50:52: Spannend!

00:50:54: Also skalieren?

00:50:56: Also es gibt ja auch Scaling Law Papers von Nvidia und Vamo, glaube ich.

00:51:02: Die zeigen ja schon dass wenn ich unendlich viel Daten habe das sich auch irgendwann alles kann.

00:51:11: Aber der Aufwand wird halt immer diese... also ich fahre zuerst die ersten Neunzig Prozent zu lösen, brauche ich X Stunden.

00:51:20: Von neunzig auf neunneunzig brauche hier schon aber vielleicht zehnmal X. von neun neunzig auf neunneunzig, neun Prozent der Szenarien brauche ich jetzt nicht hundert X, sondern vielleicht schon tausend X dieser Daten.

00:51:30: Also mein Datenbedarf explodiert exorbitant.

00:51:36: also für jede Null Komma Neun die ich nachhängen möchte für die Szenare wie viele Schafle ich schon muss sich auf einer logarithmischen Skala quasi Daten einfahren und das skaliert ja irgendwann nicht mehr.

00:51:52: Ja okay genau Okay, weil ich immer exponentiell mehr Daten brauche.

00:51:59: Und ich stelle mir jetzt vor dann kommt also jemand der das zu entwickelt hat mit diesem Self-Play und sagt guck mal wir können es ganz toll!

00:52:07: Wir haben da gar keine Unfälle.

00:52:08: und dann bedarf ich gesagt ja schön dass ihr das behauptet aber jetzt fahrt erstmal die achte hunderttausend Kilometer dass ihr... Dass ihr mir zeigt, dass da nichts passiert.

00:52:19: warum brauche ich dir jetzt nicht?

00:52:21: Oder warum brauch ich weniger?

00:52:23: Also Ich denke, die schaden nicht.

00:52:26: Also gerade als öffentliche Gesellschaft möchte ich ja auch nochmal ein Real World Check haben und das ist als Ex-Center beobachter deutlich leichter zu verifizieren denn ich kann es ja mit meinen eigenen Augen sehen wenn die mir sagen hey in meiner Simulation habe ich das hinbekommen dann stehe ich an der Prätole da sich die Simulation prüfen müsste.

00:52:53: Dafür bräuchte ich aber Sauce Code Zugang.

00:52:58: Das möchte ja auch niemand machen.

00:53:00: und gleichzeitig die Simulation zu prüfen, im Ammo-Dakt.

00:53:05: Da sitzen sehr viele gut ausgebildete Ingenieure, finde ich es sehr lange Zeit daran damit das so funktioniert.

00:53:13: Ich denke eine öffentliche Prüfgesellschaft hat keine Möglichkeit das wirklich zu reduzieren.

00:53:20: also das ist wirklich komplexer Code an dem man lange Zeit später immer noch viele Bugs findet, also kann der aus Erfahrung sprechen.

00:53:29: Okay und wie weiß ich danach jetzt tatsächlich in einer Genehmigungssituation die Sicherheit nach?

00:53:35: Also wenn ich eine öffentlich zugängliche Simulation hätte im öffentlichen Benchmark den ich als TÜV quasi auch oder GTI wie auch immer eben Prüfkörper pflege dann wäre das einzig was ich mir vorstellen kann.

00:53:55: Ansonsten halte ich die Simulationsdaten, die quasi der Konzern hier zeigt für mich sehr vertrauenswürdig um ehrlich zu sein.

00:54:04: Also man weiß nicht wie viel Data liegt drin, sondern wie splitten sie die Daten?

00:54:10: Was ist eine Coalition und was ist nicht eine Coalition?

00:54:12: haben Sie darauf vielleicht genau trainiert?

00:54:16: also es gibt so viele Sachen.

00:54:17: manche sicher ist auch keinem was unterstellen aber passieren einfach so leicht Fehler und Versehen oder Bucks.

00:54:24: Das ist unmöglich zu prüfen.

00:54:25: Deswegen denke ich schon, dass der Realtest also für ein Zulassungsverfahren sinnvoll ist statt das Co.

00:54:32: Und die alternative Wert, dass man eben als staatliche Organisation dieses Prüfsystem zur Verfügung stellt.

00:54:39: aber dann muss sich mir auch überlegen wenn die das unendlich viel fragen können und ständig queryingen und damit interagieren, dann können sie ja auch einfach die Testfragen auswendig lernen irgendwie öffentlich machen, aber doch nicht zu öffentlich.

00:54:57: Also ich darf denn nicht sagen was das genaue Prüfe also etwas wie ein Secret Leaderboard?

00:55:02: Also es gibt schon Public Benchmarks und ich denke wenn eine Prüforganisation auch einen Public Benachmark zur Verfügung stellen würde, als Beispiel Berlin oder Stuttgart irgendwelche ausgewählten Situationen und jeder Hersteller oder was noch immer oder Zulieferer kann dort sein Code submitten und zeigen, wie würde er sich verhalten?

00:55:28: Das wäre schon sehr transparent.

00:55:32: Das wär schon eine tolle Sache!

00:55:34: Ja also ich finde es super spannend weil das sind ganz andere Gedanken, wie wir dort gerade diskutieren.

00:55:43: Also ich möchte völlig wertfrei sagen, wir sind da halt in einer...in der Gedankenwelt, wie man halt Homologation seit seit Jahrzehnten macht drin.

00:55:56: Wir haben Anforderungen und die müssen geprüft werden, dann schreibt man das runter und wenn sie bestanden sind ist halt die Genehmigung da.

00:56:06: aber dieses Konzept ist so schwierig umzusetzen auf ein Fahrzeug oder Fahrer schon eingebautes.

00:56:15: Da bin ich echt gespannt wo wir am Ende wirklich rauskommen.

00:56:20: Wenn jetzt heute jemand zur Typgebungsbehörde kommt und sagt, ich habe hier was bitte genehmigt ist.

00:56:24: Dann wird man das halt bei einem ersten Anlauf wo alle Beteiligten so einen Vorgang zum ersten Mal machen, nach bestem Wissen und Gewissen machen.

00:56:35: Was sind die Nachweise?

00:56:35: Was kann man daran sehen?

00:56:37: Ist es nachvollziehbar?

00:56:38: Ist das ausreichend?

00:56:40: aber wer weiß wie sich ein Genehmigungsprozess für etwas über die Zeit ändert weil man vielleicht so völlig neue Techniken hat dass dieses alte Konzept, das ist die Anforderung des der Wert für Bestanden jetzt gibt es eine Genehmigung einfach gar nicht mehr irgendwie richtig anwendbar.

00:57:00: Also ich denke ein status Schema ist nicht ausreichend.

00:57:07: Man kann das einfach, ich will jetzt in meiner Verfügung sagen hacken und Ich müsste mir schon überlegen wie ich das mehr challenging mache Und auch herausfordernder, aber ich denke der Real-Welt-Test ist wichtig.

00:57:27: Nicht mehr so sehr für die Entwickler, aber umso wichtiger für die Prüforganisation.

00:57:33: Ich kann halt den Realwelt Test nur unglaublich wenig oder einen ganz kleinen Ausschnitt von irgendwas testen?

00:57:41: Ja, ich kann es nicht zuwild treiben!

00:57:44: Also ich kann diese ganzen richtigen Extremsituationen eben nicht erprüfen.

00:57:48: Was passiert, wenn ich an der Autobahn bin?

00:57:51: Es passiert vor mir einen Unfall bei Hundert kmh und es überschlägt sich.

00:57:56: Kann nicht herrlich prüfen!

00:57:59: Kann ich nur eine Simulation machen?

00:58:01: Ja das kann ich simulieren ja.

00:58:03: Okay Ich bin sehr gespannt wie das kommt weil ich weiß noch von einem Jahr war ich bei der Konferenz fürs autonome Fahren in Erdingen Und da ging's eben um die End-to-End Modelle.

00:58:19: Die sind so viel besser als die klassische deterministische Programmierung von Systemen, dass wir eigentlich die Zukunft in End-to-End Modellen sehen.

00:58:29: Weil sie einfach soviel besser sind.

00:58:30: nur die Nachweisbarkeit ist halt schwer.

00:58:34: und jetzt kommt da oben drauf nochmal was obendrauf

00:58:41: mit den... Da kommt ja mehr das obendrau.

00:58:43: Es ist ja nicht nur das End-To-End Model es ist auch das Language-Modell unweigerlich für die Long Tales mit reinkommt.

00:58:50: Dann kommt die Closed Loop Simulation, der auch noch mit rein.

00:58:53: Also es sind ja zwei Sachen, die reinkommen und das Feld bewegt sich gefühlt in Quartalen und als Gesetzgebung erstmal natürlich schon hinterher.

00:59:09: also es ändert sich wirklich schnell.

00:59:14: Ja, also man ist drastisch hinterher.

00:59:16: Wenn ich schaue die EU-Verordnung, zwanzigzwanzig, vierzehn sechsten zwanzigh wurde zwanzich zwanziger verabschiedet.

00:59:25: Also in Kraft getreten zwanzigszwanzigg und wurde ja Jahre davor geschrieben.

00:59:30: Das heißt wir sind sehr schon über vier Jahre her seit das überhaupt mal fertiggeschrieben wurde Und seitdem hat sich die Welt ja schon echt deutlich weiter gedreht.

00:59:47: Sehr spannend, wie wir da, wie das nachher funktionieren soll.

00:59:51: Aber ich meine ein Ansatz in den Regularien ist ja dieser neue Ansatz von wegen der Hersteller muss halt oder der, der nachher eine Genehmigung erlangen möchte, neuen Regularien selber sozusagen sein Ziel festlegen.

01:00:08: Was ist denn der Benchmark, der Mensch zum Beispiel gegen den er jetzt das Fahrzeug antreten lässt in der Sicherheit?

01:00:15: und wie weißt du das nach?

01:00:17: Und ich glaube zumindest diese Idee her statt dass die ganze Zeit irgendwelche Testfälle definiert oder so ist die Bestehensquote und dann hat man Genehmigung sagen können wir nicht von der Geschwindigkeit her weil können ja nicht so schnell reagieren, dass mir eben das qualitativ sagt okay Du wirst eine Genehmigung dann sag mehr Was ist dein Ziel?

01:00:35: Wie hast du es erreicht?

01:00:37: und macht zeigt mir so schlüssig, dass ich dann einen Unterschrift runter machen kann.

01:00:42: Zumindest an der Stelle hoffentlich etwas zeitloser unterwegs.

01:00:48: Ich denke auch das das ein gut Ansatz ist indem ich nicht die Techniken direkt vorschreibe wie ich zu prüfen habe oder auch zu entwickeln sondern eher so aus wie Prinzipien Und wie du schon gesagt hast, am zeitlosen Prinzipien und ich muss einfach glaubwürdig nachweisen.

01:01:14: Dass sich quasi mein Ziel erreicht.

01:01:17: Ich darf dabei so viel Nachfragen... Also ich kenne mich jetzt auch nicht aus mit der Verordnung, ich bin eben kein Experte in Prüfen.

01:01:25: Ich würde das jetzt mal vermuten dass es so geschrieben wurde, dass ich so viele Nachfragend dafür möchte bis ich guten Gewissens sag ja das passt die sollen mir dabei dann auch so viel zeigen, wie ich für notwendig halte.

01:01:39: Natürlich hat man das Risiko der Willkür auf der anderen Seite.

01:01:45: Man könnte jetzt sein, dass eine Plüfer den einen Hersteller bevorzugt und den anderen benachteiligt oder den ein unnötig gängelt an den andern einfach durchwinken.

01:01:55: Das ist halt das Risikopter anderer Seite.

01:01:59: Durch die dicht klar festgeschriebenen Testfälle könnt ihr sowas reinspielen?

01:02:04: Ja, theoretisch praktisch sind diese Themen der Unparteiligkeit natürlich die höchsten Codexe nachdem wir arbeiten.

01:02:12: Aber ich gebe dir recht, das muss irgendwo verankert sein in den reinen Vorschriften, dass sowas auch prinzipiell vermieden wird.

01:02:22: Ich habe mir jetzt noch aufgeschrieben, In Malmö mit Organisator des ECCV Workshops war es die Merchant Behaviors for Achieving Robust Autonomy.

01:02:34: Und da waren's auch die Player dabei, Waymo, NVIDIA, Wave Applied Intuition hat das doch gesagt und sucht es glaube ich Amazon wenn ich das richtig zuordne.

01:02:45: Ja so ein Co-Organisator.

01:02:50: Ich meine du bist super tief im Thema drin aber dir ja auch?

01:02:55: Was waren denn da für dich jetzt noch mal ganz spannende Erkenntnisse?

01:02:59: oder sagen wir gesagt auch das war jetzt gleich auch unbekannt, weil es wäre super aktuell mit vor wenigen Wochen jetzt gerade.

01:03:06: Also als wir den Workshop... also die Autonomous Driving Planning Szene, wie trainiert man Planer?

01:03:15: Ich hatte das Gefühl dass wir lange Zeit ein bisschen auf der Stelle getreten sind.

01:03:18: ja in der Modelle kam rein aber ehrlich gesagt die war nicht viel besser.

01:03:23: und eben seit diesem Gigaflow-Paper hat sich hier verändert und wir hatten diesen Workshop eigentlich schon ziemlich in diese Richtung gelenkt.

01:03:33: Also ECCV, das war der European Computer Vision Konferenz wo es war und das ist schon einer der Flagship Konferenzen in der Maschinenleunig-Szene.

01:03:40: also da gehen schon die Große hin, Google und ja dann eben du auch genannt hast bei EMO etc... Und als wir den Workshop organisiert hatten haben wir uns gedacht ist es vielleicht ein bisschen Tunischi.

01:03:52: Macht das überhaupt schon jemand?

01:03:54: Das ist ja noch gar nichts raus, also wir hatten einen Workshop-Proposal sechs Monate nach der Publikation geschritten und was ich eben erstaunlich fand war die Einigkeit wie alle gesagt haben dass das nächste große Ding und jeder gesagt hat er arbeitet daran ausnahmslos.

01:04:12: Also ich hätte auch eher gedacht dass es so ein bisschen Uneinigkeit gebe Wenn man halt schon was hat, was funktioniert, dann möchte man es ja oft nicht hergeben.

01:04:25: Aber das war gar nicht so.

01:04:26: Also eher ... Was mich erstaunt hat, weil wirklich die Einigkeit tourale gesagt haben okay Das ist das nächste große Ding wir werden daran arbeiten.

01:04:32: Okay Spannend also das reiht sich genau in dessen ein wird dass du sagst es ist ja ein Vierteljährliches Thema wie sich dir diese ganze Branche und die ganze Entwicklung weiterentwickelt.

01:04:44: Und das ist jetzt also ein klarer Trend Dass das Reinforcement Learning Eine der Schlüssel für die weitere Entwicklung zu sein scheint.

01:04:56: Ja, vielleicht noch eine Konsequenz Für alle.

01:05:03: Also bis vor ein paar Jahren War man eben King wenn man eine große Flotte hatte Wenn wir an Tesla waren Wollt mal viele Daten gehabt ist so toll An hessischer Konzern Die hatten ja auch in der Regel viele Daten Deutsche Konzerne war ein bisschen hinterher Ein Startups sowieso.

01:05:23: und Diese neue Technologie, das wird ein bisschen so einen Gleichmacher.

01:05:32: Also es ist jetzt eine Technologie.

01:05:36: Es gibt auch Open Source Code und Leute können das verwenden.

01:05:38: Der Open Source code ist nicht so perfekt wie die Leute den in-Haus haben also der schon nochmal ein bisschen reinstecken.

01:05:47: Aber er wird ja auch über die Zeit besser.

01:05:50: Und trotzdem haben wir diesen Gleichmachler, diese Technologie wird für jeden zugänglich Also für jeden Player, also man braucht nicht mehr so viel Computy früher.

01:06:02: Man kann das wunderbar auf einer einzigen Note, also das sind quasi acht GPUs... Auf acht GPU's bei einem Tag durchdringen und dann hat man einen schönen Planer und der fährt auch neun-neinzig Prozent der Zeit wunderbar!

01:06:14: Der kann schon von A nach B fahren und viele Systeme geslösen, wo man früher lange lange nachgedacht hat.

01:06:20: Und ich brauche nicht mehr solche Daten.

01:06:26: Ich denke jetzt schon dass viele Player Der Abstand zwischen den unterschiedlichen Playern wird kleiner werden.

01:06:35: Es wird sich demnächst nicht mehr um die Norsen drehen und wird spannend, weil jetzt kann man auch als europäisches Land mithalten mit den Großen.

01:06:49: Das war gut!

01:06:52: Ich hoffe es

01:06:54: ja.

01:06:54: Ich glaube das hoffen wir alle sehr.

01:06:59: Bevor wir zu einem Ausblick kommen, noch eine Frage und zwar.

01:07:05: Das geht jetzt ja viel ums Verhalten von so nem Fahrzeug was du beschrieben hast.

01:07:12: Was ist mit so Sachen wie hier?

01:07:17: Dass das Fahrzeug erstmal wahrnehmen muss, was überhaupt um es rum passiert durch ein Lieder, durch Radare, durch Kamera Und dann müssen die Daten... Wie sagt man?

01:07:27: Sensor Merging heißt es glaube ich.

01:07:30: Und dann gibt es noch Sachen wie Wettereinfluss und vielleicht auch eine Blendung von dem Sensor.

01:07:37: Und solche Sachen, die jetzt irgendwie mit dem Reihen verhalten wenn ich mal erkannt habe was um mich herum ist nicht direkt unbedingt etwas zu tun haben oder kann das alles irgendwie damit auch abgehakt werden?

01:07:54: Wir kommen dann wieder auf den Punkt zurück, wie fusioniere ich dieses Verhalten, die Faltensebene?

01:07:59: Also ich muss erst mal in die grundlegenden Verhaltensarten lernen und dann im nächsten Schritt ist momentan quasi so der Konsensus.

01:08:05: Fusionier dich mit all diesen Themen, die du jetzt eben genannt hast.

01:08:08: also Überblendung Kamera ist dreckig.

01:08:11: Ich sehe einfach was nicht weil es eine Occlusion gibt.

01:08:18: Und da komme ich dann wieder Auf die End-to-End Modelle eben zurück.

01:08:23: Also entweder ich habe eine Simulation, die schon vieles abdeckt.

01:08:25: Aber die wird nie alles abdenken in zwei D., aber idealerweise würde ich dann eben wieder auf diese End-to-End Modelle also die Perception und Behavior in einem Modell Unifying und ich den Jointly trainieren kann.

01:08:39: Dann komme ich eben wieder nach dieser Modelle zurück.

01:08:41: Und wie ich dieses Wissen von diesem Zwei D Planer auf diesen drei D Plana übertragen, das ist eben dann wo wir am Anfang gestartet haben.

01:08:49: Das ist doch nicht so ganz klar.

01:08:54: könnte man sagen, ja gut jetzt muss ich eben unendlich viele Daten einfahren um all diese Szenen also die Sensoren überblende und occlusion in drei D etc.

01:09:03: Um diese alle abzudecken.

01:09:08: Da bin ich nicht mehr so halb zu.

01:09:09: Also natürlich brauche ich muss ja wissen was zu erwarten ist.

01:09:13: also hier und da brauch ich ein paar Hins.

01:09:15: was für typische Fehler Modi habe ich?

01:09:18: aber sobald ich so ein paar Fehler Modi also Überblendung, Occlusion, Track Viel Kaliberierung

01:09:24: etc.,

01:09:25: etc.

01:09:25: kann man sich ja austoben, also ein paar Fehler Modi betrachtet habe dann kann ich ja wieder in meine drei D Simulation gehen und sagen okay Ich renne da jetzt hier und da nur einzelne Szenen wieder nach und simulieren In der dreidee Simulation eben die Vertreckung über Blendung Etc.

01:09:43: Und Feintune.

01:09:45: mein End-to-End-Modell wird es nur noch.

01:09:47: Also Die Dreideesimulation hilft mir, um eben all diese Aspekte von Perception Errors abzudecken.

01:09:59: Es scheint also eine Thematik zu sein für die es Lösungsansätze gibt, die vielleicht noch nicht ganz gelöst sind aber das ist eher eine Sache der Kategorie ja in Arbeit.

01:10:15: Gibt es denn Aspekt von dieser Entwicklung, die heute noch ungelöst sind.

01:10:24: Also Fragestellung auf die noch keiner wirklich eine Antwort hat?

01:10:29: Das war ja der Longtail über den wir gesprochen haben und da so mehr dann wieder bei dem Thema AGI also

01:10:37: General

01:10:37: Artificial Intelligence, wie ich mit den Longtails umgehe.

01:10:41: So ist eigentlich keiner richtig.

01:10:46: Jeder hat ein bisschen zu sein Züppchen und wenn ich nicht weiß was sich tun soll Was mache ich dann?

01:10:54: Das ist eine sehr große... Aber das ist ja auch nicht immer die richtige Lösung.

01:10:59: Was ist wenn ich nicht mehr bremsen kann, was ist wenn ein Bremsen überhitzt sind?

01:11:06: Was ist, wenn ich keine Ausweismöglichkeiten mehr habe?

01:11:08: Was is' wenn das Fahrzeug schlittert auf Eis?

01:11:11: Also es gibt so viele Situationen wo ich auf der Autobahn kann ich auch nicht stehen bleiben!

01:11:16: Das ist ein Obvious Case.

01:11:18: Wenn ich auf die Autobahn nicht weiß was ich tun soll sollte ich auch nie stehenbleiben.

01:11:22: Also es gibt ja so viele Szenarien, die ich mir spinnen kann.

01:11:25: Stehen bleiben keine Situation oder eine Lösung ist.

01:11:28: Okay.

01:11:28: Und dieser Longtail und zu wissen was man tut, wenn man nicht weiß, was man tut... Das ist die große Frage her.

01:11:38: Wäre eine Antwort Möglichkeit darauf zu sagen, ihr gut, ich muss ja nicht alles perfekt können?

01:11:43: Und Mensch kann's ja auch nicht!

01:11:47: Ist mir einfach

01:11:48: egal?!

01:11:50: Ja,

01:11:51: und ich nehme den Kauf.

01:11:54: Das ist dann das Restrisiko?

01:11:58: Interessanterweise hat man ja lange gesagt dass es auf der Autobahn viel einfacher ist auch zu fahren wie in der Stadt.

01:12:04: Ich bin mir jetzt aber nicht mehr so sicher.

01:12:06: zumindest ich fühle mich sicher dass zur Assistenzfunktion auf der autobahn deutlich einfacher sind weil ich die Möglichkeit habe dem menschen wieder zurückzurufen oder halt nur.

01:12:18: Es gab ja auch Lösungen von deutschen Erstädter auf der Autobahn, aber die waren ja auch nur in sehr kontainten Weiern.

01:12:23: Sie waren ja nicht für alle Autobahnenabschnitte und alle Baustellenvarianten zulänglich.

01:12:32: Ich denke tatsächlich dass autonomes Fahren in der Stadt sehr gut funktionieren wird weil ich einfach im Notfall immer anhalten kann.

01:12:43: Während auf der Autobahn eben dieses Notfallsanhalten für die Logiteil ist eben keine Lösung mehr.

01:12:49: Und also ich persönlich würde mich deutlich sicherer im Autonomenfahrzeug in der Stadt fühlen als auf die Autobahn.

01:12:57: Abgesehen davon gibt es auch andere technische Probleme auf der Autobahn, aber die wollen wir jetzt nicht eingehen.

01:13:01: Okay!

01:13:03: Also wie sagt man so schön mindblown?

01:13:08: Vielen Dank dafür.

01:13:09: Ich finde super, super spannend.

01:13:12: Was denkst du denn, gerade wenn diese Entwicklung und generell anschaust das autonome Fahren Die klassische Freiheit, ich gerne.

01:13:22: Wo ist über deinen fünf Jahren?

01:13:23: Was glaubst du denn?

01:13:25: Also ich denke der Abstand zwischen den Plären wird deutlich geringer sein.

01:13:29: also Ich hoffe dass wir auch eine europäische Antwort bis dahin also in Europa entwickelt auf eben ausländische Firmen haben.

01:13:41: Dass wir auch mithalten können das könnte ich mir gut vorstellen Eben weil es jetzt viel Gleichmacher geben wird.

01:13:51: Wo werden wir sein?

01:13:52: Also ich denke autonome Fahrzeuge werden in den meisten großen Städten vorhanden sein.

01:13:56: Ob europäische Lösungen sind weiß ich nicht, das wird wahrscheinlich so ein bunter Blumstrauß aus allem sein aber Autonome-Fahrzeuge werde nix exotisches mehr sein.

01:14:06: also besonders in den Städte werden die autonomen Fahrzeugen oft sehen wie gut sie fahren und Oft haben wir in autonomen Fahrzeugen immer noch einen Human Operator, der im Notfall eingreift und das Fahrzeug bleibt stehen und sagt hilfe Hilfe übernimmt.

01:14:22: bitte sag mir was ich tun soll.

01:14:25: Wie gut und flüssig das funktioniert das werden wir sehen.

01:14:30: aber es wird für die meisten Städte ein Standard sein und ist es schwierig Zukunft herzusetzen.

01:14:39: Wir unterschätzen meistens die langfristige Zukunft Die Kurzflistige.

01:14:45: Ja, von daher.

01:14:47: Den spruch mal ich auch sehr genau an der Hochschule Koburg was ist für dich das nächste Thema?

01:14:55: Was wird dem wie euch widdet?

01:14:58: also eigentlich so ziemlich alle Themen die ich angesprochen habe.

01:15:03: Also die Themen ent-autonomous driving sind nach wie vor relevant und daran arbeiten wir auch in der Absicherung von diesem System zu erkennen, ob ich in der Situation bin und die gefährlich ist.

01:15:17: Aber Selfplay ist mein persönliches Lieblingsthema.

01:15:24: Daran werden wir arbeiten.

01:15:25: Wir haben auch eine kleine Modellstadt in Koburg, in der eben nichts Schlimmes passieren kann.

01:15:32: Also wir haben auch reale Versuchsverzeuge, aber auch eben eine kleine Modelstadt.

01:15:35: Und in der kleinen Modelstadt können wir eben

01:15:38: auch

01:15:40: edge cases staging Und wir können die Algorithms direkt deployen.

01:15:44: Wir haben kein TÜV-Prozess zwischen, alles ist contained und safe.

01:15:51: Das ist schon cool!

01:15:54: Und ansonsten denke ich weiter an den Open Source Lösungen arbeiten für SafePlay und eben noch die Gap schließen.

01:16:02: Sobald wir die Bugs auch so ausgemerzt haben zusammen, das wird dann an das End to End Deployment gehen.

01:16:09: Momentan behandeln wir End to end eher gesondert.

01:16:13: Also das ist so ein Mikrokosmos, man sei vielleicht so ein anderer aber die Faszinierung wird dann das Interesse.

01:16:20: Okay wenn jetzt sich jemand denkt total spannend was der Andreas da macht?

01:16:25: Da müssen wir uns mal connecten.

01:16:27: Was ist da der beste Weg?

01:16:30: Ich denke LinkedIn ist relativ straight forward.

01:16:33: ansonsten es gibt doch nicht so viele Adresse von mir online.

01:16:35: also ich bin denke ich ganz leicht zu finden.

01:16:38: sehr schön Andreas, vielen Dank für diesen spannenden Einblick in diese ganz brandaktuelle Entwicklung, wie du geschildert hast.

01:16:46: Paper von vor Wochen und Monaten, maximal einem Jahr.

01:16:50: Und auch noch der Antwort auf die Frage warum das Weimau scheinbar irgendwie schon kann, wo sich andere scheinbare noch schwer tun?

01:16:59: Ich bin sehr gespannt, wie es weitergeht und natürlich hier in meinem Steckenpferd, dass tatsächlich mal genehmigt werden kann, wie das funktioniert.

01:17:09: Ich bin gespannt, wo das hingeht.

01:17:10: Vielen Dank für den tiefen Einblick!