Ethik, KI und das Märchen vom Trolley-Problem

00:00:00: Alle, die mit dem Thema zu tun haben, haben die Erwartung dass es den Straßenverkehr insgesamt sicherer machen wird.

00:00:06: Und jetzt ist aber die Frage wie wird denn dieser Nutzen auf die verschiedenen Beteiligten am Verkehr verteilt?

00:00:15: und da ist es mir als Ethikerin natürlich wichtig das nicht eine Gruppe probieren benachteiligt wird.

00:00:24: Wir kommen zur

00:00:25: Autonomobil.

00:00:26: heute habe ich eine ganz spannende Person hier bei mir mein Gast Ethikerin im autonomen Fahren, die Isabel Hernandez Cabrera.

00:00:38: Isabel, vielen Dank, dass du da bist!

00:00:40: Ich freue mich auch sehr, dass ich heute bei dir sein darf.

00:00:43: Isabel, ich glaube wenn das nachher jemand sehen oder hören wird dann würde er darauf klicken oder würde es sehen.

00:00:50: und denkt sich Ethikerin?

00:00:53: Ethik ja das ist doch das mit diese Oma und Kind.

00:00:59: was ist denn eine Ethikerinn im Rahmen des autonomen Fahrens.

00:01:03: Ja, also eine Ethikerin, jemand die jetzt vom Background her quasi einen Teilgebiet der Philosophie studiert hat.

00:01:11: Also da gehört es jetzt erstmal theoretisch hin.

00:01:14: Das heißt ich habe ein Master in Ethik und im autonomen Fahren kommt man hin dadurch dass ich ja eine jahrzehntelange Geschichte bei Mercedes habe zuerst den anderen Funktionen Und ja, dann habe ich Ethik studiert und dann hat man mich gefragt, hast du Lust aufs autonome Fahren?

00:01:34: Und warum hat man nicht gefragt weil wir das bei Mercedes so angegangen sind dass wir ein interdisziplinäres Team hatten.

00:01:43: Also das heißt nicht nur die Ingenieure

00:01:46: sondern

00:01:47: auch Kollegen der Zertifizierung, die du ja gut kennst, der Produkt Sicherheit und dann eben Rechtsanwälte und mich als Ethikerin.

00:01:56: Und letztendlich haben wir alle Systementscheidungen über das automatisierte Fahrsystem gemeinsam getroffen.

00:02:06: Warum alle gemeinsam?

00:02:08: und warum mit mir, weil ja von automatisierten oder autonomen Fahrzeugen alle betroffen sind?

00:02:14: Also nicht nur diejenigen, die sich in das Fahrzeug bewusst hineinsetzen und sich entscheiden, autonom zu fahren sondern alle anderen, die das vielleicht nicht entschieden haben!

00:02:24: Und um da quasi allen Fragestellungen und allen Bedürfnissen gerecht zu werden, gibt es eben so Menschen wie mich die dann vielleicht nochmal eine ganz andere Perspektive einbringen als eben die anderen Disziplinen, die ich genannt habe.

00:02:38: So Menschen wie dich?

00:02:39: Das heißt so einen Ethikerin oder ein Ethiker im Rahmen von Autonomenfahren ist dann also was Übliches?

00:02:45: Du hast ja so ganze Kollegen... Kreis?

00:02:48: Das wiederum nicht.

00:02:51: Es gibt relativ viele eher auf der wissenschaftlichen Seite, also das heißt die an Universitäten das ganze Thema theoretisch beleuchten.

00:03:00: in der Praxis und in der Industrie gibt es sehr wenige würde ich jetzt mal sagen.

00:03:06: Das nimmt jetzt ein bisschen zu durch das ganze KI-Thema, da spielt ja Ethik auch eine große Rolle.

00:03:11: also das heißt da nimmt auch die Erwärmnis und die Bereitschaft vielleicht auf Seiten der Unternehmen eher zu... solche Menschen quasi in ihr Team einzubeziehen.

00:03:22: Bei Google, also Waymo, hat meines Wissens dann auch ein großes auch wissenschaftlich tätiges Team wo auch Ethiker drin sind.

00:03:32: wie weit die Praxisei gebunden sind da fehlt mir der Einblick bei uns das wir ja unmittelbar in die Entwicklung eingebunden haben.

00:03:39: da kenne ich zumindest Niemand.

00:03:41: Ethik ist ja kein unbekanter Begriff, aber kannst du es mal kurz einordnen für jemanden der jetzt vielleicht auch hier Zuhörer ist und eher so Technologien nirrt?

00:03:50: Was sollte man denn als Begriffsdefinition von Ethik im Kopf haben um das auch vielleicht richtig zuzuordnen oder eben nicht falsch zuzuordnung?

00:04:00: Ja danke!

00:04:01: Also die Frage mag ich immer gerne weil das tatsächlich für viele so ein bisschen ein Mysterium ist.

00:04:06: also Ethik Eine Wissenschaft, also das ist schon mal wichtig.

00:04:11: Also eine Wissenschaft die sich damit beschäftigt was das richtige Handeln ist egal in welcher Situation nicht nur im autonomen Fahren sondern einfach grundsätzlich die Frage was es quasi das Richtige zu tun.

00:04:24: und jetzt ist es so.

00:04:25: da liegt dann oft ein Missverständnis.

00:04:28: diese frage stellen sich ja alle Menschen Also nicht nur Ethiker.

00:04:31: Jeder hat mal eine Situation, wo man sich fragt was ist denn jetzt das Richtige zu tun?

00:04:37: Das heißt was unterscheidet mich von anderen?

00:04:40: weil ja auch jeder Mensch das berühmte Bauchgefühl hat, was einem vielleicht leitet in manchen Situationen.

00:04:46: und dann sage ich immer Ich bin nicht das personifizierte Bauch-Gefühl sondern in der Wissenschaft beschäftigt sich die Ethik quasi mit systematischen Methoden und herangehensweise um eben diese Frage zu beantworten.

00:05:01: Und warum macht man das?

00:05:02: Natürlich mit der Idee, dass es dann für möglichst viele Menschen passt!

00:05:06: Weil das erleben wir ja am Alltag auch.

00:05:08: Ja, jetzt gerade in solchen moralischen Fragen haben ja viele Menschen unterschiedliche Auffassungen und jetzt beim Autonomenfahren zum Beispiel ist es ja wichtig dass das für alle passt.

00:05:19: Und deswegen eben der Versuch über systematische Herangehensweisen da eine Antwort zu finden die dann auch für möglichst viele Menschen stimmig ist.

00:05:33: Und du hast ja auch schon angestreift, dass du bei Mercedes warst.

00:05:39: Jetzt ist ja Mercedes heute nicht unbedingt das Aushängeschild für autonomes Fahren waren sie sicherlich mal.

00:05:50: Level drei autonome Funktionen auf dem Markt in den Fahrzeug bekommen haben.

00:05:54: Tatsächlich aber heute, wenn man an Autonomes fahren ist vielleicht abseits von Waymo denkt dann denken glaube ich viele Leute an Tesla.

00:06:03: tatsächlich fährt aber Tesla nicht autonom heute.

00:06:07: was ist denn da jetzt der Unterschied dass Mercedes tatsächlich autonomen fahren kann und Tesla nicht obwohl es vielleicht manche glauben.

00:06:15: kannst du da einen Einblick reingehen?

00:06:16: Also vielleicht ganz kurz muss man da die Jahresscheiben anschauen.

00:06:21: Jetzt heute in den Jahr im Jahr zum Jahr für die Kundenfahrzeuge Full Self Driving unterscheiden und das ist das, was ich gleich im Vergleich stelle zu Mercedes.

00:06:32: Sie sind aber ja jetzt seit dem Jahr  mit Robotaxis unterwegs in verschiedenen Städten. Und dort sind sie natürlich schon im autonomen Level 4. Also nur um das richtigzustellen: worauf ich mich jetzt beziehe, ist Full-Self Driving, was sie ja auch auf dem Markt haben.

00:06:50: Und was es auch damals, also Mercedes hat ja den Drive-Pilot im Jahr 2022 auf den Markt gebracht, während Full Self Driving damals schon einige Jahre am Markt war.

00:07:00: Das heißt genau diese Frage, weil wir als Mercedes rausgegangen sind.

00:07:05: Damals gesagt haben die ersten mit einem sogenannten Level Drei System kamen.

00:07:09: genau der Punkt Ja aber Tesla ist doch schon lange da.

00:07:12: Und jetzt kommt der interessante Unterschied, der übrigens auch ethisch sehr interessant ist.

00:07:18: Full Self-Driving klingt ja nach autonom.

00:07:22: De facto ist es das nicht!

00:07:23: Es ist ein Level II System während des Mercedes-Systems ein Level III System war.

00:07:29: und was ist jetzt der kleine aber feine Unterschied?

00:07:32: Bei Tesla ist es so dass das System zwar in unterschiedlichsten Situationen also sowohl Autobahn als auch in der Stadt anscheinend alleine fährt, dass aber der Fahrer die ganze Zeit die Fahraufgabe überwachen muss.

00:07:49: Bei dem Mercedes-System was allerdings nur auf der Autobahn in einem bestimmten Geschwindigkeitsbereich gefahren ist musste der Fahrer das System nicht überwachen.

00:08:00: wenn das System aktiv ist Was heißt es in der Praxis?

00:08:04: bei Tesla musst du die ganze zeit die Augen auf die Straße lassen und das Verkehrsgeschehen im Blick behalten und auch in Zweifel eingreifen, wenn das Auto ein Fehler macht.

00:08:16: Bei Mercedes konnte ich Netflix gucken.

00:08:19: Das heißt die Augen von der Straße wegnehmen.

00:08:24: Das ist der praktische Unterschied.

00:08:27: Rechtlich gesehen steckt dahinter Wir haben immer gesagt, ein Paradigmenwechsel.

00:08:32: Ja wir haben diesen diesen Wechsel von Level zwei auf Level drei die Mondlandung genannt.

00:08:37: Warum?

00:08:38: Im Level Zwei ist es für den Hersteller relativ komfortabel dass er zwar natürlich gemäß den üblichen Produkthaftungsregeln schon ein funktionierendes, sicheres System zur Verfügung stellen muss, aber in dieses System ist der Fahrer als Überwachungsinstanz mit eingebunden.

00:08:56: Also das heißt, man geht immer davon aus dass der Fahrer eingreifen wird wenn das System in Fehler macht oder es eine besonders kritische Situation entsteht.

00:09:06: Beim Level drei muss der Hersteller auch diese schwierigen Situationen beherrschen.

00:09:12: Er kann zwar den Fahrer rufen also der Fahrer muss übernahmebereit sein darf also nicht schlafen aber er hat ein paar Sekunden Zeit bis er übernimmt und der Hersteller muss wirklich bis der Fahrer übernommen hat, das komplette Fahrgeschehen überwachen und trägt dafür die Verantwortung.

00:09:33: Und das macht natürlich einen Riesenunterschied!

00:09:35: Bis der Fahrer übernommen hat, was ist wenn er nicht übernimmt?

00:09:39: Was ist wenn wir es fünf Sekunden später übernehmen?

00:09:41: Wie man mir das vorstellt, ich schaue gerade noch Netflix, was natürlich total viel Sinn macht in meiner Hundertfünfzigtausend Euro S-Klasse.

00:09:48: Dann muss ich jetzt, dann sagt das Auto, jetzt übernehmen und dann greife ich das Lenkrad.

00:09:53: Und muss sofort wissen was da jetzt los ist.

00:09:56: oder wie muss ich mir das vorstellen?

00:09:58: Also diese Situation scheint mir so ein bisschen stressig zu sein.

00:10:02: Der

00:10:02: Fakt, es ist viel weniger stressig als das Level II System.

00:10:05: also Ich bin ja beide Systeme gefahren und fand das Level III System total entspannt weil... also ich antworte gleich auf deine Frage aber dort wenn quasi nicht aktiv bin, kann ich auch wirklich entspannen.

00:10:18: Ja also während ich ja im Level II System schon vielleicht die Gedanken schweifen lasse weil ich muss ja nicht wirklich was tun aber ich muss doch immer aufmerksam bleiben das ist tatsächlich ein Widerspruch der bei mir zumindest sagen wir mal so einen gewissen Stress auslöst.

00:10:34: Im Level III System?

00:10:35: Ja!

00:10:35: Ich gucke meinen Netflix Und dann ruft mich das Auto, dann ist es schon so dass ich einfach ein bisschen Zeit habe.

00:10:42: Also das Auto ruft sich auch mehrmals falls ich so vertieft im Film bin und das nicht höre und dann übernehme ich.

00:10:49: Wenn ich jetzt nicht übernehbe, dann fährt das Auto ab einer bestimmten Zeit.

00:10:55: also das legt jeder Hersteller letztendlich in gewissem Maße auch selber fest, fängt das Auto an den Stillstand zu bremsen und das Auto in den sicheren still Stand zu bringen.

00:11:06: Ja, also das heißt ich muss jetzt keine Angst haben.

00:11:09: Oh!

00:11:09: Ich habe nicht rechtzeitig übernommen.

00:11:10: Das Auto fährt auch zu fahren und dann entsteht vielleicht eine schwierige Situation.

00:11:15: Also der Hersteller hat die Beantwortung bis entweder eben der Fahrer oder die Fahrerin übernimmt oder man das Fahrzeug quasi in einen sicheren Zustand gebracht hat.

00:11:27: Das nennt sich dann Minimal Risk Manöver

00:11:30: Und wie kann man sich das vorstellen?

00:11:32: Wann ist denn so eine Übernahme jetzt anfordert?

00:11:35: Also was ist das dann für eine Situation, wo er sagt ja jetzt bitte übernehmen.

00:11:39: Ist es jetzt okay?

00:11:40: Oh da ist etwas auf der Straße.

00:11:41: weich du bitte schnell aus und das klingt vielleicht ein bisschen riskant.

00:11:47: Ja, das ist auch ein interessanter Punkt.

00:11:49: Das ist letztendlich in Ermessen des Herstellers.

00:11:52: ja also das letztendliche ist die Frage was traue ich mir als Hersteller zu?

00:11:56: Also dadurch dass sich eben beschrieben habe, dass ich letztendling viel mehr Verantwortung hab, also alles Unvorhergesehene mindestens im physikalisch machbaren Raum beherrschen muss.

00:12:07: Auch zum Beispiel wenn andere Verkehrsteilnehmer sich nicht an die Verkehrsregeln halten dann muss ich ja trotzdem damit umgehen dass diese Herausforderung so groß ist, beschränken natürlich Hersteller die sogenannte Operational Design Domain.

00:12:25: Also das heißt der Fahrbereich in dem das System autonom fährt und das wird unterschiedlich definiert.

00:12:31: Was jetzt schon mal wichtig ist, der Drive Pilot und BMW hat es ja dann auch noch gemacht, ist ein Autobahnsystem also funktioniert nur auf der Autobahn zu beschränkten Geschwindigkeiten.

00:12:42: Also bei Mercedes war das bis zu 90 Kilometer pro Stunde und das braucht zum Beispiel einen Vorausfahrer, also

00:12:49: d.h.,

00:12:49: bei 90 Kilometern pro Stunde schon im fließenden Verkehr aber z.B.

00:12:53: ein Lkw vor dem Auto.

00:12:55: Warum den Vorausfahrer?

00:12:56: Weil der Vorausfahrer ganz viele Risiken minimiert.

00:13:00: Weil ich so ein bisschen mich orientieren kann was macht denn der vor mir?

00:13:04: Wenn ich jetzt aber meinen Vorausfahrer verliere, der Lkw fährt ab von der Autobahn und dann ist niemand mehr vor mir.

00:13:12: Dann übergibt das System an den Fahrern weil es sagt Ich habe hier meinen Vorausfahrer verloren Und so gibt's halt andere Dinge wie gesagt die dann der Hersteller festlegt wo er sagt Da übergebe ich lieber an den Menschen Weil ich möchte ja, dass das Auto sicher fährt und zwar wirklich in allen Arten von Situationen.

00:13:29: Das trauen wir uns da noch nicht zu und deswegen übergeben wir an den Mensch

00:13:34: Wenn jetzt der Hersteller weiterentwickelt und dann ganz viele Situationen abdecken kann.

00:13:41: Ist es dann Level four?

00:13:43: Ja, also grundsätzlich ja.

00:13:44: Also man muss also regulatorisch stecken.

00:13:46: da nötig Dinge dahinter als für diese Automated Lane Keeping System gab's eben eine andere regulatorische Vorschrift als für die Levelvierfahrzeuge.

00:13:56: jetzt haben wir ne neue Situation mit der neuen UNECE-Regelung.

00:14:01: also insofern sagen wir mal ist das regulatorisch im Hintergrund wichtig.

00:14:05: auf was ich mich da letztendlich beziehe aber von den SAE Leveln her gesprochen ist der Unterschied zwischen Level drei und Level vier.

00:14:14: Letztendlich im Level drei habe ich einen Fallback, ja den menschlichen Fahrer zwar nicht wie in Level zwei also der muss nicht überwachen aber er ist als Fallback vorhanden Ja?

00:14:26: Ich kann ihn rufen und er übernimmt um.

00:14:28: genau diesen Fallback habe ich ja im Level IV nicht mehr.

00:14:32: Das heißt, ich muss in Fahrbereich oder die Operational Design Domain, die ich abdecken will – das ist ja bei einer Robotaxis meistens eine bestimmte Stadt, die Ich befahre.

00:14:43: In dieser Stadt muss ich quasi ohne einen menschlichen Fahrer auskommen wenn ich natürlich dann wirklich im autonomen Betrieb bin, ohne Sicherheitsfahrer und wenn es ein Problem gibt Dann braucht es ja eine menschliche Aufsicht, die außerhalb des Fahrzeugs ist, die dann in irgendeiner Form eingreift um die Situation zu lösen.

00:15:04: Aber im Fahrzeug gibt's im Level vier keinen menschlichen Fallback ab dem Moment wo ich keine Sicherheitsfahrer mehr habe.

00:15:13: Also was ich mir manchmal frage oder vielleicht die Fallmaschine aufkommt, dass dieses Level drei überholt sich das irgendwann mal?

00:15:20: Vielleicht weil man sagt ja gut wir entwickeln doch sowieso Level 4 Systeme Das Level drei brauchen wir gar nicht mehr, oder ist da ein Denkfehler?

00:15:28: Also ich glaube das kann durchaus so sein.

00:15:30: Wir haben ja momentan ein interessantes Phänomen was sich als Ethikerin übrigens durchaus bemerkenswert finde.

00:15:36: also interessanterweise setzen sich die Level Drei Systeme momentan letztendlich nicht durch auf dem Markt.

00:15:42: Was wir ja stattdessen haben So soll man es eigentlich nicht nennen, ich sag's jetzt trotzdem.

00:15:48: Also diesen Ausbau der Level zwei Plus-Plus-Systeme, also wo ich früher noch ein System hatte das vielleicht auf der Autobahn eben sowohl längs als auch Querregelungen übernommen hat aber vielleicht noch nicht in der Stadt habe ich ja jetzt in einigen Fahrzeugen wirklich in allen Verkehrssituationen.

00:16:08: Nehmen wir nochmal Tesla mit Full Self Driving Aber Mercedes bringt ja jetzt auch den MB Assist Pro raus, dann fahre ich eigentlich überall sehr stark assistiert.

00:16:20: Also das Auto fährt ja schon fast wie autonom und das ist natürlich vom Kundennutzen vielleicht interessanter als jetzt nur auf der Autobahn bei langsamen Geschwindigkeiten automatisiert fahren zu können.

00:16:32: Das heißt, auf den ersten Blick ist der Kundennutzen höher und deswegen erfreuen sich diese Systeme aktuell einiger Beliebtheit.

00:16:41: Als Ethikerin finde ein sehr schwieriges Level, weil ich lasse den Fahrer eigentlich entspannen.

00:16:48: Also genau das was du vorher gefragt hast ne?

00:16:50: Ich gucke da mal Netflix-Film.

00:16:52: Ich darf zwar keinen Netflix-Film gucken aber ich bin ja trotzdem entspannt!

00:16:57: Ich habe ja quasi nichts zu tun.

00:16:58: Ich hab zwar die Hände am Lenkrad aber ich haben eigentlich nix zu tun.

00:17:02: und genau dann wenn es jetzt kritisch wird also wenn das Auto einen Fehler macht oder eine schwierige Situation entsteht, dann soll ich aber hellwach sein Und sofort eingreifend.

00:17:14: Das finde ich jetzt, sage ich jetzt mal ethisch gesehen eigentlich in der schwierigen Designentscheidung und wir wissen ja das ist da durchaus auch einige kritische Unfälle gaben im Zusammenhang weil die Leute die Fähigkeit des Fahrzeugs überschätzt haben.

00:17:31: und wenn man das Ganze noch Full Self Driving nennt dann ist dieses Missverständnis schon im Namen.

00:17:37: also das heißt Level zwei ein kritisches Thema, aber anscheinend gefühlt hoher Kundennutzen.

00:17:44: Level drei einen Riesenschritt für die Hersteller, aber mit sehr vielen Einschränkungen behaftet und deswegen eben gerade eher der Trend direkt in Level vier zu springen.

00:17:55: Aber interessanter Unterschied nicht in Kundenhand!

00:17:59: Was wir ja bislang sehen sind Robotaxis, wo ich mich als Taxigast reinsetze.

00:18:04: Das ist auch nochmal ein Riesenunterschied.

00:18:06: Gebe ich das Fahrzeug in Kundenhand?

00:18:09: Ich habe es draußen im Markt.

00:18:10: Ja, ich kann das nicht selber steuern, wo der Kunde hinfährt und so weiter.

00:18:15: oder hab' ich das halt in einer Flotte die ich in der Hand hab', die ich natürlich auch jederzeit... Wie soll ich sagen abschalten kann?

00:18:23: Also das ist vielleicht auch nochmal den Punkt, der Punkt, den man betrachten muss.

00:18:28: Das Kundenfahrzeug versus

00:18:30: das Taxi.

00:18:30: Du hast gerade gesagt Level zwei plus plus soll man ja nicht sagen du tust es trotzdem warum?

00:18:38: was ist das Problem?

00:18:39: The Level Two Plus Plus ist jetzt,

00:18:41: z.B.,

00:18:41: in China gab es einen tragischen Unfall mit dem Xiaomi-Fahrzeug wo es ja auch zu Toten leider kam und da hat die chinesische Regierung dann diesen Begriff Level Two plus plus dort verboten.

00:18:54: und er ist natürlich auch kritisch weil so dieses plus plus Natürlich auch wieder suggeriert, das kann mehr.

00:19:02: Also die Gefahr ist immer dieses Missverständnis im Namen und das ist eben mein ethischer Punkt.

00:19:08: Übrigens war ich auch in solchen Diskussionen durchaus involviert bei Mercedes.

00:19:12: Wie nennen wir diese Systeme?

00:19:14: Wie erklären wir die Systeme dem Kunden?

00:19:17: Und die große Gefahr über Vertrauen in die Systeme.

00:19:22: Deswegen bin ich persönlich Fan, wenn eigentlich der Begriff des Assistieren immer noch im Namen drin ist, weil das ist es letztendlich!

00:19:30: Es ist ein Assistenzsystem, kein autonomes Fahrsystem und kein Full Self-Driving.

00:19:38: jetzt aus meiner Sicht Wenn ich jetzt hier Tesla immer wieder kritisiere, ist das nicht aus einer Herstellerperspektive heraus sondern tatsächlich aus meiner ethischen Sichtweise wie ich halt auf diese Begrifflichkeiten schaue.

00:19:52: Dann erzählst du, ist das gelöst mit den Begrifflichkeiten?

00:19:55: Also Level zwei Systeme heißen Assist.

00:19:57: Jetzt auch dieses neue System was ja im China bereits auf dem Markt ist und in USA glaube ich weiß jetzt gar nicht ob es schon draußen ist oder demnächst kommt und dann ja auch nach Europa kommen soll.

00:20:08: Das heißt ja eben Assist Pro.

00:20:10: Das heisst da ist zwar mit Pro auch ein Naher also dahinter im Sinne von das kann einiges aber es ist halt dieser Begriff des Assist noch drin.

00:20:20: Während eben beim Drive Pilot, ja da ist der Pilot drin also jemanden der mich fährt und diesen Begriff des Pilots hat das Unternehmen jetzt nicht für Level II Systeme weil es kein Pilot ist sondern eben ein Assist.

00:20:35: Also da sieht man jetzt diese feinen Unterschiede, die zumindest und für mich als Ethiker wichtig sind.

00:20:40: Natürlich ist es nicht nur der Name sondern auch wie erkläre ich dem Kunden das System?

00:20:46: Deswegen war ich zum Beispiel bei dem Anlauf damals vom Drive Pilot tatsächlich auch in die Vertriebsschulungen involviert um quasi den Händlern Hinweise zu geben, wie sie das System wiederum ihren Kunden erklären sollen.

00:20:59: Gerade die, die du gerade in den Nebensatz erwähnt hattest.

00:21:04: Bevor wir dann mal zu nochmal auf den Fokus Ethik und diesem Oma Kind Thema haben.

00:21:12: Du hast jetzt gerade gesagt, den Robotaxie ist ja tendenziell in der Hand.

00:21:18: eines Betreibers und nicht den Kundenhand, dass das ja ein vorderer Nachteil sein kann.

00:21:23: Kannst du das nochmal erläutern was du damit meintest?

00:21:25: Ich glaube

00:21:26: es ist weder vordernachteil, es ist einfach etwas anderes Herausforderungen oder andere Eigenschaften.

00:21:37: Ich finde das nur wichtig, wenn man über Level IV redet und ob wir keinen Level III mehr brauchen dann ist natürlich die Frage Level IV in welcher Form?

00:21:46: Und wie gesagt ich kenne nur diese Robotaxi beziehungsweise natürlich Shuttle usw.

00:21:51: Form.

00:21:52: Das heißt den Kundenamt habe ich natürlich das Thema dass sicher gehen muss, dass der Kunde mit dem System auch gut umgeht.

00:22:01: Das heißt die Übergänge zum Beispiel sind unheimlich wichtig.

00:22:05: Im Level III-System habe ich ja immer so eine Menschmaschineübergabe.

00:22:09: D.h.,

00:22:09: der Mensch fährt selber?

00:22:11: Muss er ja wenn er nur so ein Staussystem hat und dann gibt es einen Moment da übergibt er an die Maschine und dann übergibt die Maschinen wieder zurück.

00:22:20: Und solche Dinge muss ich ja... Wenn ich das Auto in Kundenhand gebe, muss sich sicher geht dass der Fahrer das auch gut managed und verstanden hat.

00:22:30: Das heißt, ich muss ja auch diese Übergabe technisch zum Beispiel sehr gut lösen damit es nicht zu diesem Thema Mode confusion kommt was man nennt also dass man durcheinander kommt.

00:22:40: fährt jetzt das Auto oder fährt Ich fahre ich gerade insbesondere bei einer Übergabe aus Level zwei in Level drei gefährlich.

00:22:47: Also muss ich jetzt überwachen?

00:22:48: Oder muss ich nicht überwache?

00:22:50: Das sind so Fragestellungen die habe.

00:22:54: Bei Tesla zum Beispiel gab es auch genug Fälle, wo Menschen das System überlisted haben.

00:22:58: Das Lenkrad blockiert haben und so weiter... Also auch da habe ich als Hersteller eine Verantwortung dass einfach kein Mist gebaut wird mit meinem System.

00:23:08: Während im Robotaxi wie gesagt ist das halt ganz klar abgegrenzt.

00:23:13: Und da hab' ich diese Herausforderung nicht!

00:23:16: Aber ich hab natürlich andere Themen, ne?

00:23:18: Ich hab natürlich überhaupt das Thema der Akzeptanz dass die Leute bereits in eins steigen.

00:23:23: Ich habe natürlich diese Diskussion rund um den menschlichen Taxifahrer, was ist dann noch der Job für die?

00:23:30: Und ich hab das Thema verstopfte Straßen.

00:23:33: in San Francisco zum Beispiel, gab es ja mal ein Beispiel, wenn die Fahrzeuge da nicht mehr klarkommen und bis man dann das Fahrzeug wieder herausmanifriert hat aus der Ferne oder aus einer Situation ist das auch eine Herausforderung.

00:23:48: Also sprich einfach andere Themen!

00:23:50: Und das muss man halt im Blick behalten, je nachdem welches System man anstrebt oder welches Modell man anstrebt.

00:23:58: Ja, Isabel, kannst du mal fokussieren jetzt auf das eigentliche Ethik-Thema?

00:24:03: Du hattest ganz am Anfang schon angestreift die Fragestellung hier es geht nicht nur um den Fahrer oder den Beifahrer dann oder wie auch immer der korrekten Nennmark sondern um alle Verkehrsteilnehmer und dieses plakative Bild, wo man schon ganz oft darüber gesprochen hat.

00:24:20: ja was macht denn das Auto jetzt eigentlich wenn sich es entscheiden muss zwischen überfährt die eine Person oder eine andere oder fährt's lieber gegen den Baum?

00:24:29: Oder was macht Sinn?

00:24:31: aber bis wir das nicht gelöst haben da können doch gar keine Autonomfahrzeuge auf die Straße bringen.

00:24:35: Und wir hatten ja im Vorgespräch schon... Das sind wir schon in die Richtung wo du dann meintest dieses Problem ist nicht eines, was sich tatsächlich in der Realität bei der Entwicklung stellt.

00:24:47: Vielleicht habe ich das aber auch falsch verstanden?

00:24:49: Ja,

00:24:49: das hast du sehr gut verstanden und ich freue mich eigentlich immer wenn ich die Gelegenheit hab diese Oma Kindgeschichte so ein bisschen zu entmystifizieren.

00:24:59: Beziehungsweise da, ja das ein bisschen aus dem Weg zu räumen sage ich jetzt mal.

00:25:04: Übrigens werde ich lustiger Weise immer gefragt ob ich die Oma-Kind-Expertin oder verantwortliche bin wenn ich sagt, dass ich Ethikerin bin.

00:25:13: Nein!

00:25:13: Ich bin nicht die OMA Kind Verantwortliche.

00:25:15: Hier ist nochmal wichtig zu verstehen wo kommt diese OMA kind Geschichte eigentlich her?

00:25:20: Also falls es noch irgendwie jemanden gibt der das Thema nicht kennt das geht ja um die Frage wenn ich quasi nur noch Also nicht mehr bremsen kann und einen Menschen auf jeden Fall schädigen oder sogar im schlimmsten Fall töten muss.

00:25:34: Und ich hätte die Auswahl zwischen dem Kind und einer Oma würde jetzt das Kind, oder die Oma umfahren.

00:25:39: Das ist ja diese... Fragestellungen, die es dann in unterschiedlichsten Varianten gibt letztendlich.

00:25:45: Jetzt ist wichtig zu wissen dieses Problem kommt

00:25:48: überhaupt

00:25:48: nicht aus der Praxis sondern das ist ein Gedankenexperiment einer Philosophin, die nennt sich Philippa Foot und die hat 1967, also lang vor dem autonomen Fahren, Dieses man nennt es ja Trolley Dilemma entwickelt.

00:26:09: und jetzt kommt der Punkt im Kontext einer Abtreibungsdebatte.

00:26:13: Also, da ging es überhaupt nicht um autonomes Fahren.

00:26:16: Und sie hat dieses Bild... Da geht's ja um eine Straßenbahn!

00:26:22: Da gehts auch gar nicht um Oma und Kind, sondern um die Straßenbahn.

00:26:28: Fahrer dieser Straßenbahn bzw.

00:26:31: der Mensch, der die Weiche stellt kann entscheiden ob er die Straßenbahnen auf eine oder fünf Personen zufahren lässt.

00:26:41: und das Experiment ist halt so gestaltet dass es nur diese Wahl gibt.

00:26:45: Und dann hat sie anhand dieses Beispiels quasi eine philosophische Theorie entwickelt ob man letztendlich schlechtes tun darf, um Gutes zu bewirken.

00:26:57: Das ist jetzt sehr vereinfacht dargestellt.

00:26:59: Aber das heißt eine rein theoretische Frage und die hat man irgendwann aufgegriffen vor dem Hintergrund dass man natürlich beim Autonomen fahren manche Entscheidungen im Vorraus treffen muss.

00:27:11: ja während wir Menschen Dinge spontan entscheiden legen wir im System Design der autonome Fahrzeuge bestimmte Dinge fest und dieses Wesen des frühen Festlegens hat dann dazu geführt, dass man gesagt hat oh wenn man alles vorentscheiden muss.

00:27:27: Dann könnte man ja in eine solche Dilemma Situation kommen.

00:27:32: aber ich persönlich kenne keine einzige Umfallstatistik wo so ne Oma Kind-Situation vorkommt.

00:27:39: also ich weiß nicht Martin standest du schon mal vor der Frage?

00:27:44: Wenn Du jetzt umfahren sollst?

00:27:48: Also ich habe mir dazu bisher immer gedacht, das frage ich auch kein Menschen.

00:27:51: Wenn ich in einer Situation bin wo ich jetzt nicht mehr bremsen kann und handelt sich um wahrscheinlich ein paar Bruchteile von Sekunden in der ich jetzt irgendeine philosophische Debatte führen soll, kann kein Mensch machen.

00:28:05: Ich glaube... Das finde ich jetzt kurios dass ich diese Frage bei einem autonomen Fahrzeug scheinbar klären muss.

00:28:12: Keinen mensch beantworten könnte für sich selbst.

00:28:16: Deswegen finde ich sie so ein bisschen fragwürdig, die Frage schon.

00:28:19: Aber jetzt frage ich mich ja was du dazu davon hältst?

00:28:22: Also vielleicht das ist jetzt nochmal wichtig.

00:28:24: also den Ursprung habe ich ja jetzt erklärt.

00:28:27: Kommt komplett aus der Theorie nicht aus irgendeinem Unfallbericht oder ähnliches.

00:28:34: und jetzt noch ein paar ergänzende Punkte.

00:28:37: Natürlich hab' ich im Straßenverkehr schwierige Situationen.

00:28:42: Und natürlich gibt es Konfliktsituationen, ja also wo man vielleicht auch verschiedene Alternativen als Fahrer zur Verfügung hat und natürlich muss man dann entscheiden.

00:28:53: aber der große Unterschied zu diesem sogenannten Trolley Experiment ist in dem Trolley Experiment geht das um eine Straßenbahn auf Schienen, da gibt es nur entweder Oder und diese Menschen in dem Experiment warten bis sie Entschuldigung wenn ich das so makaber sage aber quasi überfahren werden.

00:29:12: Das ist ja im realen Straßenverkehr nicht der Fall.

00:29:15: also realer Straßenverkehr ist ein dynamisches Geschehen das heißt alle Verkehrsteilnehmer bewegen sich außer natürlich.

00:29:23: Was ist ich?

00:29:24: Es liegt schon jemand verletzt am Boden.

00:29:26: Aber das heißt, ich habe ja gar nicht die Berechenbarkeit zu sagen wenn ich jetzt ausweiche wird genau das passieren.

00:29:34: Das habe ich im realen Straßenverkehr nicht.

00:29:36: deswegen kann ich auch nicht so eine Abwägung durchführen.

00:29:40: und dann kommt dazu was du sagst.

00:29:42: da geht es um Sekunden oder Hochteile von Sekunden

00:29:45: Und

00:29:46: die autonomen Fahrzeuge sind überhaupt nicht in der Lage, solche persönlichen Merkmale in Bruchteilen von Sekunden zu erkennen und zu klassifizieren.

00:29:55: Also dass da eine Oma da ein Kind ist

00:29:57: usw.,

00:29:58: das jenseits jeglicher technischen Möglichkeiten aktuell.

00:30:02: ob es irgendwann möglich ist weiß ich nicht.

00:30:06: also das heißt die Situation in der Form stellt sich nicht.

00:30:11: Und dann kommt vielleicht noch ein Punkt dazu, also selbst wenn es jetzt sagen wir mal mehrere Alternativen gäbe ja was ich machen könnte oder was das Fahrzeug machen könnte.

00:30:24: Dann ist auch nochmal wichtig dass vor allem im europäischen Raum es sowohl regulatorisch als auch ethisch völlig undenkbar wäre Menschen vollkommen unschuldig zu Tode zu bringen um andere zu retten.

00:30:40: Ja, das ist in unserem Kulturraum undenkbar.

00:30:44: Da gibt es zum Beispiel vielleicht kennt es jemand ein Bundesverfassungsgerichtsurteil zum Luft-Sicherheitsgesetz?

00:30:53: Das war 2005, da war die Debatte.

00:30:56: Es gab einen Gesetz dass es erlaubt hatte ein Flugzeug abzuschießen wenn man dadurch größeres Übel verhindern könnte.

00:31:05: Das hat natürlich mit dem Elften September zu tun.

00:31:08: Dieses Gesetz hat das Bundesverfassungsgericht kassiert.

00:31:12: Warum hat es das getan?

00:31:15: Wegen der Menschenwürde, jeder Mensch hat eine Menschenwürdel und das erlaubt es nicht.

00:31:20: jemand quasi zu instrumentalisieren also jemanden sterben zu lassen um andere zu retten würde den menschen in seiner Würde letztendlich verletzen und deswegen wurde das gesetz kassierte und dass ist wegweisend eben auch für andere situation.

00:31:37: Also das heißt, selbst wenn ich jetzt so eine Situation hätte von der ich aber sage dass sie sehr unrealistisch ist würde das wir sind sehr kantianisch geprägt hier in Deutschland und Europa.

00:31:50: Würde das letztendlich gegen das Grundverständnis widersprechen?

00:31:53: Dass wir hier haben, dass nämlich jeder Mensch einen Selbstzweck hat, eine Menschenwürde hat und deswegen nicht instrumentalisiert werden darf.

00:32:01: Das heißt Ich bin dann meiner Trajektorie auf eine bestimmte Richtung Und ich dürfte jetzt nicht, selbst wenn ich es könnte... Abwägen, ich fahre jetzt woanders hin und treffe dann jemand anderen.

00:32:15: Statt weiter gerade auszufahren möglichst stark zu bremsen.

00:32:18: Habe ich das jetzt richtig verstanden?

00:32:19: Ja

00:32:19: es gibt natürlich noch etwas weniger dramatische Abwandlungen von dieser Oma-Kind Geschichte zum Beispiel des Thema Blechschaden versus Personenschaden.

00:32:29: ja also jetzt spreche ich wieder als Ethikerin Ich bin ja nicht Juristin.

00:32:33: Also für die juristischen Fragen dann gerne auch nochmal versierte Rechtsanwälte konsultieren.

00:32:39: der ethischen Perspektive ist es so, wenn ich natürlich menschlichen Schaden vermeiden kann dadurch das Blech zu schaden kommt und mit hoher Sicherheit keinen anderer Mensch geschädigt wird dann ist es ja noch mal eine ganz andere Abwägung.

00:32:54: Dann kann man in der Designentscheidung vors diskutieren.

00:32:58: aber das einzige Problem ist dann wieder das dynamische Geschehen.

00:33:03: also ich hätte jetzt zum Beispiel ein Kind auf meiner Trajektorie mir nicht mehr zu bremsen, vielleicht liegt das Kind am Boden.

00:33:11: Das ist vom Fahrrad

00:33:12: gefallen.".

00:33:13: Und ich könnte ausweichen und dann wäre beim Ausweichen die Gefahr einen dicken SUV zu treffen ja?

00:33:21: Dann könnte es sein da entsteht vielleicht nur Blech in sicherer Mercedes.

00:33:27: ein dicker SUV könnte sein dass das.

00:33:31: aber ich weiß ja nicht, was der SUV macht.

00:33:33: Vielleicht verreist er vor lauter Schreck sein Lenkrad und fährt am Ende sogar richtig noch mal ins Kind hinein vor lautter Schreck oder das können dann die Ingenieure besser erklären als ich.

00:33:46: Der Kollisionswinkel ist ja relevant.

00:33:49: vielleicht ist es doch ein schwerer Unfall.

00:33:51: also deswegen all diese Sachen irgendwie andere zu schädigen um größeren Schaden zu vermeiden sind sehr Problematisch und deswegen ist natürlich die Unfallvermeidung ist es A und O, dass es in so eine Situation überhaupt nicht kommt.

00:34:08: Und ansonsten ist natürlich Bremsen und so ein autonomes Fahrzeugbremst ja nochmal ganz anders als der Mensch weil da ein Computer bremst.

00:34:16: also wenn du sagst Notbremsen dann wird auch... entsprechend gebremst, um natürlich Schaden zu reduzieren.

00:34:22: Aber das ist diese ganze Abwägung eine komplexe Sache.

00:34:26: Ich spreche da wie gesagt jetzt auch aus meiner persönlichen ethischen Perspektive.

00:34:30: die Hersteller müssen dann natürlich ihren Weg finden mit solchen Dingen umzugehen aber es ist weit vielfältiger als dieses wie gesagt Oma Kind was es so in der Form letztendlich nicht gibt.

00:34:41: wenn ich jetzt solche Designentscheidungen treffen kann denn könnte ich jetzt ja jedenfalls auch eine treffen die das ziel hat den insaßen maximal zu schützen egal was draußen passiert.

00:34:55: Das würde wiederum sowohl regulatorisch als auch ethisch nicht funktionieren.

00:34:59: Wir sind nicht in einem rechtsfreien Raum, also Hersteller dürfen nicht machen was sie wollen.

00:35:04: Also da wird manchmal auch Herstellern so eine Macht zugesprochen wie es gar nicht gibt.

00:35:09: Also wir haben eine Straßenverkehrsordnung die genauso auch für Hersteller autonomer Fahrzeuge gilt und das steht ja dass man niemanden gefährden darf usw.

00:35:20: Die gilt und die setzt eindeutige Grenzen was man tun lassen kann.

00:35:24: Und dann gibt es natürlich noch entsprechend weitere Dinge, die greifen.

00:35:28: Also das heißt eine Festlegung wen man denn jetzt eher schützen würde macht überhaupt keinen Sinn also ist nicht denkbar in unserem ethisch-regulatorischen Rahmen und macht auch überhaupt keinen sinn sondern stattdessen wird natürlich Das Auto so designed letztendlich Schaden in jeglicher Hinsicht zu reduzieren, das ist das Relevante.

00:35:51: und da gibt es nicht diese Abwägung Insassen oder andere Teilnehmer.

00:35:56: Es geht immer um Unfallvermeidung und Schadenreduzierung und zwar für alle.

00:36:02: und da vielleicht noch ein Punkt also gerade die Also jetzt auch schon im Assistenzbereich, da nennt sich das ja aktive Sicherheitssysteme und dann eben auch die automatisierten Systeme haben ja die Chance gerade auch die anderen.

00:36:17: zu schützen.

00:36:18: Ja, also indem sie eben mit ihren Sensoren entsprechend wahrnehmen was passiert, vorausschauend Bremsen nicht abgelenkt sind und so weiter kommt ja dann dieses Verhalten gerade auch den anderen Verkehrsteilnehmern zugute.

00:36:34: Also das kennt man ja zum Beispiel auch vom automatisierten Notbremsen, was wir ja schon lange in dem Fahrzeug haben.

00:36:41: Dieses automatisierte Notbremsen bringt ja dem Fahrer eigentlich Wenig, ja oder gar nichts fast schon.

00:36:49: Ja gut kommt drauf an vielleicht wenn er mit einem anderen Fahrzeug kollidieren würde.

00:36:54: aber das automatisierte Notbremsen hilft vor allem den anderen, den Fußgängern, den Fahrradfahrern dass die Autos bremsen und eine Kollision mit einem vulnerablen Verkehrsteilnehmer vermeiden?

00:37:07: Ja also tatsächlich um da vielleicht aus der Homologationssicht zu sprechen: dieses automatisierte Notbremsen ist Teil der Fußgängerschutz-Regelung.

00:37:18: Ja, die ist auch in der Funktionalität der Bremse abzubremsen.

00:37:24: Aber die Forderung danach sind sie in der Fußgänger-Schutzregelung.

00:37:29: Also das mir jetzt erst so klar geworden nochmal... Mich hat darüber gar nicht nachgedacht, dass jetzt Wundersache.

00:37:34: oder jetzt sagen wir auch Herrn Leutertasch wie sinnvoll es ist!

00:37:37: Jetzt find ich für mich sehr nachvollziehbar argumentiert warum dieses Trolleyproblem beim Autonomenfahren eigentlich nicht auftritt.

00:37:47: Aus meinem Verständnis jetzt zwei Kernthemen, der Verkehr ist dynamisch ich weiß gar nichts was jetzt Variante A und B ist weil die bewegen sich ja.

00:38:00: und zweitens kann ich darüber hinaus vielleicht gar nicht abwägen wie sich Variante b überhaupt abspielen könnte weil ich gar nicht voraussehen kann was tatsächlich vielleicht ein schaden wäre durch die Dynamik.

00:38:15: Jetzt war das ja aber sozusagen die Argumentation, warum es das tolle Problem nicht gibt und du hattest mir ja schon angedeutet dass tatsächliche ethische Fragestellungen gibt in der Entwicklung und gerade auch beim technischen Aspekten?

00:38:28: Ja ich meine die überragende Frage technischer Frage aber auch ethische Frage ist natürlich die Frage wie sicher ist sicher genug?

00:38:36: Das ist die zentrale Frage, über die sich alle die Köpfe zerbrechen und das ist natürlich eine ethische Frage.

00:38:45: Wie sicher ist sicher genug?

00:38:47: Und was ist daran ethisch?

00:38:48: Ethisch ist schon mal als allererstes die Argumentationen und da sieht man auch ne ganz wichtige Funktion der Ethik, die dann einer Person wie ich übrigens auch einnehmen kann bei einem Hersteller weil speziell jetzt UN-ECE Regelung wird ja ein Safety Case gefordert.

00:39:09: Also das heißt, die Hersteller sind ja aufgefordert ihre Sicherheit zu argumentieren also nicht nur nachzuweisen mit entsprechenden Tests sondern ja das Ganze in einen Rahmenwerk einzubauen wo einfach eine schlüssige Argumentation gegeben wird warum dieses Fahrzeug sicher ist und diese Argumentations muss natürlich dann getestet werden.

00:39:35: Und diese Argumentation fängt ja ganz früh an und diese Fragestellung hatten wir bei Mercedes, ich bin sicher, dass jeder hat sich damit beschäftigt nämlich was ist denn mein Referenz?

00:39:49: Rahmen!

00:39:50: Ja also woran orientiere ich mich jetzt?

00:39:52: sagt zwar die Regulierung sicherer als der Mensch aber sehr philosophische Frage Wer ist der Mensch?

00:40:00: Könnten wir uns natürlich die ganze Nacht reden.

00:40:02: Was ich aber jetzt meine, ist welchen Menschen meinen wir denn?

00:40:06: Meinen wir den Mensch mit Handy am Ohr... gestresst von der Arbeit, schreien das Kind auf dem Nebensitz.

00:40:14: Was was?

00:40:14: ich?

00:40:15: müde schlecht geschlafen?

00:40:16: Meinen wir diesen Menschen oder meinen wir den seit dreißig Jahren Unfallfreien Fahrer, der immer aufmerksam ist, der eine sehr gute Reaktionsfähigkeit hat, der noch nie in sein Leben einen Strafzettel bekommen hat wegen zu schnell fahren?

00:40:35: also welchen Mensch meinen wir denn eigentlich Und das ist eine Frage, die man stellen und beantworten muss.

00:40:43: Und dass es aus meiner Sicht die eigentlich wichtige Frage... Da kommt dann noch ein Punkt jetzt, da kommt eben wieder ich als Ethikerin raus.

00:40:51: Ich persönlich sage, das darf der Hersteller nicht alleine beantwortet und ich sag eigentlich auch nicht der Regulator alleine beantwortet.

00:40:59: Aus meiner Sicht ist das ne gesellschaftliche Frage.

00:41:03: Woran wollen wir das messen?

00:41:05: Weil die Auswirkungen dieser Frage betreffen uns alle und zwar sowohl in der Form wir begegnen diesen Fahrzeugen, die sind vielleicht mehr oder weniger sicher.

00:41:16: Vielleicht werde ich mit denen einen Unfall haben oder nicht?

00:41:18: Also das ist das eine wie ich betroffen bin.

00:41:21: aber das andere ist es beeinflusst ja ob diese autonomen Fahrzeuge kommen oder nicht.

00:41:27: Ja und diese Diskussion haben wir ja in Europa sind wird zu strengen usw.

00:41:31: Das heißt und dass es auch typisch Ethik alles abzuwägen, also nicht nur den Wertsicherheit der natürlich ganz wichtig ist.

00:41:39: Aber es gibt ja auch andere Werte.

00:41:41: man verspricht sich vom autonomen Fahrzeuge auch Inklusion das Menschen plötzlich eine individuelle Mobilität genießen können die sie bislang nicht hatten oder natürlich auch die Sache okay vielleicht können wir nicht alle Unfälle vermeiden mit autonomen Fahrzeugen aber vielleicht können mehr Unfälle vermeiden als mit menschlichen Fahrern.

00:42:01: Und das ist ja dann auch eine gesellschaftliche Frage, also nehmen wir in Kauf dass es Unfälle geben wird die der Mensch verhindert hätte.

00:42:10: Ja aber wir sehen den Mehrwert insgesamt.

00:42:13: oder sagen wir nee das ist halt ne ganz andere Sache ein Unfall mit einer Maschine als mit einem Menschen zu haben.

00:42:18: Das wollen wir wirklich so sicher wie möglich zu haben und das finde ich sollte eigentlich gesellschaftlich geklärt werden.

00:42:26: Jetzt meine ich in der UN-Regelung zum autonomen Fahren, da steht ein ausgeruhte aufmerksamer Fahrer soll die Messlatte sein.

00:42:35: wie zeichnet er sich jetzt aus?

00:42:36: Aber was ist denn dann der Messwehr?

00:42:38: also habe ich dann klare Schwellenwerte.

00:42:41: und dann frage ich mich auch wenn ich jetzt sage das ist mein Anspruch an autonomes Fahrzeug warum lasse ich dann überhaupt Menschen auf die Straße die nicht den Anspruch genügen?

00:42:53: Ja, natürlich.

00:42:56: Im Umkehrschluss muss man sich das ja immer fragen.

00:42:59: Je höher wir die Anforderungen an die Maschinen stellen müssen wir uns wagen, warum akzeptieren wir das aber bei den Menschen?

00:43:06: Das sind diese ethischen Fragestellungen, die man sich stellen muss und beantworten muss.

00:43:13: Manchmal geht es auch darum eine Debatte zu starten.

00:43:17: Deswegen bin ich sehr... dafür auch für gesellschaftliche Aufklärung.

00:43:22: Also wenn jetzt solche Robotaxis in der Stadt kommen oder Shuttles, was auch immer Busse, dann bin ich sehr dafür die Gesellschaft mitzunehmen und zwar nicht nur indem sie diese Fahrzeuge ausprobieren können mit Sicherheitsfahrer sondern solche Debatten zu führen weil wir Menschen anfangen mit solchen Fragestellungen sich auseinanderzusetzen, dann bilden sie sich ja auch eine Meinung und das kann auch helfen, dass Vertrauen in diese Fahrzeuge zu gewinnen.

00:43:50: Natürlich ist es wichtig – das ist Gefühl haben die Technik funktioniert!

00:43:53: Das ist das A und O. aber diese begleitenden Überlegungen, die fördern natürlich auch eine Bereitschaft, sich auf die Innovation einzulassen weil man halt sagt Mensch also mit.

00:44:05: da draußen haben wir haufenweise Menschen, die nicht ausgeruht und nicht aufmerksam sind Ja, warum lassen wir das zu und die autonomen Fahrzeuge nicht?

00:44:15: Und da kommt man an einem wichtigen Punkt.

00:44:18: Ethik kann... Innovation erst ermöglichen, beziehungsweise nicht nur kann sondern aus meiner Sicht ist sie eine ganz wichtige Voraussetzung um Innovation zu ermögliche.

00:44:29: Also viele Leute denken erstmal und übrigens habe ich das auch bei Mercedes erlebt am Anfang sind gerne auch Ingenieure manchmal ein bisschen misstrauisch wenn man da so als Ethikerin kommt.

00:44:40: also was ist die?

00:44:42: Was will die?

00:44:46: erst mal so ein bisschen

00:44:47: skeptisch ist.

00:44:48: Und befürchtet wird natürlich, da kommt jetzt eine Person die alles zunichte machen will also die bei allem sagt geht gar nicht.

00:44:56: aber es ist genau das Gegenteil.

00:44:57: ja also unsere Aufgabe meine Aufgabe ist es eigentlich Wege zu ebnen und zu sagen okay wir brauchen einen Sicherheitsnachweis wir müssen diesen aufmerksam ausgeruhten Fahrer irgendwie durchdeklinieren.

00:45:13: Was kann da ein Weg sein?

00:45:15: Wie kann man das argumentieren, wie kann man auch Skepsis überwinden.

00:45:21: Und genau das ist zumindest mein Verständnis von Ethik.

00:45:25: Also technisch ermöglichen aber auf eine vertrauenswürdige Art und Weise.

00:45:30: Okay, kannst du dann einen Einblick geben was zum Beispiel Fragestellungen waren mit denen Du und ihr euch dann beschäftigt habt?

00:45:37: Ja, also Sicherheit für alle.

00:45:40: Darüber haben wir geredet, wann ist es sicher genug?

00:45:42: Aber es gibt auch die Sicherheit für jeden.

00:45:46: und was ist damit gemeint?

00:45:48: Wenn wir jetzt im Durchschnitt sichere Systeme haben und die in irgendeiner Form testen konnten ins Szenarien

00:45:55: usw.,

00:45:55: bleibt ja immer ein gewisses Restrisiko.

00:45:58: Es ist unmöglich kein Restrisikor zu haben.

00:46:01: Was jetzt ein Problem ist, ist wenn das Restrisico sich aber auf eine bestimmte Gruppe zum Beispiel bezieht.

00:46:09: Das wäre unfair.

00:46:11: und dann sind wir Thema Sicherheit, nun zum Thema Gerechtigkeit gekommen.

00:46:16: Wir erwarten uns ja einen Nutzen von den autonomen Fahrzeugen.

00:46:20: also das heißt wir sind ja der Meinung dass die Chancen die Risiken überwiegen und der Hauptnutzen ist ja Sicherheit.

00:46:27: Also wir haben, ich glaube alle die mit dem Thema zu tun haben.

00:46:30: Die Erwartung dass es den Straßenverkehr insgesamt sicherer machen wird.

00:46:35: und jetzt ist aber die Frage wie wird denn dieser Nutzen auf die verschiedenen Beteiligten am Verkehr verteilt?

00:46:43: Und da ist es mir als Ethikerin natürlich wichtig das nicht eine Gruppe gravierend benachteiligt wird.

00:46:49: und da weil sie ja eh schon vulnerable sind muss man aus meiner Sicht eben nach allen Menschen schauen, die kein Blech um sich rum haben.

00:46:58: Also das sind und da wird es jetzt nämlich auch interessant man denkt sofort an Fußgänger vielleicht noch ein Radfahrer aber es gibt ja viel mehr.

00:47:06: Ja also es gibt Rollstuhlfahrer zum Beispiel Es gibt Menschen die mit Rollator, mit Gehstock oder Blindenstock unterwegs sind Es gibt Rickschars in anderen Ländern zum Beispiel Aber wir haben hier in Europa Liegeräder. Die sieht man auch nicht so oft.

00:47:25: Oder wir haben Menschen, die sich ganz unterschiedlich kleiden, ja?

00:47:28: Die zum Beispiel ganz verhüllt sind, wo man vielleicht gerade noch die Augen sieht oder selbst das manchmal nicht mehr.

00:47:33: Also das heißt es ist wichtig dass die autonomen Fahrzeuge mit all dieser Vielfalt von Menschen klarkommen.

00:47:42: und da geht es natürlich dann um die Erkennung.

00:47:44: Ja also die Wahrnehmung ist ein ganz wichtiger Punkt für das sichere Fahren Ja, das gute verlässliche Wahrnehmend der Fahrumgebung und dass es da eben keine gravierenden Unterschiede gibt.

00:47:56: Das ist aus meiner Sicht eine Frage der Gerechtigkeit, die man anschauen muss, die wir angeschaut haben, die ich in meiner Masterarbeit eben ausführlich betrachtet habe diese Fragestellungen.

00:48:08: Und wie kann es dazu kommen, dass jetzt so jemand weniger sicher ist?

00:48:13: Erst mal die technische Voraussetzung Erkennung und auch die sogenannte Klassifizierung.

00:48:20: Voraussetzung ist, dass ich das richtige Fahrverhalten ausführe.

00:48:23: Also was meine ich damit?

00:48:25: Die autonomen Fahrzeuge müssen ja ihre ganze Verkehrsumgebung auch richtig klassifizieren.

00:48:32: Also sagen das ist ein Stoppschild, dass es eine rote Ampel und sie müssen eben auch erkennen, dass in Menschen... Warum ist es wichtig?

00:48:39: Weil für Menschen also ich meine jetzt eben Menschen ohne Blech um sich rum bestimmte Verkehrsregeln gelten.

00:48:46: Ich muss zum Beispiel einen anderen Abstand halten oder vielleicht habe ich eigentlich im meinem System Design vorgesehen langsamer zu fahren wenn ich Menschen erkenne.

00:48:55: Wenn ich sie aber jetzt nicht erkennen, dann fahre ich halt nicht langsamer und dann habe ich ein erhöhtes

00:49:00: Risiko.".

00:49:01: Und jetzt wissen wir ja aus dieser ganzen KI-Debatte dass es dieses BIAS Thema gibt also das die KI.

00:49:08: Das ist ja eine KI, die diese Wahrnehmungsaufgabe letztendlich ausführt Dass die manche Verkehrsteilnehmer schlechter erkennt als andere.

00:49:19: und warum?

00:49:20: Weil KI Systeme statistisch arbeiten.

00:49:23: Das heißt, sie wurden mit einer großen Menge Trainingsdaten trainiert und da gibt es ja eine statistische Häufigkeit von Daten die da drin sind.

00:49:32: Und jetzt gibt es eben Menschen, die sind einfach viel seltener auf der Straße und dann ist eben die Gefahr das in dem Trainingsdatenset zu wenig davon drin waren zum Beispiel Rollstuhlfahrer.

00:49:44: Dann ist die Gefahr, hier einen Bias zu haben, dass die KI die nicht richtig klassifiziert.

00:49:50: Wie stelle ich das fest?

00:49:51: Das macht, wenn ich schon selber vielleicht nicht dran denke weil die so selten sind.

00:49:57: Da gibt es ja dann wieder mich dafür.

00:50:01: Also das ist tatsächlich ein Thema gewesen was sich zum Beispiel proaktiv ins Entwicklerteam eingebracht haben.

00:50:09: Wie macht ihr das eigentlich?

00:50:10: Wie stellt ihr das sicher?

00:50:11: habt ihr eigentlich dran gedacht, dass wir ganz unterschiedliche Menschen und so weiter auf der Straße haben.

00:50:16: Und dann ist es natürlich ein Prozess der Ko-Creation.

00:50:20: Also eine Ethikerin kann nicht alleine irgendwas bewirken.

00:50:23: Das muss immer in sehr enger Zusammenarbeit mit den Ingenieuren sein.

00:50:28: aber letztendlich ist tatsächlich das Thema interdisziplinäres Team ne ethische Forderung an Hersteller autonomer Systeme oder auch KI-Systeme Weil je mehr Menschen aus unterschiedlichen Perspektiven auf ein Systemdesign draufschauen, desto eher erkennt man halt auch solche blinden Flecken.

00:50:50: Deswegen ist das schon mal ein erster Schutz, sage ich jetzt mal Dinge zu übersehen und das zweite ist natürlich... Das fordert übrigens auch der EU AI Act: ganz bewusst mir mein Datenset anzuschauen und zu überlegen, ist das jetzt eigentlich repräsentativ für das was es leisten soll.

00:51:09: Und dann muss man halt sich wirklich systematisch überlegen welche

00:51:13: Art

00:51:14: von Objekten Verkehrsteilnehmer muss ich meinen System trainieren?

00:51:18: aber auch auf welcher Art von Szenarien muss mein System trainiert werden?

00:51:25: und habe ich die ausreichend in meinem Datenset berücksichtigt.

00:51:29: Das ist letztendlich eine ganz entscheidende Ingenieursaufgabe, darauf zu achten.

00:51:36: Deswegen hat es ja sehr spannend wie du jetzt gerade gesagt hast was wird erkannt?

00:51:40: Und was nicht?

00:51:42: Und diese End-to-End-KI muss man hier vielleicht noch mal betrachten, weil die stellt ja ein paar Fragezeichen.

00:51:50: Bevor wir aber direkt ins Thema eintauchen kannst du für Zuhörer erklären was eine end-to-end KI überhaupt bedeutet und dann was das jetzt in diesem Wer wird eigentlich erkannt und in welcher Häufigkeit und wie das dann zusammenspielen kann oder auch nicht.

00:52:07: Ja, es ist natürlich lustig wenn jetzt die Ethikerin die end-to-end KI erklärt weil das natürlich ein sehr technisches Thema ist.

00:52:14: aber ich sage dass in meinen Worten traditionell kommen wir ja aus einem modularen Ansatz.

00:52:21: also das heißt die Fahraufgabe die ja aus mehreren Schritten besteht also zuerst aus dem erkennen und klassifizieren dann aus dem Planen der Trajektorie und dann ja aus dem Ausführen der Trajektorie.

00:52:37: Das ist jetzt mal ganz grob gesprochen, dass das die Fahraufgabe, die die autonomen Fahrzeuge leisten müssen.

00:52:45: Dann ist es heute so, dass diese verschiedenen Aufgaben in eigene Abschnitte geteilt sind.

00:52:52: Deswegen modularer Ansatz und das Machine Learning ist ja sehr stark in der Erkennung und Klassifizierung verankert.

00:53:03: Das ist auch schon seit wirklich langer Zeit wird das über Machine Learning KI absolviert.

00:53:10: Bilderkennung letztendlich, die da läuft.

00:53:13: Die folgenden Abschnitte sind stärker regelbasiert.

00:53:17: im traditionellen Ansatz also bedeutet letztendling ich in meinem System erkennt ein Kind in einer bestimmten Entfernung es misst natürlich meine Geschwindigkeit den Abstand und so weiter.

00:53:32: und wenn eben dann klar ist was jetzt gerade die Ausgangssituation Dann gibt es in gewisser Weise, das ist jetzt vereinfachtgesprochen eine Wenn-Dann-Logik.

00:53:44: Also wenn du ein Kind in einer Entfernung erkennst Du hast die Geschwindigkeit und so weiter dann mache folgendes zum Beispiel Bremsen Das End to end Learning verfolgt einen anderen Ansatz.

00:53:57: Das bedeutet dass die gesamte Fahraufgabe letztendlich End-to-end Lernaufgabe eingeht.

00:54:07: Das heißt, die KI lernt nicht nur das Erkennen und Klassifizieren sondern sie lernt die gesamte Fahraufgaben.

00:54:15: also das heißt ich habe ein absolut gigantisches Trainingsdatenset ja mit wirklich unzähligen Daten aus dem Straßenverkehr, aber auch synthetische Daten ausm Internet und so weiter.

00:54:29: Also ähnlich ein bisschen wie die GenAI-Modelle, aber halt auf den Straßenverkehr bezogen.

00:54:34: Und aus diesem gigantischen Trainingsdatenset bringt sich die KI letztendlich das Fahren.

00:54:40: ich sage jetzt mal selber bei Ja, also es lernt aus diesem Trainingsdatenset nicht nur jetzt irgendwie Objekte zu erkennen sondern es lernte wie fährt man eigentlich Auto?

00:54:53: Was natürlich bedeutet das ist aus historischen Daten von Menschen letztendlich lernt.

00:55:00: Also das heißt es lerne davon wie wir Autofahren, wie wir Menschen autofahren lernt ist autozufahren des Fahrsystem.

00:55:08: und da ist natürlich ein Grundleg anderer Ansatz als der bisherige mit diesem modularen abgestuften Konzept.

00:55:18: Und

00:55:19: als Ethikerin habe ich dann was für ein Thema?

00:55:22: Gibt in der Ethik eigentlich keinen schwarz-weiß, ja also man kann jetzt nicht sagen das ist jetzt gut und das ist schlecht.

00:55:28: Ja genauso kann man nicht sagen der modulare Ansatz ist gut es End to end learning ist schlechter oder... Andersrum, ja?

00:55:34: Sondern man muss die verschiedene Dinge abwägen.

00:55:36: Das End-to-End Learning hat große Chancen.

00:55:39: Es wird erwartet dass es menschenähnlicher ist also das die Fahrweise dem Menschen angepasster ist, was ja ein großer Wert ist.

00:55:49: Weil manchmal kennen wir auch das, zum Beispiel Assistenzsysteme vielleicht Bremsen wo man selber nicht gebremst hätte oder sowas.

00:55:56: Ist ein großer wert wenn sie das leisten können.

00:55:59: es ist auch diese ganze Erkennung und Klassifizierung hat wirklich seine Probleme im modularen Ansatz.

00:56:05: ich habe jetzt einen Teil Ausschnitt genannt mit dieser Fairness-Thematik Das heißt wenn das wegfällt Vorteile, dass vielleicht dann auch eben diese Problematik entfällt.

00:56:19: Die ich beschrieben habe.

00:56:20: aber zwei Dinge muss man halt sagen.

00:56:22: das eine ist wir hatten es vorhin von den verschiedenen Fahrer Typen haben wir drüber gesprochen wenn ich jetzt von den Menschen lerne Dann lerne ich auch alles von den Menschen, das Gute und das Schlechte.

00:56:35: Also da ist es natürlich dann eine Frage wie was wird von dem Menschen gelernt?

00:56:38: Und wir wollen ja dass die autonomen Fahrzeuge sicherer sind!

00:56:42: Das heißt wir wollen vielleicht auch ein Verhalten des widerspricht sich jetzt mit dem menschengemäße Was ja vielleicht besser ist als der Mensch.

00:56:50: also sprich mehr Rücksichtnahme als die Menschenrücksichten eben zum Teil.

00:56:55: Und da ist natürlich die Frage, kann das das System leisten wenn es doch von den Menschen lernt?

00:57:00: Also da ist so ein Widerspruch!

00:57:02: Es soll besser sein als der Mensch aber es lernt vom Menschen.

00:57:06: also da kippt man ja irgendwie so einen Knoten im Kopf.

00:57:09: Du

00:57:09: musst mal lösen.

00:57:10: Ja ich sag nicht...es geht nicht..ich sage nur muss man lösen.

00:57:14: Und das andere, was ja sehr groß diskutiert wird, was ethisch natürlich auch ein großes Thema ist, ist das Thema Black Box.

00:57:20: Ist den KI-System zu eigen?

00:57:23: Dass Sie eine gewisse Blackbox-Charakter haben also dass man nicht immer weiß wie kommt jetzt das KI System zur seiner Entscheidung?

00:57:31: und da ist natürlich beim End to End Learning auch die Frage.

00:57:34: Also zum einen ex ante Woher weiß ich, dass das System gut genug ist?

00:57:39: Wir kennen von ChatGPT und Co.

00:57:41: das Problem mit den Halluzinationen, wie ist es jetzt bei einem End-to-End Learning System?

00:57:46: Und wie kann ich nachweisen, dass es sicher genug ist wenn ich nicht weiß, wie es zu seiner Entscheidung kam?

00:57:54: Das heißt, ich mache Tests in weiss nicht, wie viele Szenarien.

00:57:57: reicht das dann aus, sicher zu sein, dass die KI das kann, wenn ich doch gar nicht weiß warum sie das überhaupt hingekriegt hat!

00:58:06: Also das ist so eine konzeptionelle Frage und auch Ex-Post, wenn jetzt was passiert mit dem autonomen Fahrzeug.

00:58:14: Und es kommt leider jemand zu Schaden!

00:58:17: Ich kann dann den Menschen, den Angehörigen zum Beispiel überhaupt nicht erklären, was eigentlich passiert ist.

00:58:24: Dann ist das natürlich ethisch gesehen auch ein Problem weil Menschen wollen gerne Antworten haben.

00:58:30: Natürlich ist ... Wenn sowas leider passiert... Wenn ein Mensch wird verletzt oder getötet, dann kann ich das nicht rückgängig machen.

00:58:37: Aber Menschen suchen Antworten wenn so was passiert und was ist, wenn ich darauf eigentlich keine Antwort geben kann?

00:58:46: Das ist eben auch ein Aspekt, den man sich anschauen muss.

00:58:48: Ich finde es auch sehr spannend was da passiert.

00:58:51: ich setze aber eigentlich viele positive Erwartungen auch rein.

00:58:54: also ich würde nie von vornherein sagen das geht nicht oder was auch immer.

00:58:58: denke dass es da auch viele Chancen gibt.

00:58:59: man muss halt antworten auf die Fragen finden und ich habe das natürlich jetzt technisch auch simplifiziert dargestellt.

00:59:06: Kann gut sein, wenn wir jetzt einen versierten KI-Experten hier im Chat hätten.

00:59:11: Dass er vielleicht da nochmal andere Aspekte einbringen würde?

00:59:15: Ich weiß das noch.

00:59:16: Das war es aber schon ein paar Monate her.

00:59:18: Da ging es darum um Fahrzeugeautonomis fahren wurde eben trainiert einfach auf wie sich Menschen verhalten.

00:59:24: eine Auswirkung war dann diese so fahrenden autonome Fahrzeige haben lieber einem Stop-Shield gehalten.

00:59:30: Da wussten sie halt, die Trainingsdaten daudurch durchgehen.

00:59:34: Die rauszunehmen aus dem Training-Set wo die Leute nicht angehalten haben beim Stoppschild.

00:59:39: also das hatte ich jetzt daran nochmal daran erinnert.

00:59:42: und dann ist es ja eben genau die Frage wie du sagst Wie kriege ich etwas besser hin als der durchschnittliche Mensch wenn ich vom Menschen trainiere?

00:59:50: oder ist es denn eine durchschnitte Mensch?

00:59:53: Ich bin jetzt ganz verknotet.

00:59:56: Das ist ganz gerne mal der Effekt, wenn man eine philosophische Debatte geführt hat.

01:00:01: Dass man dann hinterher noch mehr Knoten hat als woher im Hirn.

01:00:05: Also das ist nicht ungewöhnlich.

01:00:08: aber am Ende wie soll ich sagen... kommt dann hoffentlich eine gute Lösung bei raus, wenn man so ein paar Knoten entwirrt hat.

01:00:19: Was ich auch ganz spannend und wichtig finde ist diesen sprichwörtlichen Knotennemkopf.

01:00:25: Die zu haben ist an der Stelle wichtig oder für die Leute spannend, die sich dieses Thema vielleicht zu einfach vorstellen.

01:00:35: Dass das Menschen möchten Antworten aufragen?

01:00:40: Ja hier gibt es zwei los Antworten.

01:00:42: Aber es gibt ganz klar Fragen, die man sich stellen muss auf die man vielleicht nicht sofort kommt wenn man sich nicht so tief damit beschäftigt.

01:00:50: Du kannst solche Fragen und vielleicht auch Antworten liefern?

01:00:55: Du hattest ganz kurz erwähnt du warst bei mir.

01:00:58: zählt ist du machst mittlerweile was Anderes.

01:01:01: Was machst du denn mittlerweile?

01:01:02: Ja, genau!

01:01:03: Also ich habe Mercedes Ende letzten Jahres verlassen weil ich all das Wissen was sich ansammeln durfte und an der Stelle auch ein dickes Dankeschön an alle die Menschen die mir auch sehr viel beigebracht haben anderen Unternehmen letztendlich zugutekommen lassen möchte und mit dazu beitragen dass diese aktuelle KI-Transformation in eine gute, verantwortungsvolle Richtung geht.

01:01:27: Und deswegen habe ich mich tatsächlich selbstständig gemacht und hab jetzt eine Unternehmensberatung zum Thema Responsible AI um eben mit Unternehmen solche Fragen zu diskutieren und sie vor allem zu unterstützen.

01:01:40: also mein Ziel ist eigentlich innovative Tech-Unternehmen erfolgreich zu machen indem sie eben gute Antworten finden.

01:01:47: Und das nicht nur, da geht es natürlich auch um den EU AI Act und all solche Dinge.

01:01:52: also nicht nur um die Regulatorien zu erfüllen sondern auch um einfach das bessere Produkt zu liefern.

01:02:00: Denn wer als Erstes Antworten hat, ist als Erster am Markt!

01:02:03: Das gilt für Europa übrigens ganz besonders.

01:02:06: Also nachdem das ja in deinen Podcasts und Beiträgen auf LinkedIn Newsletter schon hoch und runter thematisiert worden Wir haben keine Genehmigung in Europa.

01:02:17: Wer als Erstes den Knoten löst, ist der Erste auf der Straße und das ist tatsächlich mein Antrieb, das zu unterstützen weil ich innovative Technologie auf der Strasse sehen will in verantwortungsvoller Art und Weise.

01:02:30: Und wo findet jetzt jemand, der sagt die Isabel bräuchte für meinen Unternehmen von meinem Produkt?

01:02:34: Also ich glaube am leichtesten wahrscheinlich erstmal auf LinkedIn und dann von dort aus findet man meine Webseite und findet mich usw.

01:02:42: Und ich freue mich übrigens immer, wenn Leute einfach mal komplexe Dinge mit mir diskutieren wollen – ganz jenseits von geschäftlichen Interessen!

01:02:50: Ich freue mich immer wahnsinnig, wenn ich eben solche Fragestellungen höre und einfach einmal mit spannenden interessanten Leuten reden und diskutieren darf.

01:02:59: insofern keine Berührungsängste das ist wirklich gar nicht schlimm mit so einer Ethikerin mal zu reden.

01:03:05: Also ganz im Gegenteil, wie ich aus der eigenen Erfahrung sagen kann.

01:03:10: Ich finde es super, super spannend!

01:03:11: Die Zeit ist hier verflogen.

01:03:13: Isabel, danke für die Einsichten.

01:03:15: Ich bin überzeugt dass Leute sich überlegen, oh ist so eine Ethikerin, die brauche ich auch als Import hier von meinen Thematikern.

01:03:22: Vielen Dank dafür.

01:03:24: Ja, vielen Dank dir!

01:03:24: Es war mir eine Freude bei dir zu sein.

01:03:27: Ich schätze deinen Podcast auch sehr gehört zu deinen treuen Hörerinnen und freue mich sehr dass ich heute jetzt mal selber aktiv sein durfte.

01:03:35: Schön das freut wir zu dich zu hören.

01:03:37: also dann bis bald wenn ihr die Folge gefallen hat abonniert den Kanal und schreibt mir in die Kommentare welches Thema dich als nächstes interessiert.