Carsten Roemheld: Eine Super-KI, die Menschen und ihre Fähigkeiten weit hinter sich zurücklässt. Eine künstliche Intelligenz, über die wir als Menschheit keine Kontrolle mehr haben, weil die KI sich genau dieser Kontrolle entzieht. Eine KI, die gegen ihre Schöpfer aufbegehrt. Was dystopisch klingt, sind Szenarien, mit denen sich die Wissenschaft längst beschäftigt. Der einflussreiche Physiker Stephen Hawking schrieb bereits im Jahr 2018: „Eine superintelligente KI wäre entweder das Beste oder das Schlimmste, was der Menschheit passieren könnte." Und heute sprechen wir mit künstlichen Sprachmodellen wie mit anderen Menschen. Und die, die diese Sprachmodelle erschaffen haben, reden über die sogenannte Singularität. Der Chef von OpenAI, Sam Altman, hat kürzlich in einem Blogbeitrag geschrieben, dass die Super-KI gar nicht mehr so weit weg sein könnte von dem Moment, der alles ändert. Der Moment, an dem die KI uns endgültig übertrumpft. Unsere Wirtschaft würde von enormen Produktivitätsgewinnen profitieren. Und die Welt stünde vor einem ganz neuen Abschnitt in der Menschheitsgeschichte.

Wie nah sind wir wirklich an der Entwicklung einer Superintelligenz, die alles ändert? Darüber spreche ich heute mit Florian Möslein. Er ist Gründungsdirektor des Instituts für das Recht der Digitalisierung und Professor für Bürgerliches Recht sowie Deutsches und Europäisches Wirtschaftsrecht an der Philipps-Universität Marburg. Dort beschäftigt er sich mit rechtlichen Themen rund um Digitalisierung, Blockchain und KI. Er ist außerdem stellvertretender Leiter des Hessischen Kompetenzzentrums für Verantwortungsbewusste Digitalisierung und er berät die hessische Landesregierung zum Thema Künstliche Intelligenz.

Mit ihm diskutiere ich die Frage, was allein die Möglichkeit einer sogenannten Singularität für unsere Gesellschaft und Wirtschaft bedeutet, welche Chancen darin liegen und welche Gefahren. Heute ist der 29. September 2025. Mein Name ist Carsten Roemheld. Ich bin Kapitalmarktstratege bei Fidelity und Sie hören den Fidelity Kapitalmarkt Podcast. Ich freue mich sehr auf Antworten auf diese Fragen und weitere spannende Eindrücke in den kommenden 45 Minuten mit Florian Möslein. Herzlich willkommen zum Podcast!

Florian Möslein: Vielen Dank für die Einladung. Ich freue mich sehr, heute dabei sein und mitdiskutieren zu dürfen.

Carsten Roemheld: Lassen Sie uns gleich einsteigen. Ich möchte noch einmal auf Altman zurückkommen, dem CEO des ChatGPT-Unternehmens OpenAI. Der hat ja eine nahende Singularität prophezeit. Können Sie noch einmal mit eigenen Worten kurz erklären: Was bedeutet Singularität eigentlich? Welche Kriterien müssen erfüllt sein, damit man von einer Super-KI sprechen kann?

Florian Möslein: Ja, sehr gerne. Es ist ein Begriff, der in verschiedenen Zusammenhängen nicht nur durch die wissenschaftlichen Zeitschriften, sondern auch durch den allgemeinen Diskurs geistert. Bis vor kurzem war das eigentlich noch ein Science-Fiction-Begriff. Es gibt einen Roman mit dem Titel "Singularity" von Joshua Tree. Der ist, glaube ich, Anfang der 2020er Jahre veröffentlicht worden. Und das war wirklich noch Science-Fiction ohne konkreten Realitätsbezug. Allerdings ist das auch in der Wissenschaft schon länger diskutiert worden. Sie hatten 2018 erwähnt, dass man in der Physik schon darüber diskutiert hat. Das ist auch in der Technik und in der Rechtsphilosophie schon seit einiger Zeit diskutiert worden. Dass es allerdings nicht nur ein Gedankenexperiment ist, sondern dass es tatsächlich eine realistische Zukunftsperspektive darstellt, ist letztlich erst ChatGPT und den rasanten, dynamischen Entwicklungen auf der technologischen Seite zu verdanken, die wir über die letzten ein, zwei Jahre gesehen haben.

Das hat zur Folge, dass man inzwischen wirklich in vielen Zusammenhängen und von vielen Fachleuten hört, der Moment sei nicht mehr weit entfernt. Es gibt etwa ein Buch von einem Bestsellerautor in den USA, Ray Kurzweil, aus dem letzten Jahr: „The Singularity Is Nearer" - also die Singularität ist schon ganz nahe. Die These lautet: Wir sind nicht mehr weit davon entfernt. Nun, ob das stimmt oder nicht, das hängt tatsächlich von den Kriterien ab, die Sie gerade schon angesprochen haben.

Carsten Roemheld: Man hat ja natürlich auf der einen Seite sehr beeindruckende Fortschritte der KI in letzter Zeit festgestellt. Jetzt gibt es andererseits immer noch Situationen, wo ChatGPT in relativ einfachen Dingen – Schach ist vielleicht nicht einfach – zum Beispiel gegen alte Schachcomputer noch verliert oder dass es bestimmte Matheaufgaben eine Zeit lang nicht gut lösen konnte. Wo stehen wir denn aktuell in dieser Entwicklung, dass einerseits so beeindruckende Ergebnisse vorliegen, andererseits aber bei bestimmten Grundfragen immer noch nicht ganz die Ergebnisse vorliegen, die wir vielleicht bräuchten?

Florian Möslein: Ich gehe zunächst noch einmal einen Schritt zurück und erkläre: Welche Kriterien sind das, die man anlegt, um beurteilen zu können, ob Singularität besteht? Dann würde ich das daran messen, wo wir aktuell stehen. In der Diskussion werden verschiedene Maßstäbe und Gesichtspunkte angesprochen. Aber letztlich sind es drei Hauptpunkte, die man als relevant für Singularität ansieht. Das ist einmal, dass die Maschine, die KI, möglichst autonom entscheiden können soll. Also unabhängig von menschlichen Vorgaben selbstständig handeln kann. Zweitens: Sie muss sich selbst verbessern können. Sie muss also lernfähig sein und aus Fehlern lernen können. Und drittens: Sie muss generalisierend tätig sein, also nicht nur in einer speziellen Materie, sondern übergreifend Entscheidungen treffen können oder auch übergreifend lernen können. Diese drei Kriterien werden sehr wichtig, glaube ich auch, wenn wir später im rechtlichen Zusammenhang diskutieren. Sie spielen eine große Rolle.

Jetzt aber zu der Frage: Wo stehen wir aktuell? Aktuell ist aus meiner Sicht viel passiert bei diesem Selbstverbessern und Selbstlernen. Wir erleben, dass wenn wir ChatGPT vor drei, vier Monaten etwas gefragt haben, die Antwort noch deutlich schlechter war, als wenn wir heute die gleiche Frage stellen. Also aus Fehlern lernen kann die KI bereits. Bei der Handlungsautonomie würde ich sagen, sind wir noch weiter entfernt. Denn letztlich liefert die KI Output, wenn wir ihr Prompts geben. Das heißt, der Mensch hat schon noch die Leitungshoheit. Er gibt vor, was die KI tun soll. Sie agiert nicht völlig autonom, sondern sie wird angeleitet. Und bei dem dritten Punkt, generalistisch zu sein, würde ich auch argumentieren, sind wir relativ weit davon entfernt. Es gibt die Sprachmodelle, es gibt die Schach-KIs, es gibt spezialisierte Arten von KI, aber es gibt nicht die KI, die mit den Menschen in allen Zusammenhängen konkurriert. Das ist vielleicht auch ganz gut so und es ist vielleicht auch gar nicht erstrebenswert, dass es die gibt. Aber wenn man das als Kriterium für Singularität ansieht, dann muss man feststellen: Da sind wir doch noch ein ganzes Stück davon entfernt.

Carsten Roemheld: Wer forscht denn maßgeblich an Singularität? Welche Einheiten, welche Institute? Woher kommt da der Hauptansatzpunkt momentan?

Florian Möslein: Da muss man natürlich zum einen in der Praxis die Tech-Konzerne nennen. Das sind in den USA die bekannten OpenAI, DeepMind und auch Anthropic, die dort maßgeblich sind. Gerade heute Morgen war in den Zeitungen der Bericht, dass sich Anthropic mit Autoren geeinigt hat bezüglich der urheberrechtlichen Beurteilung, wenn KI auf solcher Basis lernt.

Es gibt aber daneben in China wichtige Akteure wie Tencent und Baidu, die wiederum aus der Unternehmenspraxis die Entwicklung hin zu Singularität vorantreiben. In Europa hat man, wenn überhaupt, dann eher spezialisierte KI-Akteure, die rein größenmäßig nicht mit den amerikanischen und auch nicht mit den chinesischen mithalten können. Die nicht so generalisiert tätig sind, die aber vielleicht gerade durch die Spezialisierung noch einen gewissen Vorteil haben. Und dann muss man natürlich nennen, dass die Wissenschaft diese technische, diese unternehmerische Entwicklung beobachtet und sich dazu Gedanken macht: Was bedeutet das denn? Was bedeutet das, wenn eine Technologie stärker ist als der Mensch? Was hat das für philosophische, für geisteswissenschaftliche und auch für rechtliche Konsequenzen?

Carsten Roemheld: Jetzt würde ich noch einmal gerne auf diese geografischen Unterschiede eingehen. Es gibt ja dieses geflügelte Sprichwort „The US innovates and the EU regulates". Ist das auch ein Punkt, warum wir hier bisher einfach nicht mithalten können? Dass wir einfach einen Wettbewerbsnachteil haben, dass wir zeitlich ein Stück weit hintendran sind? Sind wir zu vorsichtig oder sind wir zu wenig fokussiert auf die Innovationsseite und mehr auf die Regulierungsseite? Würden Sie dem zustimmen?

Florian Möslein: Das ist eine Kritik, die man häufig hört. Ich würde den Befund nicht unbedingt an der starken Regulierung festmachen. Denn der AI Act ist erst seit kurzem in Kraft. Und die Tatsache, dass amerikanische Unternehmen stärker sind und diesen First-Mover-Advantage haben, das ist schon vorher entstanden. Das hat seine Wurzeln schon früher. Die Regulierung spielt aktuell eine Rolle, aber sie hat nicht in der Entwicklung der unterschiedlichen Unternehmen eine entscheidende Rolle gespielt.

Gleichzeitig denke ich, man sollte nicht unbedingt das Licht unter den Scheffel stellen als Europäer, sondern durchaus auch sehen, dass es in diesen Spezialbereichen - sei es Legal Tech, sei es auch im Deep-Tech-Bereich, also in der Verbindung aus KI und Maschinenbau - durchaus Vorteile gibt, die wir gegenüber den anderen Weltregionen haben. Aber ja, es gibt die Diskussion. Es gibt auch viel Forschung dazu, wie die unterschiedlichen Weltregionen miteinander konkurrieren - rechtlich, technisch - und wie da neue Modelle, neue Gesellschaftsmodelle im digitalen Bereich entstehen.

Carsten Roemheld: Ich muss sagen, wenn ich mich so umschaue, dann stelle ich fest: Auf der wissenschaftlichen Ebene sind wir wirklich ganz vorne dabei. Sie sind ja ein hervorragendes Beispiel dafür, dass wir auch sehr viele Lehrstühle haben, sehr viele Institute haben, die sich mit diesen sehr komplexen Themen beschäftigen. Aber vielleicht sind wir auf dem Weg von der Wissenschaft zur praktischen Umsetzung, zur Gründung von Unternehmen, zur Bereitstellung von Risikokapital schwächer. Da sind uns die Amerikaner einfach voraus und wo sie dann auch einige sehr vielversprechende Entwicklungen von uns abkaufen. Ist das tatsächlich eine Sichtweise, dass man sagen kann: Wissenschaftlich sind wir schon auf Top-Level, aber die Umsetzung in die Unternehmenslandschaft, da hapert es ein bisschen mehr bei uns?

Florian Möslein: Das würde ich sofort unterschreiben. Es gibt da einen wichtigen Faktor, der noch dazukommt, nämlich, dass diese Umsetzung in die Praxis häufig auch an Finanzierungsfragen scheitert - dass einfach in den USA mehr Venture Capital, mehr Finanzressourcen hineingesteckt werden. Das ist ein gewisser Nachteil in Europa, der auch auf verschiedenen Ebenen kompensiert wird, aber er wird eben nicht vollständig kompensiert bislang. Und das ist deswegen so wichtig, weil KI nicht nur eine Wissensbasis hat, sondern eben auch viele Ressourcen braucht: Rechenzentren, man braucht die Technik - das ist ein sehr aufwändiges Konstrukt, das man da bauen muss. Deswegen ist die Finanzversorgung ein ganz wichtiger Punkt.

Carsten Roemheld: Genau, da sind wir einfach noch ein gutes Stück weit von den amerikanischen Verhältnissen entfernt. Das muss man einfach ganz klar sagen. Ich möchte einmal ganz kurz auf die Singularität zurückkommen und Sie ganz pauschal fragen: Halten Sie es für realistisch, dass diese Singularität erreicht wird? Und welche Voraussetzungen sind dafür jetzt noch notwendig bei Forschung und Entwicklung oder auf Unternehmensseite, um das tatsächlich zu erreichen?

Florian Möslein: Ich bin sehr zuversichtlich, dass sich die KI weiter rasant entwickelt, dass wir auch grundlegende Umwälzungen sehen werden aufgrund von KI. Speziell Singularität - wenn man sie so definiert, wie wir es vorhin angesprochen haben, wenn wir diese Kriterien anlegen - ob die tatsächlich erreicht wird, erreicht werden kann und auch erreicht werden sollte, da bin ich durchaus skeptisch. Und zwar insbesondere bei diesem generalistischen Punkt. Ich glaube nicht, dass die KI in allen Bereichen dem Menschen überlegen sein wird. Es gibt auch interessante neuere Forschung, etwa zu der Frage bei unternehmerischen Entscheidungen: Wenn Vorstände Entscheidungen treffen müssen, dann gibt es durchaus Entscheidungen, wo man vielleicht heute schon, aber jedenfalls in naher Zukunft davon ausgehen kann, die KI kann das besser - weil man viele Daten braucht, die ein Mensch gar nicht mehr so verarbeiten kann, wie das eine KI kann. Aber es gibt eben auch strategische Entscheidungen, wo man sagen wird: Da gehört auch ein bisschen Bauchgefühl dazu. Da gehört auch strategisches, visionäres Denken dazu. Und ob das die KI besser kann, besser können wird als der Mensch - da habe ich meine Zweifel. Und es ist vielleicht auch ganz gut so, wenn das nicht so kommt. Auch was die Handlungsautonomie angeht - dass die Maschine wirklich selbstständig agiert - bezweifle ich, ob das jemals so kommen wird. Denn es sind doch einfach auch Anreize, die uns Menschen antreiben, die man vielleicht auch nicht so auf Maschinen projizieren kann. 

Mal abgesehen von diesen Vorbehalten: Was sind die Hindernisse auf dem Weg zur Singularität? Einmal Kapitalkosten - ich habe sie schon angesprochen: Rechenzentren, Halbleiter. Man braucht viel Investition. Technisch ist der Energieverbrauch ein limitierender Faktor. Aber auch die Tatsache, dass man Maschinen keine Gefühle beibringen kann, nicht Anreize beibringen kann, nicht visionäres Denken im gleichen Maße beibringen kann, wie das Menschen beherrschen. Und dann gibt es natürlich auch rechtliche Begrenzungen. Sie haben die Europäische Verordnung angesprochen. Auch Haftungsfragen spielen eine Rolle. Und das sind Grenzlinien, die diesen wirtschaftlichen Antrieb ein Stück weit reduzieren können.

Carsten Roemheld: Jetzt haben Sie ja immer wieder auch diese Grenze zwischen Mensch und Maschine genannt. Und Sie hatten vorhin auch schon einmal den KI-Forscher Ray Kurzweil genannt, der davon ausgeht, dass die KI uns in Sachen Intelligenz im Jahr 2029 überholen wird. Er spricht auch davon, dass der Mensch mit der Super-KI verschmelzen könnte. Was also, wenn die Trennschärfe gar nicht mehr hergestellt wird, sondern in irgendeiner Art und Weise durch die Verbindung von Biologie und maschineller Intelligenz eine Mischform in Zukunft entsteht, und auf diese Art und Weise diese Grenzen auf Dauer verschwimmen? Die Frage ist natürlich: Wollen wir das? Das muss man erst einmal vielleicht definieren. Aber wird der Mensch dadurch auf Dauer vielleicht sogar überflüssig in einem solchen Szenario? Ist das realistisch?

Florian Möslein: So wie Sie das geschildert haben, klingt es ja erstmal sehr furchteinflößend. Und das klingt ja fast so, als ob wir Chips in unsere Köpfe eingesetzt bekommen und dann quasi von der Maschine gelenkt werden. Das klingt mir doch noch ziemlich nach Science-Fiction und ich glaube, da gibt es auch einfach ethische Vorbehalte und wahrscheinlich auch wenig Menschen, die bereit wären, das an sich testen zu lassen. Was allerdings tatsächlich ein wichtiger Punkt ist – und das spielt auch in vielen Rechtsgebieten eine Rolle – ist die Grenzlinie zwischen: Einerseits berät die Maschine den Menschen oder stützt den Menschen, gibt dem Menschen vielleicht auch Ratschläge, was sinnvoll ist, was zu tun ist, bereitet Daten vor. Andererseits entscheidet die Maschine selbst, die KI entscheidet selbst.

Das ist in vielen rechtlichen Zusammenhängen eine Wasserscheide. Denn bei der reinen Unterstützung durch KI ist es immer noch der Mensch, der die Verantwortung für die Entscheidung hat und der Mensch, der auch dafür geradestehen muss. Das spielt im Haftungszusammenhang eine Rolle, spielt aber auch im unternehmerischen Zusammenhang eine Rolle, dass eben ein Vorstand dafür geradestehen muss für die Entscheidung. Und deshalb auch die Entscheidung noch einmal überprüft, noch einmal durchdenkt, noch einmal überlegt, ob das plausibel ist, was die KI ihm geraten hat. Und andererseits, wenn eine KI wirklich komplett selbstständig Dinge entscheidet und der Mensch da gar nicht mehr "in the loop" ist, wie es so häufig heißt, da wird es dann rechtlich sehr viel schwieriger damit umzugehen, weil man eben keinen menschlichen Akteur, keine menschlichen Entscheidungsträger mehr hat.

Theoretisch-rechtlich ist da also eine scharfe Grenze dazwischen. In der Praxis verschwimmt diese Grenze, und zwar schlicht deshalb, weil es auch immer schwieriger wird für Menschen, von den Entscheidungsvorschlägen abzuweichen, die eine KI macht. Denn wenn man mitbekommt, wie schnell, wie effizient sie Informationen verarbeitet, dann muss man sich erst einmal trauen zu sagen: "Ich bin aber schlauer und ich entscheide jetzt trotzdem B, obwohl die KI mir A vorschlägt." Das ist ein gewisser Anreiz, der Maschine quasi blind zu folgen. Und dann hat man keine echte menschliche Verantwortung mehr.

Carsten Roemheld: Und genau darauf wollte ich hinaus. Sie haben jetzt den rechtlichen Aspekt angesprochen. Aber wie ist denn der gesellschaftliche Aspekt, wenn man sieht, dass die KI alles besser macht und in allen Bereichen vielleicht bessere Entscheidungen trifft und als Mensch man eigentlich relativ wenig Einfluss darauf hat? Das ist sicherlich gesellschaftlich eine schwierige Situation, mit der man schwer umgehen kann.

Florian Möslein: Absolut, und auch auf vielen verschiedenen Ebenen. Das beginnt, wenn man an banale Einkäufe denkt: Wenn man im Internet Dinge kauft und bisher über verschiedene Anbieter scrollt oder vielleicht auch googelt, wer das beste Produkt zum günstigsten Preis anbietet. Wenn man stattdessen dann einen KI-Agenten losschickt mit dem Auftrag „Kauf mir mal was Schönes", dann wird die Entscheidung übertragen. Das ist praktisch, das ist bequem. Aber es birgt eben auch einfach Risiken. Und wenn man sich dann noch vorstellt, dass auf beiden Seiten - Käufer und Verkäufer - KI-Agenten miteinander verhandeln, dann birgt das schon die Gefahr, dass das dann nicht mehr menschlicher Kontrolle unterliegt. Und wenn man das Ganze dann auf Finanzmärkten hat, auf Produktmärkten hat, auf Dienstleistungsmärkten hat, dann sind es durchaus tiefgreifende Umwälzungen.

Gesellschaftlich hat es natürlich auch das Problem, dass dadurch viele Arbeitsplätze wegfallen. Und das sieht man in ganz unterschiedlichen Sektoren. Das sieht man überall, übrigens auch im juristischen Bereich, dass viele juristische Tätigkeiten viel günstiger von KIs nach und nach übernommen werden können. Also insofern birgt das schon ein massives gesellschaftliches Konfliktpotenzial. Das wird uns intensiv, glaube ich, in den nächsten Jahren beschäftigen: Wie wir damit umgehen, wie wir das Ganze auch als Gesellschaft bewältigen, ob wir Regeln dafür erlassen, ob wir eine gewisse Kontrolle darüber behalten. Das sind zentrale Fragen - gesellschaftlich, politisch, rechtlich, auch technisch.

Carsten Roemheld: Genau das haben Sie jetzt eben angesprochen. Es würde tiefgreifende Veränderungen geben, auch auf den Arbeitsmärkten. Und die beginnen jetzt schon. Wo sehen Sie denn da den optimistischen Ausgang? Also wir haben es vorhin beschrieben: Es gibt auch eine Welt, in der die Maschinen und die KI die Entscheidungen perfekt vorbereiten, die dann aber der Mensch noch trifft. Oder der Mensch muss immer noch ein Auge drauf werfen, bevor die KI etwas autonom oder selbstständig entscheidet. Sehen Sie das realistisch, dass wir die KI noch so im Griff haben werden, dass wir das regeln können? Die KI erleichtert und macht bestimmte Dinge effizienter. Der Mensch ist aber immer noch als letzte Entscheidungsinstanz da. Ist das eine realistische Sichtweise der Zukunft?

Florian Möslein: Ich denke ja. Ich hoffe jedenfalls ja, aber ich denke auch ja. Und zwar deswegen, weil das ein Stück weit korrespondiert mit dem Punkt, den ich vorhin gebracht habe, dass ich diese generalisierende KI nicht sehe. Sondern letztlich ist eine KI zwar zunehmend autonom, selbstlernend, aber sie wird als Werkzeug oder als Instrument konzipiert, das Menschen hilft und Menschen unterstützt. Und der Mensch ist trotzdem noch der, der promptet und der der KI sagt, was sie tun soll. Und ich glaube, das wird schon auch noch so bleiben. Einfach deswegen, weil ja auch KI-Anwendungen verkauft werden müssen und deswegen ein Interesse von Menschen bestehen muss, dass es solche KIs gibt. Und insofern glaube ich, wird Angebot und Nachfrage schon auch dazu führen, dass KIs sehr hilfreiche, sehr starke, sehr potente Instrumente bleiben, aber eben Instrumente bleiben und nicht selbst die Zügel in die Hand nehmen. Das wäre jedenfalls meine Hoffnung. Und ich habe auch ein gewisses Vertrauen, dass es sich in die Richtung entwickeln wird.

Carsten Roemheld: Da hoffe ich auch, dass Sie recht haben und recht behalten an dieser Stelle. In Deutschland merken wir ja gerade akut den Fachkräftemangel, an vielen Stellen fehlt Nachwuchs. Tech-Visionäre wie OpenAI-Chef Sam Altmann versprechen sich von der Super-KI enorme Produktivitätsgewinne. Was denken Sie: Können wir die Auswirkungen des demografischen Wandels dadurch womöglich elegant kompensieren? 

Florian Möslein: Tatsächlich sehr schwierige Frage. Sie stellen mir viele schwierige Fragen, aber das ist vielleicht die schwierigste. Ich versuche es einmal herunterzubrechen auf einen Teil des Arbeitsmarktes. Und ich nehme jetzt einfach den Teil, der mir als Jurist relativ nahe liegt, nämlich juristische Tätigkeiten, Anwaltskanzleien. Dort hat man tatsächlich einerseits ein Nachwuchsproblem, weil Demografie und andere Effekte dazu führen, dass es für Kanzleien zunehmend schwerer ist, qualifizierten Nachwuchs zu finden. Andererseits hat man den Effekt, dass die KI zunehmend Tätigkeiten übernehmen kann, die traditionell eher Associates, eher junge Berufsanfänger erledigt haben. Das Durchforsten von vielen Unterlagen vor einem Unternehmenszusammenschluss etwa, Due Diligence, das macht man schon lange nicht mehr im Datenraum, wo dann die jungen Referendare und Berufsanfänger hineingesetzt werden und Ordner für Ordner durchblättern, sondern das kann zunehmend eine KI gut erledigen. Insofern kann das Problem - nämlich Nachwuchsmangel – durchaus durch KI ein Stück weit kompensiert werden.

Ein längerfristiges Problem, das daraus aber entsteht, ist, dass der Weg zu den höheren Positionen - dass man einmal Partner wird in einer Kanzlei und dass man die strategischen Beratungsaufgaben von fortgeschritteneren Anwälten übernimmt - dass das auch Einlernen erfordert und dass deswegen dieses Wegfallen der Übungsmöglichkeit in den jüngeren Jahren sich durchaus als Problem entwickeln kann. Dass man da quasi eine Art Alters-Gap und Erfahrungs-Gap hat. Und dass dadurch, dass Maschinen diese vermeintlich leichteren Aufgaben oder eher routinemäßigen Aufgaben übernehmen können, man nicht mehr an den Punkt kommt, wo der Mensch wirklich im Vorteil ist, nämlich strategisch zu planen, zu entscheiden und die Dinge zusammenzuführen.

Also deswegen: Ja, ein Stück weit lässt es sich kompensieren. Aber es ist nicht friktionslos. Und es wird Reibungen geben. Und es wird Probleme geben. Deswegen kann ich nur eine sehr ambivalente Antwort geben.

Carsten Roemheld: Das werden wir weiter verfolgen und es dürfte sehr spannend sein, in den nächsten Jahren die Entwicklung in diesem Bereich weiter zu sehen. Jetzt möchte ich noch einmal auf die großen Tech-Konzerne zu sprechen kommen, die uns ja alle in diesen Fragen auch beherrschen: Meta, Microsoft, Alphabet oder OpenAI, die eine große ökonomische und auch politische Macht inzwischen besitzen. Darüber habe ich in einem vorhergehenden Podcast mit Martin Andree gesprochen. Da ging es vor allen Dingen um Datenschutz, um Wettbewerb, um KI-Regulierung usw., die diese Unternehmen ja auch beeinflussen wollen zu ihren Gunsten. Und einige der großen Tech-Bosse aus dem Silicon Valley haben ja einen guten Draht zu US-Präsident Donald Trump aufgebaut, um auch in gewisser Weise Lobbyarbeit für sich zu leisten und den politischen Schutz auch gegenüber Entities wie der EU zu suchen. Das scheint ja auch ein bisschen zu gelingen. Aber die Frage ist jetzt: Wenn wir nun einmal auf Singularität und die große Macht im Bereich der KI zu sprechen kommen - wenn diese Macht noch weiter zu diesen Konzernen hin verschoben wird, das ist ja doch eine sehr gefährliche Mischung, die aus Politik und den führenden Tech- und KI-Unternehmen entsteht. Würden Sie dem zustimmen?

Florian Möslein: Ich stimme dem Befund zu. Ich möchte hinzufügen, dass es sich noch ein bisschen weiterdenken lässt in Richtung dieser geopolitischen Komponente, die Sie angesprochen haben. In den USA ist es tatsächlich so, dass unter Trump die Macht dieser Konzerne rasant anwächst, rasant zunimmt - und eben nicht nur wirtschaftlich und auch nicht nur technisch, sondern ganz stark auch politisch. Wir haben das alle tagtäglich verfolgt.

Umgekehrt hat Europa eher den regulierenden Ansatz. Und die Frage ist, wie sich diese Dynamik zwischen Europa und USA entwickelt. Beim Datenschutz - DSGVO - hatte man immer noch vom „Brussels Effect" gesprochen und meint damit, dass wenn Europa Datenschutz reguliert, dann hat das nicht nur in Europa Effekte, sondern das schwappt gewissermaßen über auch in andere Weltregionen. Denn auch amerikanische Konzerne müssen die Vorgaben der DSGVO befolgen, wenn sie in Europa ihre Dienste anbieten wollen. Den gleichen Spillover-Effekt, den gleichen Brussels Effect, den erhofft man sich auch im Bereich KI-Verordnung, aber auch Data Act, Data Governance Act, also in der gesamten europäischen Digitalregulierung, die in den letzten Jahren entstanden ist. Aber ob es dazu wirklich kommt? Da würde ich ein großes Fragezeichen hinter setzen. Nicht so sehr, weil diese neueren Rechtsakte rechtlich anders gestrickt wären als die Datenschutzgrundverordnung, sondern weil Donald Trump schwer berechenbar ist. Und wenn Donald Trump nun Zölle androht, weil Europa seine Digitalregulierung auch über die Grenzen Europas hinaus ausdehnt, dann droht jedenfalls die Gefahr, dass die EU da einknickt und eben Ausnahmen oder Verwässerungen vorsieht. Und das ist eine Entwicklung, die ganz schwer vorhersehbar ist. Das ist letztendlich ein Machtspiel zwischen den USA und Europa. Und das hängt auch sehr vom Agieren des aktuellen Präsidenten ab. Und wir wissen alle, wie schwer das vorherzusehen ist.

Carsten Roemheld: Absolut. Und die EU macht bis jetzt nicht den Eindruck, als wollte sie sich zu einem ebenbürtigen Gegner aufschwingen oder als würde sie dort sehr stark mit großem Widerstand operieren. Also das ist sicherlich ein Problem. Aber noch einmal zum Thema AI Act und der Frage: Wenn man die Singularität voraussetzt, bei der man ja, wenn man das jetzt einmal weiterdenkt, gar nicht mehr unbedingt voraussagen kann, wie sie agieren würde, und gleichzeitig sieht man den Rechtsrahmen, der dadurch geschaffen worden ist – etwa, dass sie nicht menschliche Schwächen ausnutzen soll, dass sie nicht Alter oder Behinderung und solche Dinge berücksichtigen soll - bei dieser Singularität kann man diese Dinge wahrscheinlich gar nicht mehr ausreichend vorhersagen. Die Frage ist: Reicht das dann überhaupt noch aus, dieser Rechtsrahmen, selbst wenn er Gültigkeit besäße? Oder ist das dann fast obsolet?

Florian Möslein: Eine sehr spannende Frage. Wenn man sich die KI-Verordnung anschaut, dann ist das ein furchtbar komplizierter Rechtsakt. Sehr umfangreich, sehr viele Einzelvorschriften, sehr schwer zu durchblicken. Aber im Kern ist die Idee hinter dieser KI-Verordnung, dass man verschiedene Risikokategorien von KI-Anwendungen hat: Hochrisikoanwendungen, die teils ganz verboten sind; bei hohem, aber nicht ganz so hohem Risiko sehr strenge Anforderungen, Offenlegung, aber auch Überwachung von KI-Systemen. Und je weniger Risiko, desto großzügiger ist diese Verordnung.

Warum erwähne ich diese Architektur der KI-Verordnung? Weil sie mit dem Singularitäts-Gedanken oder der Singularitäts-Entwicklung ein Stück weit in Konflikt steht. Denn sie setzt voraus, dass man vorhersehen kann, wie viel Risiko eine bestimmte KI-Anwendung mit sich bringt. Und wenn wir Singularität ernst nehmen, insbesondere Generalisierungen von KI ernst nehmen, dann tut die eben, was sie selbst entscheidet. Dann ist es so wenig vom Menschen gesteuert, dass man auch die Risiken nicht vorhersehen kann. Das heißt, man weiß gar nicht, in welcher dieser Kategorien der KI-Verordnung man steckt. Wenn es also wirklich zu einer generalisierten Singularität kommt, dann kommt die KI-Verordnung vermutlich an ihre Grenzen. Aber ob es dazu kommt, hatte ich vorher schon darüber gesprochen: Es ist zweifelhaft. Und ich glaube, für den Moment reicht die KI-Verordnung. Man muss da wirklich beobachten, wie sich die technische Entwicklung weiter gestaltet.

Carsten Roemheld: Und wenn es jetzt diese Super-KI gäbe, müsste man sie dann vielleicht sogar juristisch behandeln wie eine Person, statt nur die Betreiber in die Verantwortung zu nehmen? Ist das eine der Möglichkeiten, wie man dem vielleicht begegnen könnte?

Florian Möslein: Rechtlich hat so eine Super-KI vor allem drei Dimensionen. Es ist einmal die Frage: Braucht sie vielleicht eine Zulassung? Also gibt es eine Art Ex-ante-Kontrolle, dass bevor so eine KI überhaupt tätig werden darf, eine Behörde ihr erlaubt, dass sie das tut? Also die Frage der Ex-ante-Kontrolle, wäre vielleicht eine Überlegung, wenn sie sich wirklich entwickelt. Der andere Punkt ist die Haftung . Wer haftet eigentlich für die Aktivitäten von so einer Super-KI? Brauchen wir eine Art Betriebsgefahr, wie wir sie im Straßenverkehr haben? Brauchen wir vielleicht noch eine strengere Haftung? Aber wer bezahlt diese Schäden dann? Und damit sind wir beim dritten Punkt, nämlich die Frage: Müssen wir so eine Super-KI als eigene Rechtsperson, als eigenen Adressaten von rechtlichen Regelungen ansehen? 

Dazu gibt es schon länger eine Diskussion. Das hat 2017, glaube ich, schon einmal das Europäische Parlament gefordert, dass man einen Personenstatus für KIs vorsieht. Die Mehrheitsmeinung der Juristinnen und Juristen sagt: Nein, das ist nicht sinnvoll. Und der Grund, warum sie das sagt, ist, dass es zwar durchaus auch Nicht-Menschen gibt, die Rechtspersonen sind - also etwa Unternehmen, Aktiengesellschaften, Kapitalgesellschaften, die sogenannten juristischen Personen. Aber die zeichnen sich alle dadurch aus, dass sie ein Haftungsvermögen haben, dass sie einen Topf haben, aus dem Schäden bezahlt werden können, wenn so ein Unternehmen haftet. Und bei einer KI wäre das nicht der Fall. Und es ist auch schwer vorstellbar, wie so ein Haftungsfonds aussehen könnte, weil dort häufig verschiedene Akteure vernetzt agieren: der Entwickler der KI, der Hersteller, der das anbietet, aber dann auch derjenige, der den Prompt in den Chat schreibt. Also es ist eine vernetzte Situation, die sich unterscheidet von den juristischen Personen, die wir bisher kennen. Je schneller sich KI entwickelt, desto relevanter wird diese Diskussion werden. Aber heutiger Befund ist: Man ist skeptisch, was die Anerkennung als Rechtsperson angeht.

Carsten Roemheld: Und das sagte mir auch Alena Buyx, mit der ich vor einiger Zeit über KI-Regulierung gesprochen habe. Sie war damals noch Mitglied im Deutschen Ethikrat und hat sich mit dem Thema sehr ausführlich befasst. Und sie hat immer wieder gesagt: „human in the loop" - ein Mensch muss immer noch in diesem Verantwortungsprozess mit dabei sein und muss am Ende die Verantwortung tragen. Also so würden Sie es jetzt in abschließender Beurteilung auch sehen, dass nicht eben die KI selbst, sondern ein Mensch in dieser Kette noch die Verantwortung übernehmen muss?

Florian Möslein: So würde ich es auch sagen. Gleichzeitig erinnere ich noch einmal an das Problem, das ich vorhin genannt habe: Je besser die KI wird, desto größer ist das Risiko, dass der Mensch nur noch formal mit dabei ist, weil es immer schwieriger wird, der KI zu widersprechen. Deswegen ist „human in the loop" ein wichtiger Grundgedanke. Aber man muss auch sehen, dass es nicht zu einer Formalität wird, sondern wie man gewährleisten kann, dass der Mensch auch wirklich eigenverantwortlich entscheidet - der Mensch, der "in the loop" ist.

Carsten Roemheld: Jetzt haben wir ja wirklich viel über Singularität gesprochen, Super-KI und so weiter. Aber wenn man sich die europäische KI-Verordnung einmal durchliest, da kommt der Begriff ja gar nicht vor. Auch nicht auf der Liste verbotener Systeme. Man kann aber nicht garantieren, dass eine Super-KI nicht etwa genau das auch macht, was eigentlich ausgeschlossen werden sollte: Menschen manipulieren oder Schwächen ausnutzen. Wäre dann eine Super-KI überhaupt erlaubt vor dem Hintergrund des AI Acts?

Florian Möslein: Da muss ich dazu sagen: Wenn meine Studenten anfangen, Fälle, die von Gerichten entschieden worden sind, die Sachverhalte zu ändern und etwas dazu zu denken, etwas wegzudenken, dann versuche ich ihnen immer zu sagen: Man muss extrem aufpassen, wenn man versucht Fantasiefälle zu lösen. Und dieser Grundsatz gilt auch hier. Denn wir wissen ja noch nicht, wie eine Super-KI aussehen könnte. Und ich glaube auch nicht, dass wir wirklich zu einer Singularität in dem vorhin definierten Sinne kommen. Deswegen fällt es mir im Moment noch schwer, wirklich zu beurteilen, ob so eine Super-KI erlaubt oder nicht erlaubt wäre nach der Verordnung.

Ich will einmal sagen: Wenn sie wirklich den Kriterien entspricht, also generalisierend agiert und auch wirklich völlig autonom agiert, ohne dass ein Mensch ihr Aufträge erteilt, dann gehe ich davon aus, dass sie nicht zulassungsfähig unter der KI-Verordnung wäre. Schlicht deshalb, weil sie dem Manipulationsverbot und ähnlichen Kriterien, die die Verordnung vorsieht, widersprechen würde.

Carsten Roemheld: So, jetzt möchte ich zum Abschluss noch einmal Ihre allgemeine Einschätzung haben. Sie haben ja schon angedeutet, dass Sie nicht glauben, dass dieses Thema Singularität in der Form, in der puren Form - Generalintelligenz und alle Kriterien, die Sie vorhin genannt haben - dass das wirklich zum Zuge kommt. Jetzt würde ich einmal einfach eine generelle Stimmung bei Ihnen abfragen wollen: Sind Sie eher optimistisch oder besorgt über den technologischen Fortschritt? Wenn Sie sehen, was alles im Gange ist und wo wir uns hinbewegen - sehen Sie da die positiven Dinge sehr deutlich im Vordergrund und glauben Sie, wir können die dystopischen und negativen Kriterien irgendwie im Hintergrund lassen? Oder halten Sie doch die Gefahren, die mit diesem Weg, den wir gerade einschlagen, die damit verbunden sind, für sehr groß und haben eher eine skeptische Weltsicht? Vielleicht können Sie einmal ein paar Kriterien nennen und ein paar Gedanken, wie Sie die Welt momentan sehen.

Florian Möslein: Als Wissenschaftler beobachte ich ja vor allem und finde es sehr spannend, wie die Entwicklungen laufen. Ich versuche es möglichst neutral zu beobachten. Aber wenn Sie mich so fragen, würde ich mich weder an dem einen noch an dem anderen Ende des Spektrums verorten. Also ich bin nicht derjenige, der wie früher bei der Erfindung der Eisenbahn die Hände über dem Kopf zusammenschlägt und sagt: „Das ist des Teufels." Ich bin umgekehrt auch nicht rein blind technikbegeistert, sondern ich sehe durchaus die Risiken. Und wir haben ja über viele der Risiken gesprochen. 

Wichtig ist, dass wir als Gesellschaft, dass wir auch politisch, dass wir auch von der Wissenschaft den Prozess sehr genau begleiten, sehr genau Stellung nehmen und sehr gründlich überlegen: Wie wollen wir denn eine künftige digitale Gesellschaft? Und welche Regeln brauchen wir dafür? Was sollte erlaubt sein? Was sollte verboten sein? Und nicht nur erlaubt oder verboten, sondern auch: Welche Rechtsregeln brauchen wir, wenn Maschinen, wenn KIs eine größere Rolle spielen? Vielleicht darf ich noch ein Beispiel erwähnen. Wir haben viel über die KI-Verordnung gesprochen. Die ist tatsächlich regulierend, die verbietet vieles und die macht auch viele strenge Vorgaben. Aber ich möchte auf eine andere Regelung hinweisen, die im letzten Jahr verabschiedet worden ist von einer internationalen Institution – UNCITRAL – und wo es darum geht zu fragen: Was brauchen wir denn für Regeln, wenn eine KI Verträge schließen kann?

Und da geht es nicht darum, das zu verbieten, sondern da geht es auch darum: Welche Anforderungen muss denn eine Erklärung erfüllen, damit sie als Vertragserklärung im klassischen vertragsrechtlichen Sinne verstanden werden kann? Was passiert, wenn die KI Fehler macht? Muss das dann die eine oder der andere Vertragspartner sich zurechnen lassen? Da geht es aber auch um die Frage: Können da überhaupt wirksame Verträge entstehen, wenn zwei KIs miteinander verhandeln? Und es geht auch dann natürlich um Fragen wie: Wie kann man solche Erklärungen, die eine KI abgibt, auslegen? Alles Fragen, wo unser klassisches Vertragsrecht keine eindeutigen Antworten weiß. UNCITRAL hat nun eine Art Modellregeln erstellt, wo man nun diskutieren muss, ob die auf europäischer, auf deutscher Ebene umgesetzt werden. Da sieht man: Rechtspolitisch haben wir viel zu diskutieren. Aber man sieht auch, Recht ist nicht nur etwas, was verbieten kann, sondern Recht ist auch etwas, was eine Infrastruktur schafft, damit solche technischen Anwendungen auch sinnvoll funktionieren können und auch rechtlich nachvollziehbar funktionieren können. Das ist für mich als Privat- und Wirtschaftsrechtler ganz wichtig, dass das Recht eben auch einen sinnvollen Rahmen für solche technologischen Entwicklungen bieten kann.

Carsten Roemheld: Das ist ein wunderbarer Abschluss und es gibt uns einen wunderbar balancierten Blick auf die Situation und hilft uns hoffentlich, einige der größten Pessimisten ein bisschen sanft zu stimmen und eher den optimistischen Fall in den Vordergrund zu stellen, bei dem der Mensch irgendwo noch in Kontrolle ist im Laufe der Zeit. Und die KI nutzen kann, um verschiedene Effizienzgewinne, Produktivitätsgewinne und verschiedene Vereinfachungen zu erreichen. Professor Möslein, ich danke Ihnen vielmals für dieses sehr spannende Gespräch und den tollen Abschluss mit Ihnen und danke, dass Sie heute unser Gesprächspartner waren.

Florian Möslein: Danke Ihnen! Das hat sehr viel Spaß gemacht und ich habe sehr viel dabei gelernt. Vielen Dank für die guten Fragen.

Carsten Roemheld: Das freut mich sehr. Auch Ihnen, liebe Zuhörerinnen und Zuhörer, herzlichen Dank für Ihr Interesse. Ich hoffe, Sie konnten heute wieder ein paar sehr gute Gedanken mitnehmen und ich würde mich sehr freuen, wenn wir uns bei einer der nächsten Ausgaben oder bei einem der vielen anderen Fidelity-Formate wiedersehen würden. Das war's für heute. Herzliche Grüße,

Ihr Carsten Roemheld