In dieser Woche spielte sich eine scharfe Kluft über die Zukunft der künstlichen Intelligenz ab, als vier prominente Technologen und Transhumanisten darüber debattierten, ob der Bau einer künstlichen allgemeinen Intelligenz, oder AGI, die Menschheit retten oder zerstören würde. Das von der gemeinnützigen Organisation Humanity+ veranstaltete Panel brachte einen der lautstärksten KI-“Doomer”, Eliezer Yudkowsky, zusammen, der für die Abschaltung der fortschrittlichen KI-Entwicklung plädiert, neben Philosophen und Zukunftsforschern wie Max More, dem kognitiven Neurowissenschaftler Anders Sandberg und der emeritierten Präsidentin von Humanity+, Natasha Vita‑More. Ihre Diskussion offenbarte grundlegende Meinungsverschiedenheiten darüber, ob AGI mit dem menschlichen Überleben in Einklang gebracht werden kann oder ob ihre Schaffung das Aussterben unausweichlich machen würde. Das „Black-Box“-Problem
Yudkowsky warnte, dass moderne KI-Systeme grundsätzlich unsicher seien, weil ihre internen Entscheidungsprozesse nicht vollständig verstanden oder kontrolliert werden können. „Alles, was eine Black-Box ist, wird wahrscheinlich mit bemerkenswert ähnlichen Problemen enden wie die aktuelle Technologie“, warnte Yudkowsky. Er argumentierte, dass die Menschheit „sehr, sehr weit von den aktuellen Paradigmen entfernt sein“ müsse, bevor fortschrittliche KI sicher entwickelt werden könne. Künstliche allgemeine Intelligenz bezieht sich auf eine Form der KI, die in der Lage ist, zu reasoning und zu lernen über eine breite Palette von Aufgaben hinweg, anstatt für eine einzelne Aufgabe wie Text-, Bild- oder Videogenerierung gebaut zu sein. AGI wird oft mit der Idee der technologischen Singularität assoziiert, weil das Erreichen dieses Intelligenzniveaus Maschinen ermöglichen könnte, sich selbst schneller zu verbessern, als Menschen mithalten können. Yudkowsky verwies auf die Analogie des „Paperclip-Maximizers“, die von Philosophen Nick Bostrom popularisiert wurde, um das Risiko zu veranschaulichen. Das Gedankenexperiment beschreibt eine hypothetische KI, die alles verfügbare Material in Büroklammern umwandelt und so ihre Fixierung auf ein einzelnes Ziel auf Kosten der Menschheit vorantreibt. Mehr Ziele hinzuzufügen, sagte Yudkowsky, würde die Sicherheit nicht wesentlich verbessern.
In Bezug auf den Titel seines kürzlich veröffentlichten Buches über KI, „Wenn jemand es baut, stirbt jeder“, sagte er: „Unser Titel ist nicht so, dass es könnte dich möglicherweise töten“, sagte Yudkowsky. „Unser Titel ist, wenn jemand es baut, stirbt jeder.“ Doch More stellte die Annahme in Frage, dass extreme Vorsicht das sicherste Ergebnis bietet. Er argumentierte, dass AGI der Menschheit die beste Chance bieten könnte, dem Altern und Krankheiten zu begegnen. „Am wichtigsten für mich ist, dass AGI uns helfen könnte, das Aussterben jedes lebenden Menschen durch Alterung zu verhindern“, sagte More. „Wir alle sterben. Wir steuern auf eine Katastrophe zu, einer nach dem anderen.“ Er warnte, dass übermäßige Zurückhaltung Regierungen in Richtung autoritärer Kontrollen treiben könnte, um die KI-Entwicklung weltweit zu stoppen. Sandberg positionierte sich zwischen den beiden Lagern, beschrieb sich selbst als „optimistischer“ und blieb dennoch vorsichtiger als transhumanistische Optimisten. Er berichtete von einer persönlichen Erfahrung, bei der er fast ein großes Sprachmodell zur Unterstützung bei der Entwicklung einer Biowaffe genutzt hätte, eine Episode, die er als „erschreckend“ bezeichnete. „Wir kommen an einen Punkt, an dem die Verstärkung böswilliger Akteure auch ein riesiges Chaos verursachen wird“, sagte Sandberg. Dennoch argumentierte er, dass teilweise oder „annähernde Sicherheit“ erreichbar sein könnte. Er lehnte die Idee ab, dass Sicherheit perfekt sein muss, um bedeutungsvoll zu sein, und schlug vor, dass Menschen zumindest auf minimale gemeinsame Werte wie Überleben konvergieren könnten. „Wenn du perfekte Sicherheit forderst, wirst du sie nicht bekommen. Und das klingt aus dieser Perspektive sehr schlimm“, sagte er. „Auf der anderen Seite denke ich, dass wir tatsächlich eine annähernde Sicherheit haben können. Das ist gut genug.“ Skepsis gegenüber der Ausrichtung Vita-More kritisierte die breitere Debatte über die Ausrichtung selbst und argumentierte, dass das Konzept ein Maß an Konsens voraussetzt, das selbst unter langjährigen Mitarbeitern nicht existiert. „Das Konzept der Ausrichtung ist ein Pollyanna-Schema“, sagte sie. „Es wird niemals ausgerichtet sein. Ich meine, selbst hier sind wir alle gute Menschen. Wir kennen uns seit Jahrzehnten, und wir sind nicht ausgerichtet.“
Sie beschrieb Yudkowskys Behauptung, dass AGI zwangsläufig jeden töten würde, als „absolutistische Denkweise“, die keinen Raum für andere Ergebnisse lasse. „Ich habe ein Problem mit der pauschalen Aussage, dass alle sterben“, sagte sie. „Wenn man das als Zukunftsforscher und pragmatischer Denker angeht, hinterlässt es keine Konsequenzen, keine Alternativen, kein anderes Szenario. Es ist nur eine grobe Behauptung, und ich frage mich, ob es eine Art von absolutistischem Denken widerspiegelt.“ Die Diskussion beinhaltete eine Debatte darüber, ob eine engere Integration zwischen Menschen und Maschinen das Risiko, das von AGI ausgeht, mindern könnte—etwas, das Tesla-CEO Elon Musk in der Vergangenheit vorgeschlagen hat. Yudkowsky wies die Idee einer Verschmelzung mit KI zurück und verglich sie mit „dem Versuch, sich mit deinem Toaster zu verschmelzen“. Sandberg und Vita-More argumentierten, dass Menschen, wenn KI-Systeme immer leistungsfähiger werden, enger mit ihnen integriert oder verschmolzen werden müssten, um besser mit einer Welt nach AGI zurechtzukommen. „Diese ganze Diskussion ist eine Realitätsscheck darüber, wer wir als Menschen sind“, sagte Vita-More.