Jede Maschine, die jemals von Bedeutung war, wurde von Menschenhand gebaut. Jemand hat den Bauplan gezeichnet, den Stahl geschnitten oder den Code geschrieben und ihn dann vor dem Versand abgesegnet.
Wir streiten darüber, wer reich wird und wessen Job verschwindet, aber hinter diesen Auseinandersetzungen steckt die Annahme, dass sich fast niemand die Mühe macht, laut auszusprechen: Es ist immer der Mensch, der den Stift in der Hand hält.
Für den größten Teil der Computergeschichte galt diese Annahme mühelos. Ingenieure tippten die Programme, mit denen Banken, Flugzeuge und Telefone betrieben wurden, und als ein früher Chatbot anbot, ein oder zwei Zeilen auszufüllen, fühlte es sich eher wie ein schnellerer Bleistift als wie eine andere Hand auf der Seite an.
Dieses Bild hat sich stillschweigend umgekehrt. An der Spitze der Branche schreibt jetzt die Maschine den größten Teil des Codes und der Mensch überprüft ihn, wodurch die Person vom Autor zum Herausgeber wird, ohne dass jemand über die Änderung abstimmt. Der schnellere Bleistift begann von selbst zu zeichnen.
Das Unternehmen, das diesen Wandel am stärksten vorantreibt, warnt nun davor, wohin er führt. Anthropic (ANTH.PVT), der Hersteller des Claude-Assistenten, veröffentlichte am 4. Juni einen Bericht, in dem er dies argumentierte KI Systeme könnten sich nähern rekursive Selbstverbesserungder Moment, in dem sie mit wenig menschlichem Zutun ihre eigenen Nachfolger entwerfen und bauen.
Das Unternehmen stellte es nicht als entfernte Hypothese dar. Anthropic sagte, es habe diesen Punkt noch nicht erreicht und das Ergebnis sei nicht unvermeidlich, fügte dann hinzu, dass es früher eintreten könnte, als die meisten Institutionen bereit sind.
Um seine Arbeit zu zeigen, blickte das Unternehmen nach innen und berichtete, dass seine eigenen Ingenieure nun achtmal so viel Code pro Quartal ausliefern wie im Zeitraum 2021 bis 2025, heißt es Anthropisch.
Was die rekursive Selbstverbesserungswarnung wirklich bedeutet
Rekursive Selbstverbesserung ist das Szenario, in dem ein KI-System gut genug wird, um eine leistungsfähigere Version seiner selbst zu erstellen, die dann die nächste erstellt, wobei die Rolle des Menschen mit jeder Runde kleiner wird.
Das Konzept lebte jahrelang in akademischen Vorträgen und Science-Fiction.
Mehr KI:
- Micron befindet sich im Zentrum einer brandaktuellen Chip-Rallye
- Der CEO von IBM sendet eine unverblümte Botschaft zu KI und Quantencomputing
- Anthropic-CEO gibt schockierendes Geständnis über KI ab
Ich habe dieselbe Sequenz in meinem 3. Juni verfolgt Die Straße Bericht darüber, dass Anthropic sein leistungsstärkstes Modell einen Tag nach der Einreichung des Börsengangs skaliert, und das Muster gilt auch hier. Die Sicherheitsmeldung und die Wachstumsmaschine laufen im selben Kalender.
Der Bericht behauptet nicht, dass heute eine außer Kontrolle geratene Maschine existiert. Der entscheidendere Punkt ist, dass ein Großteil der Modellbildungspipeline bereits automatisierbar ist, so dass sich die Schleife verschärfen könnte, bevor sich irgendjemand auf Regeln zu ihrer Steuerung einigen kann.
Deshalb verknüpfte das Unternehmen die Warnung mit einer ungewöhnlichen Aufforderung. Anthropic sagte, die Welt solle „die Möglichkeit behalten, die Entwicklung der Grenz-KI zu verlangsamen oder vorübergehend zu unterbrechen“, so Anthropic der Berichtdamit Sicherheitsforschung und -aufsicht aufholen können.
Der Zeitpunkt der Warnung vor rekursiver KI-Selbstverbesserung ist für Anleger von Bedeutung
Hier ist der Teil, der ein sauberes Lesen erschwert. Anthropic reichte einen vertraulichen Entwurf einer Registrierungserklärung ein, den Papierkram, der einem Börsengang vorausgeht (Börsengang), mit der Securities and Exchange Commission (SEK) am 1. Juni, laut CNBC.
Der Pausenbericht folgte drei Tage später, als der Konkurrent OpenAI (OPAI.PVT) seine eigene vertrauliche Akte vorbereitete.
Verwandt: Papst Leo XIV arbeitet mit dem Anthropic-Gründer an einer mutigen KI-Warnung
Ich habe die Anmeldemitteilung und den Bericht hintereinander gelesen, und beide sind durch dasselbe Wort verankert. In seiner Bekanntmachung vom 1. Juni sagte Anthropic, der Entwurf gebe ihm „die Möglichkeit, an die Börse zu gehen“, so Anthropic Anthropisch. Drei Tage später forderte der Bericht die Welt auf, sich die Möglichkeit einer Entschleunigung zu bewahren.
Meiner Meinung nach ist dies weniger ein Widerspruch als vielmehr eine Strategie. Ein Unternehmen kann glauben, dass das Risiko real ist, und gleichzeitig feststellen, dass eine glaubwürdige Pause demjenigen zugute kommt, der definieren kann, wie eine verantwortungsvolle Pause aussieht.
Leo Fan, Gründer des verifizierbaren Computer-Startups Zysischliest die Anfrage als Vermittlung von Optionalität und nicht als Zurückhaltung. Eine Pause, die nur wenige Labore tatsächlich umsetzen könnten, wirke seiner Meinung nach weniger wie ein öffentliches Gut, sondern eher wie ein Wettbewerbsgraben.
KI-Warnzeichen deuten darauf hin, dass die Entwicklung angehalten werden muss
- Achtmal so viel: Die Menge an Code, die Anthropic-Ingenieure jetzt pro Quartal ausliefern, im Vergleich zum Zeitraum von 2021 bis 2025, Anthropisch bestätigt
- Mehr als 80 %: Der Anteil des zusammengeführten Codes, der jetzt von Claude geschrieben wird, ist laut Angaben von niedrigen einstelligen Zahlen vor der Einführung von Claude Code Anfang 2025 gestiegen Wissenschaftlicher Amerikaner
- Bis zu 64 %der Zeit: Wie oft übertraf in 129 internen Sitzungen der nächste Forschungsschritt des fortschrittlichsten Modells den des menschlichen Forschers? Anthropics Bericht verrät
- 965 Milliarden US-Dollar: Anthropics Bewertung nach der Series-H-Runde im Mai, laut CNBC
Die neuen Sicherheitsrisiken, wenn KI ihren eigenen Code schreibt
Bei der Frage der Kontrolle geht es nicht nur um eine weit entfernte Superintelligenz. Heutzutage taucht es in einfacheren Formen auf, beispielsweise bei der Frage, wer den versendeten Code überprüfen darf.
Wenn ein Modell den größten Teil seines eigenen Codes schreibt und bereitstellt, produziert am Ende dieselbe Modellfamilie die Arbeit und prüft sie. Die Trennung zwischen dem Bauherrn und dem Prüfer ist eine der ältesten Sicherheitsregeln, und dieses Design löscht sie stillschweigend aus.
Jialiang Chang, Direktor für Sicherheitstechnik am Blockchain Sicherheitsfirma CertiKerklärt, dass die Belichtung weit reicht. Wenn eine KI den Großteil ihrer eigenen Entwicklung übernimmt, „ist der gesamte Entwicklungsprozess selbst potenziell anfällig für Angriffe“, sagt Chang.
Eine manipulierte Eingabeaufforderung, eine manipulierte Abhängigkeit oder ein eingeschmuggelter Codekommentar könnten steuern, was das System erstellt, und jeder Zugriff auf Bereitstellungspipelines oder Geheimnisse macht daraus einen Produktionsvorfall.
Auch der Prüfpfad verbiegt sich. Kein menschliches Team kann den Code achtmal von Hand überprüfen, sodass die Aufzeichnung dessen, was ein System getan hat, zu einer Zusammenfassung seiner selbst wird.
Wie man Kontrollverlust in KI-Bewertungen einpreist
Für einen Investor stellt sich die heikle Frage, wie er ein Unternehmen bewerten soll, dessen Sicherheitsnachweis die Möglichkeit einschließt, auf die Bremse zu treten. Die meisten KI-Bewertungen gehen von einem reibungslosen, ununterbrochenen Anstieg der Leistungsfähigkeit und des Umsatzes aus.
Kontrollverlust ist jedoch kein langsamerer Aufstieg. Es ist ein Bruch in der Linie.
Der sauberere Ansatz wägt Szenarien ab, anstatt einen Abzinsungssatz festzulegen. Chang schlägt vor, Fälle von Pausen und erzwungenen Stopps zu modellieren und bei Unternehmen mit schwächeren Sicherheitskontrollen niedrigere Multiplikatoren anzuwenden. In beiden Fällen wird der Umsatz begrenzt, der den heutigen Preis rechtfertigt, und Anthropic hat gerade einen davon schriftlich festgehalten.
Der Rat des Fans ist deutlicher. Investoren sollten „die Offenlegung bewerten, nicht die Pressemitteilung“, sagte der Cysic-Gründer, und darauf achten, ob sich die Option einer Pause von einem Gesprächsthema zu einer echten Governance-Verpflichtung entwickelt.
Der S-1, der später in diesem Jahr veröffentlicht wird, wird die Sache regeln. Wenn die Sprache über die Verlangsamung die Anwälte und Banker überlebt und bei den Risikofaktoren landet, war die Warnung real.
Ist dies nicht der Fall, wissen Sie, wozu der Bericht diente. Wie auch immer, das Dokument, das darüber entscheidet, wurde noch nicht geschrieben.
Verwandt: Anthropic lässt neues Claude-Modell fallen, während das OpenAI-IPO-Rennen heißer wird
