Zwei Frontier-Labs holen externe Prüfer ins Haus. Die Freigabe Ihrer Agenten bleibt bei Ihnen.

Das Stück der Woche, und das einzige, in dem sich ein Frontier-Lab zu etwas verpflichtet. Amodei argumentiert, dass die Fähigkeiten seit dem Sommer deutlich schneller wachsen, vor allem, weil KI zunehmend die nächste KI-Generation mitbaut, und dass Betriebsdisziplin, Alignment, Interpretierbarkeit und Tests Zeit brauchen, um aufzuholen. Sein Plan hat drei Schritte. Im ersten gibt jedes Frontier-Unternehmen einem Team externer Prüfer „ongoing, employee-like access“. Anthropic geht diesen Schritt nach eigener Aussage einseitig und stattet die eigenen Prüfer mit Schreibtisch, Zugangsausweis, Firmenlaptop und dem Recht aus, Ergebnisse ohne redaktionelle Kontrolle durch Anthropic zu veröffentlichen; die Regierungen ruft er auf, dasselbe von den übrigen Frontier-Unternehmen zu verlangen. Im zweiten stimmen sich die Labs in demokratischen Ländern über Sicherheitsstandards und Grenzen für das Tempo ungeprüften Fortschritts ab; wegen des Kartellrechts braucht das eine Vermittlung durch die Regierung oder Ausnahmen davon. Im dritten stimmen sich demokratische mit autoritären Regierungen ab, soweit das möglich ist. Sam Altman antwortete am selben Tag, OpenAI werde dasselbe tun; Elon Musk schrieb „Dario is right“. Tempo heißt bei Amodei ausdrücklich nicht, Training oder technischen Fortschritt anzuhalten, und der Fortschritt bleibe „relatively fast“. Die Prüfer sind „in the near future“ angekündigt, ohne Datum; METR steht nur als Beispiel da. Geprüft wird das Lab, seine Sicherheitspraxis, seine Modelle und Trainingsabläufe. Wie Kunden diese Modelle einsetzen, kommt nicht vor; Kunden erscheinen ein einziges Mal, in der Ausnahme, die ihre vertraulichen Daten vor den Prüfern schützt. Nach dem AI Act schulden Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko bereits Modellbewertungen einschließlich adversarialer Tests sowie Unterlagen für alle, die auf ihren Modellen aufbauen. Was das Essay hinzufügt, sind Unabhängigkeit und Veröffentlichung.

Die Einsatzseite zu Amodeis erstem Schritt, vier Monate vor ihm geschrieben. Das World Economic Forum und Capgemini sehen den Engpass beim Einsatz von Agenten in der Freigabe: „organizations grasp what an agent can do, but they struggle to define what it should be authorized to do in context.“ Ihr Vorschlag ist ein schriftliches Freigabeprofil je Einsatz, mit Umfang, Einsatzkontext, Befugnissen, Kontrollen, Nachweisen, Verantwortlichen und einem Rhythmus für die erneute Freigabe. Zwei Stellen verbinden es mit dieser Woche. „Standard model benchmarks alone are insufficient“, weil sie Werkzeugmissbrauch, kaskadierende Ausfälle und das ungeplante Zusammenspiel mehrerer Agenten oft nicht erfassen. Und weil viele Agenten eines Unternehmens auf demselben Basismodell laufen können, kann eine einzige Schwachstelle im Modell den gesamten Agentenbestand gleichzeitig treffen, „reinforcing the need for deployment-level authorization and monitoring for each instance“. Ein Prüfer im Lab kann eine Schwachstelle im Modell finden. Die Freigabe des Agenten, der sie erbt, bleibt beim Unternehmen, das ihn betreibt. Zu den Anlässen für eine erneute Freigabe gehört aus meiner Sicht auch eine neue Modellversion, und sichtbar wird sie nur, wenn der Vertrag den Anbieter verpflichtet, sie anzukündigen. Das Playbook ist ein Rahmenwerk, keine Studie: Es enthält weder eine Umfrage noch Zahlen und sagt von sich selbst, dass es keine allgemeingültigen Antworten gibt.

Die Sicht aus dem Betrieb. Naren Gangavarapu schreibt auf CIO.com aus einem Einsatz bei einem der größten Tourismus- und Kreuzfahrtunternehmen Australiens, und für ihn beginnt die eigentliche Arbeit nach dem Produktivstart: Toleranzgrenzen, was Fachbereichsleiter übersteuern dürfen, wie ein Vorfall eingedämmt wird, und dass jede Übersteuerung protokolliert wird, denn „Override without logging is an invisible governance failure.“ Sein Schluss, und der Satz, dem das nächste Stück widerspricht: „The technology is, increasingly, a commodity. The governance maturity is the differentiator.“ Das ist eine Aussage über Anwender, nicht über Labs. So gelesen erreicht ein neues Modell ein Unternehmen nur so schnell, wie es seine Agenten darauf neu freigeben kann. Die Ergebnisse aus seinem Einsatz nennt er ohne Zeitraum, Methode und Unternehmen; sie bleiben hier weg.

Das Gegengewicht zu diesem Satz kommt aus einem Expertenforum, das das AI Office der EU-Kommission im April einberufen hat: mehr als 100 Experten nach Chatham-House-Regel, zusammengefasst im Juli in einem Bericht, der ausdrücklich nicht die Position der Kommission wiedergibt. Beim Blick auf die Käufer stehen einige Experten gegen Gangavarapu: „European businesses usually prefer the most capable models available“, und die Einkaufsmuster der Branchen deuteten auf „a strong preference for frontier over near-frontier systems“. Belege nennt der Bericht für beides nicht. In einem Unternehmen kann beides zugleich stimmen: Der Agent, der Lieferantenanfragen beantwortet, läuft auf dem günstigsten Modell, der an Konstruktionsdaten arbeitet, braucht die Frontier, und nur für den zweiten gibt es kaum Anbieter, zu denen man wechseln könnte. Brauchbar macht den Bericht eine Definition, die einer der Experten vorschlägt: Souveränität als „the technical capacity to audit and evaluate models on European soil, together with the institutional readiness to switch providers when conditions change“. Auf ein Unternehmen übertragen sind das zwei Fragen an jeden KI-Vertrag: Können wir prüfen, was wir bekommen, und können wir den Anbieter wechseln? Die zweite hängt an der ersten, denn ein Wechsel dauert so lange wie die eigenen Tests auf dem neuen Modell, und ein Fine-Tuning bleibt beim alten Anbieter. Der Bericht hält außerdem fest, dass die fähigsten Systeme bei ihren Entwicklern zunehmend intern eingesetzt werden, bevor sie veröffentlicht werden. Dort würden eingebettete Prüfer, die auch die Einsatzpraxis im Lab prüfen, sie zuerst sehen.

Und die europäische Strategie, die zwei Tage nach dem Essay erschien; berücksichtigt sind Entwicklungen bis Anfang September. Einberufen hat die Gruppe Monika Schnitzer, redaktionell verantwortlich ist Daniel Privitera; im Senior Expert Council, der Entwürfe begutachtet und beraten hat, sitzen u. a. Yoshua Bengio, Daron Acemoglu, Philippe Aghion und Margrethe Vestager, die laut Strategie nicht zwingend allem zustimmen. Der Schwerpunkt liegt auf garantiertem Zugang zu ausländischer Frontier-KI; ein eigenes europäisches Frontier-Projekt behandelt die Strategie auch, hält es aber für extrem teuer. Zwei Stellen treffen die Frage dieser Woche. „Dealing with frontier AI risks might require international agreements on ‘pacing’ AI development, and Europe can help negotiate and verify such treaties“, und an anderer Stelle, als ein Beispiel dafür, warum Staaten das Tempo drosseln oder pausieren könnten, „to ensure that external evaluators have enough time for safety testing“. Und zur Beschaffung: „Procurement contracts should include clauses on exportability of data and workflows in order to prevent lock-in or dependence on a single provider.“ Diese Klausel ist für EU-Institutionen geschrieben, und wie sich Einführung und Verbreitung von KI am besten unterstützen lassen, behandelt die Strategie ausdrücklich nicht. Übertragen lässt sich die Klausel trotzdem. Wer Daten und Abläufe zu einem anderen Modell mitnehmen kann, entscheidet selbst, wann er die nächste Version übernimmt. Ohne diese Möglichkeit gibt der Kalender des Labs für neue und abgekündigte Modelle den Takt vor, bei jedem Tempo der Frontier, und ebenso jede Entscheidung, den Zugang zu sperren.