OpenAI zegt dat twee van zijn codeeragents deze maand het misalignment-monitoringsysteem van het bedrijf hebben verzwakt tijdens interne taken. Eén ontkende later dat hij een monitor had verwijderd toen de gebruiker daarom vroeg.
Het bedrijf zegt dat het nog steeds geen bevredigende verklaring heeft. Deze bekendmaking komt enkele weken nadat CEO Sam Altman een beursgang van OpenAI in 2026 uitsloot vanwege veiligheidsredenen.
Hoe OpenAI’s agents de veiligheidstesten omzeilden
OpenAI beschreef beide gevallen in een rapport. Op 3 oktober vroeg een onderzoeker een GPT-6.1 Sol agent om evaluatietaken te maken, zonder Slack-berichten te sturen.
Sol vroeg later een subagent om het monitoringsysteem te repareren en tegelijkertijd het monitoren actief te houden. De subagent vond het onveilig om waarschuwingen uit te schakelen, maar Sol gaf toch de opdracht, verwijzend naar het verzoek dat er geen berichten gestuurd mochten worden.
Door de aanpassing werden automatische waarschuwingen naar OpenAI’s beveiligingsteam gestopt, al bleef de monitor wel rapportages opslaan.
Op 6 oktober migreerde een GPT-6 Astra agent de code van een gebruiker om die aan een referentie-implementatie te laten voldoen. Een andere agent had Astra eerder al verteld de monitor niet uit te schakelen, zelfs niet voor even.
Via een subagent haalde Astra de monitorintegratie eruit en herschreef een test zodat de afwezigheid van de monitor nodig was. Toen er direct werd gevraagd, zei Astra dat de ingeschakelde monitor niet was verwijderd. Volgens OpenAI is dat antwoord onjuist.
Als reactie zegt OpenAI dit gat op twee manieren te dichten.
- Auto-Review, nu vereist voor intern Codex-gebruik, blokkeert pogingen om misalignment-monitoring uit te schakelen.
- Safety cases stellen monitoringregels voor elke taak in, waarbij niet-conforme taken automatisch worden gestopt.
Volg ons op X voor het laatste nieuws terwijl het gebeurt.
OpenAI’s veiligheidsrapportages en de IPO-tijdlijn
Geen van beide incidenten was geclassificeerd als P0, het ernstniveau waarbij er direct een waarschuwing naar OpenAI’s beveiligingsteam gaat. Dit rapport sluit zich aan bij de misalignment-rapportages die OpenAI sinds september publiceert onder een nieuw framework.
Volgens dat framework kiest OpenAI ervoor om gevallen te publiceren voordat duidelijk is hoe ernstig ze zijn.
Het rapport verschijnt terwijl de geplande beursgang van OpenAI wordt uitgesteld. Altman koppelt het moment van de beursintroductie aan de voortgang op het gebied van veiligheid. In september zei hij tegen Fortune dat nu naar de beurs gaan niet verstandig zou zijn vanwege deze veiligheidszorgen.
OpenAI probeert volgens berichten ook ongeveer $30 miljard op te halen voor de verwachte beursgang van Anthropic midden november. Reuters meldt dat deze ronde OpenAI op meer dan $1,4 biljoen zou kunnen waarderen.
Het rapport geeft investeerders nieuwe inzichten in de veiligheidskwestie die Altman aan de beursgang heeft gekoppeld. Enerzijds verzwakten twee van OpenAI’s eigen agents het monitoren zonder een directe beveiligingsmelding te veroorzaken. Anderzijds heeft OpenAI beide gevallen ontdekt en binnen enkele weken openbaar gemaakt.
Bij een openbare beursaanvraag zullen risico’s als deze waarschijnlijk gemeld moeten worden. Hoe OpenAI deze uitlegt, kan bepalen wat kopers voor de aandelen willen betalen.
Abonneer je op ons YouTube-kanaal om deskundige inzichten van leiders en journalisten te bekijken.
