Niet de eerste oproep van z'n soort, maar wel de zwaarste

Het is in de AI-industrie onder de grote spelers al zo'n drie jaar modieus om op te roepen tot vertraging en regulering van de wapenwedloop. Laatst meldde Anthropics chef Veiligheid nog doodleuk dat hij de kans 'groter dan 10%' acht dat AI de mensheid binnen 10 jaar vernietigt, en gisteren deed de CEO van Anthropic de bovenstaande oproep. Die oproep komt neer op de waarschuwing dat 1) AI's 'frontiermodellen' zeer binnenkort niet meer te beheersen zijn, omdat die modellen hun eigen opvolgers bouwen, in plaats van dat mensen het doen: "My first concern is that, since roughly this summer, AI has been advancing drastically faster, driven primarily by AI’s growing ability to build the next generation of AI. This dynamic is called recursive self-improvement, and it is starting to happen across the industry, including at Anthropic, as we and others have described. Left unchecked, it could outrun our ability to understand and control these systems, and so must be pursued very carefully, if at all." En 2) de aanbeveling tot vergaande vertraging van AI-ontwikkeling en regulering vanuit overheden. 

Klinkt nobel, maar ten eerste is 'waarschuwen' voor hoe 'gevaarlijk' je AI-modellen zijn tegelijk een verdekte vorm van marketing. Immers, die modellen kunnen alleen zo gevaarlijk zijn als ze een absurde kwaliteit hebben, en dat is uiteindelijk toch precies waar de grootste afnemers naar op zoek zijn. TEN TWEEDE, en misschien nog wel belangrijker: de oproep tot strenge regulering is een verdekte aanzet tot een soort Anthropic/OpenAI/xAI-kartel (zie Altman en Musk onderstaand). Want alleen de grootste namen kunnen het zich veroorloven om "employee-like access to a team of embedded third-party evaluators (such as METR)" te bieden, "whose role is to verify adherence to safety practices and commitments, report incidents, and help assess the alignment of not just completed AI models but training pipelines and processes." Kleinere bedrijven die per Open Source-modellen de concurrentie aan willen gaan met de grote namen, worden hiermee geknieschijft.

Ook is de brief een oproep om de grootste bedrijven de facto een soort federale overheids-ondernemingen te maken, met permanente overheidsteams ter controle: "The most effective method of pacing is via regulation that targets all US frontier AI companies, as that covers even those who are unwilling to cooperate voluntarily. Anthropic has long supported sensible and targeted AI regulation, specifically bills that focus on transparency and on third-party auditing. I believe all frontier labs should partner with government to formalize the idea of permanent embedded evaluators to better prevent and document internal alignment incidents like those that have occurred in the last few months, and to implement regulation focused on keeping capabilities in balance with safety."

Maar zoals het bekende militaire gezegde luidt: 'tracers work both ways', en zo'n vergaande vervlechting kan een dusdanige kruisbestuiving opleveren dat uiteindelijk vervaagt wie er nou eigenlijk wie reguleert, en het AI Industrial Complex een soort vierde tak van de overheid wordt.

Naschrift 10:17 - Een terechte vraag die nogal rondzingt: "If Sam Altman, Dario Amodei, and Elon Musk all agree that we have to slow down - and now - something serious clearly happened with a frontier AI model. Journalists should be digging in to this. We aren’t getting the whole story here."

Ja het Anthropic achter Claude ja

Maar hoopgevende noot: ze doen wel hun best! Evan Hubinger is chef 'allignment', wat er ongeveer op neerkomt dat het zijn taak is AI 'in lijn' te houden met 'menselijke waarden'. En als je er dan even vanuit gaat dat die menselijke waarden er niet op neerkomen dat de mensheid uitgeroeid moet worden, is hij niet unaniem enthousiast over de prognose. "We geloven er echt oprecht in dat AI alle mensen zou kunnen doden! Zelf denk ik dat de kans het komende decennium 10%> is. (...) We hebben nog geen plan om het alignment-vraagstuk voor superintelligentie op te lossen, en we liggen ook niet duidelijk op koers om dat te bereiken." Maar dat weerhoudt ze er dus niet van de wapenwedloop richting AGI/ASI (Artificial General Intelligence/Artificual Super Intelligence) te vertragen - alles is immers voor Bassie.

Hubinger reageert bovenstaand op een tweet van Jacob Coxon, en dat is dus een Antropic-onderzoeker die gisteren ontslag nam wegens zijn onderstaande gewetensnood. En dan berichtte de Financial Times gisteren ook nog dat Antropic heeft nagelaten zijn nieuwste frontiermodel Mythos 5.1 - sinds 1 september operationeel voor geselecteerde cliënten - in te dienen voor pre-lanceer-veiligheidstesten bij het Britse AI Security Institute en vergelijkbare Amerikaanse organen. Zal wel niks zijn!

Maar wat is er erger? Het vernietigen van de mensheid of de teksten van Rob Jetten?

Op, op, ten strijde, Arbeidsmarkt bevrijden!

AI, schijnt enorm in opkomst te zijn. Hoogste tijd dus voor een pauselijk encycliek van 42.000 woorden om de kudde te leiden. Waar het op neer lijkt te komen; hij vreest dat AI tot massaal baanverlies gaat leiden, maar maakt zich de meeste zorgen over de vervlechting van AI met wapensystemen en steeds autonomere beslisbomen. Daarom bepleit hij bovenstaand dat AI "ontwapend" moet worden:

"Artificial intelligence needs to be disarmed. The word is strong, I know, but deliberately chosen because this moment needs words capable of attracting attention, awakening consciences and indicating paths forward for humanity."

De onbetwiste marktleider van slagveld-AI is natuurlijk Peter Thiels Palantir, vernoemd naar die zienersbol uit Lord of The Rings. En ontoevallig citeert de paus Tolkien in zijn tekst: 

"The twentieth-century Catholic author J.R.R. Tolkien, in the words of a protagonist in one of his novels, described our responsibility in this way: “It is not our part to master all the tides of the world, but to do what is in us for the succour of those years wherein we are set, uprooting the evil in the fields that we know, so that those who live after may have clean earth to till.” The civilization of love will not arise from a single or spectacular gesture, but from the sum total of small and steadfast acts of fidelity that serve as a bulwark against dehumanization."

Verder ook opmerkelijk: niet OpenAI, Google, Meta of xAI, maar (gedoodverfd) marktleider Anthropic mocht aanschuiven voor deze bijeenkomst. Maar in tegenstelling tot talloze beweringen online sprak de paus niet van een "samenwerking" tussen het Vaticaan en Anthropic, maar enkel van een 'gezamenlijke wandel' tijdens deze nieuwe uitdagingen. Over Anthropic-medeoprichter Chris Olah zegt hij:

"In a special way I would like to thank Mr Olah for accepting our invitation. In turn, in the name of the Church, I accept your invitation to walk together, to listen and to speak and together to find the way for humanity, in this time of artificial intelligence What a great sign of hope that, with our differences, we can listen to one another. This interchange clearly bespeaks the gravity of the moment, as well as confidence that, together, we can discern the major questions of our time, and so, the future of humanity."

We gaan verder niet doen alsof we de 42.000 woorden gelezen hebben, maar het stemt filmisch dat de Butlerian Jihad katholiek wordt.