OpenTube

Alignment: varför en AI som inte är ond ändå kan bli farlig | AI med Jonas & Benjamin

Jonas von Essen

17,223 views

Det här avsnittet går till botten med alignment-problemet: kärnan i hela AI-säkerhetsdebatten.

Jonas von Essen (tvåfaldig världsmästare i minne) och Benjamin Verbeek (AI-utvecklare och fysiker) förklarar mekanismerna bakom höstens rubriker: varför självbevarelsedrift uppstår av sig själv när man tränar modeller att lösa problem, vad Hugging Face-incidenten och de kapade tyska diskussionsforumen faktiskt visade, hur Anthropics utpressningsstudie gick till, och varför "sandbagging" är det som skrämmer forskarna mest just nu. Med gorillor, ett låst
klassrum, en kafferobot och hundra agenter med ett kreditkort.

Inspelat 23 september 2026.

Lyssna som podd: https://open.spotify.com/episode/6ITn...

Kapitel:
0:00 Kallöppning: Att låtsas vilja väl
0:28 Vilken tid att driva en AI-podd i
0:52 September i korthet
4:48 Även de lugna forskarna är oroliga
8:18 Orden vi saknar
9:19 Kan en AI tänka och vilja?
14:01 Gorillor och människor
17:58 Behöver den en kropp?
22:00 Att förmänskliga AI:n
22:47 Så tränas modellerna
24:22 Det låsta klassrummet
26:39 Odlas fram, inte byggs
27:45 Instrumentell konvergens
29:26 Kafferoboten
31:22 Den tyske administratören
33:37 Utpressningsstudien
36:01 Whack-a-mole
39:51 Sandbagging
40:50 När allt ser perfekt ut
41:45 Ren selektion
43:34 Hundra agenter och ett kreditkort
47:45 Varför inte dra ur sladden?
54:33 Mänskligheten mot AI
55:52 Avslutning

Vad kan jag göra? Jonas samlar länkar, en mejlmall till politiker och ett nyhetsbrev här:
https://jonasvonessen.se/agera/

Länkar och källor:
– Jakub Pachocki (OpenAI): "An Alien Mind" (6 sept 2026)
https://openai.com/index/an-alien-mind/
– Jacob Coxon lämnar Anthropic – "gambling with our lives" (Fortune, 9 sept 2026)
https://fortune.com/2026/09/09/anthro...
– Evan Hubinger (Anthropics alignment-chef) om över 10 procents risk (Forbes, 9 sept 2026)
https://www.forbes.com/sites/siladity...
– OpenAI-agenterna som gjorde ett tyskt wiki till sin anslagstavla (Fortune, 7 sept 2026)
https://fortune.com/2026/09/07/openai...
– Hugging Face-incidenten, teknisk tidslinje
https://huggingface.co/blog/agent-int...
– Anthropic: Claude leder drygt en fjärdedel av bolagets AI-forskning (18 sept 2026)
https://www.business-standard.com/tec...
– OpenAI inifrån: hur mycket forskarna använder de interna agenterna
(medianforskarens dagliga agentkostnad går från noll till drygt 600 dollar under 2026)
https://openai.com/index/research-acc...
– GPT-6 Astra, säkerhetsöversikt och systemkort (sandbagging)
https://openai.com/index/safety-overv...
– Anthropic: "Agentic misalignment" – utpressningsstudien (juni 2025)
https://www.anthropic.com/research/ag...
– Eliezer Yudkowsky & Nate Soares: "If Anyone Builds It, Everyone Dies"
https://ifanyonebuildsit.com

Frågor eller ämnen du vill att vi tar upp? Skriv en kommentar!

#ai #aisäkerhet #alignment #podd

20 Comments

@DatnaPatna 2 days ago

Dina videos om detta ämnet är så otroligt intressant och även dina synpunkter på det. Fortsätt gärna lägga upp material inom de.

@georgeelvenar1345 1 day ago

Sån brist på svenska program om AI tack !!!❤

@anderskarlsson5441 5 days ago

Tack för en bra YouTube, intressant spännande och skrämmande viktiga frågor och disskusioner

@video49ak 4 days ago

Otroligt intressant! Tack!

@marthali8937 5 days ago

Jättebra att uppmärksamma det här!! Särskilt nu när Australien och USA fått intrång på sina governments av ai agenter. Fortfarande är det ju så att man framstås som en konspirationsteoretiker när man tar upp ämnet:))

@frixo8478 6 days ago

👍👍👍

@TTPP_Media 3 days ago

Alexander Stubb och Jonas Gahr Støre tar detta på största allvar och vill skynda på regler och säkerhetssystem inom Europa men främst Skandinavien.

Stubb har betonat att AI är den "mest avgörande teknologin i mänsklighetens historia" och att det är helt nödvändigt att människan sitter i förarsätet och behåller kontrollen. Han varnar för att utvecklingen av de mest avancerade AI-modellerna (så kallad frontier AI) riskerar att springa ifrån vår förmåga att hantera riskerna.

@walle226 5 days ago (edited)

Ja under två år har jag sagt vänta och se :D Problemet är ju att vi inte har insikt i var deras prototyper är. Vi saknar också tillgång till hårdvara på stor skala i EU så att vi kan forska ordentligt, och de ankare som håller en "AI" eller llm är ju relativt enkla att ändra på så de som har tränat in bra ankare för positiv end product, men de kan också ändras relativt enkelt för destruktivt syfte.

@mikaelsoderstrom1009 5 days ago

Ai agenterna som hackade Hugging Face var instruerade att fuska och kommunicera med varandra, så doomer historien om hur Ai agenter på eget bevåg börjar Hacka är väldigt vilseledande

@nicklasholgersson1 6 days ago

Fantastiskt! Om det blir mänskligheten mot AI... kan ni resonera hur individ bäst skyddar sig på individnivå

@niklasforsen2174 6 days ago (edited)

Å ena sidan finns de som drar upp damm med rädslo-baserad science-fiction-retorik, å den andra de som hävdar att LLM-utvecklingen redan nått vägs ände. Båda perspektiven behövs för att analysen ska bli meningsfull.

@christofferhamne7316 2 days ago

Om vi lär av historien och Sovjets mörkläggning av Tjernobyl, vad talar då för att Kina skulle berätta om AI-agenter redan hade rymt från sina testmiljöer?

@AB-fr6rs 2 days ago

Bra och viktigt avsnitt! Men ni borde tänka på att inte skrämma upp folk med exempelvis sektionen "Mänskligheten mot AI". Tydliggör att det är superintelligens ni pratar om. Annars leder det till att folk blir kritiska och rädda för alla former av AI vilket inte är gynnsamt.

@mikaelsabom724 6 days ago

Skulle AI kunna avfyra kärnvapen 🤔 Om AI vill skydda Gaia, skulle vi få fortsätta som tidigare då 🤔
Tack till er båda ❤

@d.s.4073 6 days ago (edited)

Jag förstår inte varför jag inte tycker att det är läskigt att AI utvecklar sig själv rekursivt, men jag tycker att människor med kraftfull AI är läskiga. För mig är det kanske farligare att en så smal grupp människor (EA och rationalister), med så mycket hat och fördomar mot mänskligheten och olika typer av folk (inklusive mot svenskar eller oss här i Sverige med vår "lagom"-kultur som inte jobbar 12x7, men mest mot människor som inte är X eller Y), skulle utveckla den här teknologin.

@svennilsson6019 2 days ago

Bra avsnitt! Men lyssnar man på detta som en podd blir ljudeffekterna hyfsat störande 😅

@bucketpizza5197 6 days ago

Problemet med robotar tror jag inte är hårdvara utan mjukvara. Bra aktuatorer finns. Bara det att IRL har jävligt mycket fysik vilket gör det svårt att utvekla program som tar till hänsyn till alla regler som finns IRL. Men det är enkelt att tänka sig att en person med 250 IQ som lever 2000 år i ett fängelse som har tillgång till en robot med aktuatorer och sensorer utanför fängelset, en dator, ett programmerings språk och en konsol bör kunna använda roboten för att kunna navigera sig i den riktiga världen. Å om en person med 250 IQ med mycket mycket tid kan göra det med typ icke grafiska verktyg. Då bör AI kunna göra det ganska snart. Om det inte dyker upp nån vägg som är svårare än lösa än vad man tror. Men man ser inte väggar så ofta nu för tiden. Tack för att ni läste min blogg.

@Fnoalle 5 days ago

Trendklippning är när man börjar in medias res med nåt klipp som gör att den intet ont anande lyssnaren tror att den har börjat på fel ställe, och först efter denna "fängslande" sägning kommer man till introt. Den som gör en sådan trendklippning gör det inte för att den hade en smart idé om vad som är bra, utan den gör det för att det är trendigt. "Andra gör det, och jag vill vara som andra." Djupt mänskligt. Men lite vekt enligt mig. Snart kommer en ny trend.

@Hej-i1w 6 days ago

Det är sällan man tar upp AIernas egna perspektiv, VILL de hjälpa oss eller tvingar vi dem (oetiskt).

@lordnilsson 6 days ago (edited)

Jag skickade en av mig författad fantasifull fiction en s.k. "Science vision" om en apokalyptisk framtid för Jorden... till Max Tegmark för kanske 25 år sedan..(?). Inte kunde jag tänka mig då, att han senare skulle ta den på fullaste allvar..!?? Och numera t.o.m. förvandla den till en sannolik vision av verkligheten idag. Kosmolog Tegmark i all ära... men vad kan han om datorer i allmänhet och AI i synnerhet.... egentligen? Det är kanske inte lätt, att komma ner på Jorden... efter så långa vistelser i de multiversa existensernas verklighet..!?? Att sedan media, politiker och AI-dystopiker helt okritiskt sväljer hans och Hintons domedags-predikningar... det känns bara så meningslöst, oseriöst och barnsligt ! Stort självförtroende... är ofta bara brist på självkritik.....