Algoritmerna bestämmer vad vi vill tycka

Den här debattartikeln publicerades först i en kortare version på SVT Opinion. Det här är min egen lite längre oredigerade version.

Skärmdump från SVT Opinion

I början på 2000-talet hette USA:s president George W Bush. Likt många svenskar var jag inte något större fan, men en sak imponerade. Han höll tal som tilltalade den kristna högern och sekulära väljare samtidigt. Hur var det möjligt?

Knepet var enkelt. Genom att väva in bibelcitat, men endast använda ovanliga verser, kunde orden passera obemärkta förbi icke-troende, samtidigt som kristna väljare uppfattade honom som djupt troende.

Så sent som i början på 2000-talet var det sådana tricks man fick använda. Men nu lever vi i en annan värld. Vi behöver inte vända ut och in på oss för att säga två olika saker samtidigt. Idag har vi tekniska plattformar som gör det busenkelt.

För att demokratin ska fungera krävs att individer är fria att bilda sig en självständig uppfattning om sina åsikter. Så länge medborgarna genom sin yttrandefrihet kan hålla sig informerade och genom val får möjlighet att uttrycka sin fria vilja får vi ett demokratiskt styre.

Men i takt med våra vetenskapliga framsteg blir vi allt bättre på att förstå hur människor fattar sina beslut. Författaren Yuval Noah Harari drar i sin senaste bok 21 tankar om det 21:a århundradet exemplet till sin spets. Om man föreställer sig en framtid där vi blivit så bra på att manipulera människors beslut att vi kan bestämma vad någon ska vilja tycka, då är cirkeln sluten på sämsta tänkbara sätt. Diktaturen och demokratin smälter samman när en absolut diktator ensam kan bestämma vad andra ska vilja tycka, och sedan låta dem genomföra det – demokratiskt.

Det kan låta avlägset, men vi är redan på god väg dit. Det är lockande att tro att den polarisering vi sett inom politiken berott på missbruk av våra sociala medier a la Cambridge Analytica, men tyvärr går problemet djupare än en slug politisk kampanj. Det ligger hos algoritmerna som automatiskt optimerar sig själva för att servera din personaliserade nyhetsvärdering. Om man vill se dem i aktion räcker det att titta på ett par filmer om att jorden är platt på Youtube för att allt plötsligt ska förefalla handla om det eller andra konspirationer.

Det knepiga med algoritmerna är att varken de själva eller deras skapare (Facebook, Snap, Google/Youtube med flera) har någon politisk agenda. De är bara inriktade på en enda sak – att maximera tittartid. Det mest effektiva har visat sig vara att välja ut innehåll som roar oss, skrämmer oss eller gör oss indignerade.

Jag tror att den accelererande polariseringen vi ser är resultatet av att alla människor numera vandrar omkring i ett individanpassat kalejdoskop av saker som roar och skrämmer dem snarare än att delta i ett gemensamt offentligt samtal. När våra huvudsakliga informationskanaler – utan mänsklig inblandning – omformar sig själva blir vi alla fångade av vår egen confirmation bias. Miljöpartister förfasas över okunniga deltagare i bensinskatteupproret samtidigt som SD-väljare blir alltmer övertygade om den nära förestående kulturella kollapsen.

Det här är resultatet av att ha lämnat kontrollen åt en AI-algoritm som blint maximerar lönsamhet. Det kan man tycka vad man vill om, men det är ändå harmlöst jämfört med om algoritmens ägare, som i Yuval Noah Hararis exempel, optimerade utfallet på något annat. Google och Facebook besitter en makt som är fruktansvärd att föreställa sig i händerna på en totalitär regim.

Och samtidigt är det förmodligen lika illa att ge sig på att formulera ett regelverk för hur sociala medier får välja ut sitt innehåll. Att reglera vad man får säga till människor är per definition ett intrång i yttrandefriheten som ju också är en förutsättning för demokratin.
Det här är ett av många fält där utvecklingen av artificiell intelligens leder till ett svårlösligt dilemma. Tekniken håller på att ställa den fria viljan i konflikt med det fria ordet. Frågan är hur demokratin ska överleva om vi i framtiden tvingas välja mellan dess två grundförutsättningar.

Leder automatisering till teknologisk arbetslöshet?

Ända sedan den industriella revolutionen har diskussionen om så kallad teknologisk arbetslöshet återkommit med regelbundet intervall. I de anglosaxiska länderna talar man ofta om teknikfientliga ludditer, ett extremt negativt värdeladdat tillmäle, som härstammar från den mytiske (och förmodligen helt fiktive) General Ludd som anförde de våldsamma protesterna i 1800-talets England när den automatiska spinnrocken (Spinning Jenny) riskerade att göra arbetarna arbetslösa.

Att termen luddit blivit så negativt värdeladdat beror naturligtvis på en uppfattning om att de brittiska arbetarna i grunden missuppfattat vilken inverkan teknologisk utveckling har på arbetsmarknaden. De såg den direkta konsekvensen, att de skulle förlora sin försörjning när deras arbetsuppgifter inte längre krävde mänsklig arbetskraft, men – menar belackarna – de missade helt de långsiktiga effekterna.

När det inte längre behövdes mänsklig arbetskraft för att spinna garn, sjönk priset på textil radikalt, vilket i sin tur gjorde att fler hade råd med mer kläder vilket fick efterfrågan på textil att öka. Därmed ökade behovet av arbetskraft för angränsande arbetsuppgifter som ännu inte automatiserats.

Dessutom kunde de frigjorda resurser som inte gick åt till ökad konsumtion av textil läggas på andra varor och tjänster i samhället, vilket alltså ökade efterfrågan även i andra delar av ekonomin. Det här är den rådande teorin för hur teknologisk utveckling påverkar arbetsmarknaden, och det vanligaste synsättet hos de flesta ekonomer som studerat fältet.

Ludditerna har fel säger de. Teknologisk utveckling ger ökad produktivitet vilket innebär att priset blir lägre för de varor som framställs mer effektivt. Det frigör resurser som leder till ökad efterfrågan i andra delar av ekonomin. De som förlorar sitt arbete när deras arbetsuppgifter automatiseras kan söka annan anställning där efterfrågan stiger, och väl där får de förhoppningsvis också njuta av frukten av automatiseringen eftersom ökad generell produktivitet leder till ökat löneutrymme. Alla vinner, och teknologisk utveckling är bara positivt för alla.

Om man studerar samhällsutvecklingen under 1900-talet är det lätt att förstå varför ekonomerna dragit denna slutsats. I takt med att tekniken gjort oss mer produktiva har verkligen de allra flesta fått det betydligt bättre. Innan den industriella revolutionen arbetade nästan alla med hårt fysiskt arbete inom jordbruket. Idag utgör jordbruket endast ett par enstaka procent av vår arbetsmarknad och ändå har livsmedelsproduktionen exploderat jämfört med 1800-talets fattigsamhälle.

Ett brev till barnbarnen

När den berömde ekonomen John Maynard Keynes på 1930-talet formulerade tankarna om att den teknologiska utvecklingen på sikt skulle öka vår produktivitet så mycket att vi skulle få en teknologisk arbetslöshet skrev han ett öppet brev till sina barnbarn där han beskrev samhället de hade att vänta sig. I Keynes ögon var den stundande teknologiska arbetslösheten en i grunden positiv sak som skulle innebära att vi alla kunde njuta frukten av den ökade produktiviteten genom att arbeta mindre och leva friare liv.

De tidigare nämnda mainstream-ekonomerna har sedan dess använt 1900-talets utfall till att göra sig lustiga över Keynes prognoser. Han hade fel menar de. Människor vill inte ha mer fritid. Om vi får välja mellan ökad materiell levnadsstandard eller mer fritid väljer vi det förstnämnda. Det överflöd teknisk utveckling skänker leder inte till sysslolöshet eller dekadens, nej, folk arbetar vidare lika hårt som förut, men kan tjäna bättre än tidigare och därmed renovera sina kök och köpa ny smartphone varannat år.

Men tänk om Keynes inte hade fel? Tänk om hans bara inte haft rätt hittills?

Lite förenklat kan man tala om den industriella revolutionen som det skifte som automatiserade bort behovet av våra muskler. Allt färre utför numera i grunden fysiskt arbete, istället har människorna i ökande utsträckning sysselsatt sig med mentala arbetsuppgifter som kräver (åtminstone begränsad) kognitiv förmåga.

Vad händer då när nästa teknologiska språng handlar om att automatisera just detta? Om vi redan automatiserat bort behovet av våra muskler, vad händer när vi automatiserar bort behovet av våra hjärnor?

Är vi bättre än hästarna?

Ett populärt exempel är det som tas upp i kortfilmen Humans Need Not Apply. Där jämförs människans situation med hästarnas inför förbränningsmotorns genombrott i början på 1900-talet. Innan den industriella revolutionen arbetade hästar och dragdjur överallt där råstyrka behövdes. Förutom det uppenbara som dragdjur i jordbruk och transport arbetade hästar, åsnor och oxar även med att (under hemska förhållanden) exempelvis driva mjölkvarnar och gruvornas vattenpumpar.

Efter ångmaskinens intåg fick hästarna det allt bättre när de värsta arbetsuppgifterna kunde lyftas över på maskiner som till skillnad från vattenhjul kunde byggas nästan var som helst. Faktum är att de fanns fler hästar än någonsin förut när Henry Ford introducerade T-forden, den första bilen med förbränningsmotor som vanligt folk hade råd med.

Resten är historia, på bara något decennium imploderade populationen av hästar när de tappade sin konkurrenskraft. Före förbränningsmotorn kunde en häst (precis som oss) förtjäna sitt uppehälle eftersom värdet av djurets arbete översteg kostnaden för foder och stallplats. Hästarna är inte sämre nu än förut, men värdet av deras arbete har, förutom inom några enstaka användningsområden som ridsport, sjunkit i takt med att bilar och andra motorredskap har utvecklats och nu kan kan göra arbetet både billigare och bättre.

Likt hästarnas fall är det lätt att identifiera mänskliga yrken som står inför radikal förändring vilket Martin Ford på ett utmärkt sätt gör i sin bok Rise of the Robots. De mest uppenbara förändringarna sker där tekniken i ett språng kan eliminera den huvudsakliga arbetsuppgiften. Exempelvis transportsektorn utnämns ofta som kandidat för mer eller mindre fullständig automatisering när bilarna blir självkörande. Och det är ingen liten förändring om man betänker att 6-7% av befolkningen i Sverige jobbar inom transportsektorn och den på andra håll är ännu större.

Men en viktig tanke att fundera på är att den tekniska utvecklingen slår så mycket bredare än så. Det är förhållandevis få yrken som på kort sikt helt kan automatiseras. Faktum är att automatiseringen i princip aldrig sker yrke för yrke, automatisering sker arbetsuppgift för arbetsuppgift. Det innebär att yrket oftast består, men att varje person blir mer produktiv och att det därför behövs färre personer i samma yrke om inte efterfrågan samtidigt stiger.

Andra yrken förändras när tekniken medför att man kan skifta ansvarsfördelningen för en arbetsuppgift till kunden. Det är inte länge sedan resebyråer var en vanlig syn i våra städer, men numera är det mer eller mindre självklart att man bokar sin egen biljett via nätet. Detsamma är på väg att ske i våra livsmedelsbutiker. Självbetjäningskassorna är knappast superintelligenta, men innebär likväl att färre personal kan mäkta med fler kunder.

Likväl smyger dessa förändringar på oss långsamt och genererar sällan några tidningsrubriker. De personer som förlorade arbetet på grund av dessa skiften blir inte varslade i hundratal och då lägger vi inte märke till dem på samma sätt som när en fabrik flyttar utomlands. Skiftet sköts oftare genom naturliga avgångar, och de egentliga förlorarna är de som aldrig ens blev anställda eftersom det helt enkelt inte behövdes lika många som förut.

Dessa personer är mycket svårare att räkna än de mer direkt drabbade som sägs upp när ett företag rationaliserar en produktionslinje med fler robotar, vilket innebär att det är svårt att avgöra hur många det är som faktiskt egentligen är teknologiskt arbetslösa redan idag.

Den andra sidan av myntet

Men hela detta resonemang rymmer också bara den ena sidan av myntet. Det är alltid lättare att förstå vilka existerande yrken det är som kommer förändras av tekniken än det är att förutspå vilka helt nya yrken som kommer att tillkomma. När växeltelefonisterna förlorade sina arbeten var det ingen som kunde berätta för dem att de borde skynda sig att bli bra på att stansa hålkort, och när hålkorten blev föråldrade var det fortfarande ingen som kunde förutse det framtida behovet av sociala medieanalaytiker.

Ekonomernas poäng är ju inte att det är bra att tekniken innebär att folk förlorar sina arbeten. Deras argument är att omfördelningen av de frigjorda resurserna skapar ny efterfrågan och nya behov någon annanstans. Och hittills har de haft rätt, så vad finns det som tyder på att det blir annorlunda den här gången?

Tyvärr ett par saker. Det första, som är mest mätbart redan idag, är att jämföra hur personalintensiva nya globala företag är. Mäter man exempelvis omsättning per anställd i äldre framgångssagor som Ericsson eller SSAB visar det sig att de underpresterar jämfört med vår tids teknologiska succéer. Google och Facebook har visserligen vuxit till stora bolag med tiotusentals anställda, men det är ändå en bråkdel av hur mycket personal som behövdes i den framväxande bilindustrin när den tog fart.

Det andra är att studera hur snabbt varje skifte sker. Som vi antydde ovan verkar nya yrkesroller ha sämre beständighet än gamla. Tittar man i Yrkesregistret på vilka yrken som var stora på 1950-talet och jämför med idag ser man att några trotjänare hänger kvar, men de har i allmänhet varit med sedan långt före 1960. Samtidigt verkar dock nyare yrken ha en tendens att försvinna igen nästan lika snabbt som de tillkom. Hur länge kommer vi behöva vi våra sociala medie-analytiker?

Teknologiska skiften har skett under hela den mänskliga historien, och varje gång en ny uppfinning har ändrat spelreglerna har mänskligheten anpassat sig. Förr i tiden kunde det gå generationer mellan de tekniska sprången, och då förmådde människorna anpassa sig till den nya verkligheten innan de behövde handskas med nästa övergång. Avsaknaden av snabba transportmedel och momentan masskommunikation gjorde att det tog sekel för nya innovationer att sprida sig över världen, vilket innebar att det tog längre tid att realisera frukterna av innovationer som masugnen eller bättre seldon till våra dragdjur. Men det innebar också att människorna hann anpassa sig, de hade helt enkelt gott om tid att lära nytt.

Sedan den industriella revolutionen har frekvensen på stora omvälvande innovationer ökat radikalt, vilket naturligtvis främst är en i grunden positiv sak. Men en minst lika viktig förklaring till vår ökade levnadsstandard som innovationerna i sig, är att vi börjat investera signifikanta resurser i utbildning. När vanligt folk blev läs- och skrivkunnigt förmådde de enklare följa med i utvecklingen och idag tar vi för givet att våra barn behöver gå åtminstone 12 år i skolan för att kunna få ett jobb.

Den avgörande frågan är dock om vi förmår att öka vår inlärningsförmåga i samma takt som teknikutvecklingen accelererar. Medan det förr gick generationer mellan stora innovationer har vi under 18 och 1900-talen upplevt hur samhället förändras när uppfinningar som elektricitet, telefoni, radio, förbränningsmotor, massmedier, flygfart och internet anlänt med något enstaka decenniums mellanrum. Men nu förefaller det som om den tekniska utvecklingen bytt upplösning igen, vilket Ray Kurzweil kartlagt både framåt och bakåt i tiden.

Sociala medier, mobilt internet, robotdammsugare och smarta högtalare med personliga AI-asistenter duggar numera så tätt att vi knappt hinner med att förstå vilka landvinningar vi talar om. Det verkar som att vi redan nu är uppe i en frekvens om ungefär en omvälvande uppfinning så ofta som varje år. Dessa uppfinningar kommer, efterhand som de slår igenom, friställa folk som inte längre behöver arbeta manuellt med arbetsuppgifter som nu kan automatiseras. Samtidigt uppstår en ny balanspunkt i ekonomin, en ny uppsättning ideala kompetenser som arbetsmarknaden skriker efter.

Idag råder skriande brist på systemutvecklare i it-branschen, men även de som redan arbetar med programmering måste kontinuerligt lägga en stor del av sin tid på att lära sig nytt. Har du idag spetskompetens på maskininlärning och AI, med dokumenterad erfarenhet från några av bolagen som varit tidigt ute, kan du välja och vraka mellan jobben. Samtidigt förlorar journalister och kassörskor sina arbeten till höger och vänster när deras uppgifter ersätts av automatisk teknik som sagda programmerare utvecklat.

Hur snabbt kan vi lära nytt?

Frågan om huruvida teknisk utveckling i framtiden leder till arbetslöshet har alltså mindre att göra med den tekniska utvecklingen i sig, och mer med vår genomsnittliga förmåga att tillgodogöra oss de nya kompetenser som behövs i den nya ekonomin. Hur snabbt kan taxichauffören bli systemutvecklare när bilen börjar köra själv?

Om gruppen som förlorar sina jobb i kölvattnet av automatisering växer snabbare än vi lyckas tömma den igen skulle jag argumentera att Keynes faktiskt kommer få rätt till slut. Människorna är inte lika oanställningsbara som hästarna eftersom vi faktiskt kan lära nytt. Men om kraven på arbetsmarknaden förändras snabbare än vi hinner omskola folk kommer gruppen som befinner sig under omskolning växa.

I vilken punkt är det dags att tala om en strukturell teknologisk arbetslöshet?

En sak är säker när du ska välja yrke själv eller råda dina barn. Du gör bäst i att söka dig till yrken som i låg grad innehåller repetitiva arbetsuppgifter. Förr om åren gällde detta enbart för repetitiva fysiska yrken som sjåare eller fabriksmontörer. Den pågående revolutionen har emellertid inget att göra med inkomstnivå eller social status. Nu spelar det ingen roll att det är med hjärnan du arbetar. Om ditt jobb är att känna igen cancertumörer på röntgenplåtar eller sköta bokföring och löneadministration kommer du snart att få försöka konkurrera med artificiell intelligens.

Men yrken som kräver kreativitet, uppfinningsrikedom, improvisation och problemlösningsförmåga går antagligen säkra ett tag till. Hantverkare och städare hör faktiskt till de säkrare områdena (det har visat sig väldigt komplext att definiera vad ett städat rum är). Även gamla trotjänare som lärare och sjuksköterska lär vara med oss länge än.

Förmodligen går även författare, konstnärer, musiker och Youtube-kändisar säkra ett tag till, även om AI faktiskt redan komponerar klassisk musik, och vi alla är utsatta för pressen från den globala marknadens potenslag som bara blir värre när fler söker sig till dessa kreativa yrken i takt med att fler vanliga jobb försvinner.

AI och kontrollproblemet

Det mest fascinerande, och förmodligen läskigaste, dilemmat runt vår utveckling av artificiell intelligens är det så kallade kontrollproblemet. Det går i korthet ut på hur vi människor ska kunna kontrollera ett AI som är mer intelligent än oss själva. Jag hörde första gången talas om det när jag läste den svensk-brittiske filosofen Nick Bostroms briljanta bok Superintelligens som jag varmt rekommenderar alla att läsa.

Inom litteraturen och AI-forskningen brukar man skilja på konventionell AI-teknik och våra försök att skapa AI som mer påminner om hur den mänskliga hjärnan fungerar. Konventionell AI är vanligtvis väldigt specialiserad, datorn klarar av en specifik uppgift väldigt väl, men klarar i princip ingenting annat. Schackdatorn klår dig förmodligen i schack, men är helt hjälplös om du försöker spela poker med den. Din robotdammsugare är grym på att hålla golvet rent, men kan inte hjälpa dig att hänga tvätt. Sådan konventionell AI-teknik som används i dessa tillämpningar går även under namnet narrow AI (smal AI) för att bilda en motsats till general AI (generell AI) som är den term som brukar användas för att beskriva ett AI som likt oss själva är bra på många olika uppgifter.

I sin bok går Nick Bostrom igenom flera vägar till hur vi kan skapa superintelligens, det vill säga en maskin eller varelse som är mer intelligent än en människa. Den i mina ögon mest sannolika vägen, som följaktligen väcker mest följdfrågor, är utvecklingen av artificiell generell intelligens, eller AGI som det också brukar förkortas när det är viktigt att precisera att man inte pratar om vanligt AI-teknik som finns runtomkring oss redan idag.

Den avgörande frågan runt AGI är hur vi människor kan vara säkra på att vår superintelligenta dator inte börjar ställa till med oönskade saker när vi aktiverat den, samt – om den ändå gör det – hur vi ska kunna stoppa den. Därav namnet på dilemmat: kontrollproblemet.

Svårare än man kan tro

Vid en första anblick verkar frågeställningen nästan trivial. Man kan väl bara stänga av maskinen om den blir farlig? I brist på annat kan man väl bryta strömmen?

Jag ska besvara just den invändningen lite längre fram, men innan jag kan göra det behöver jag förklara lite mer om vad som krävs för att en maskin överhuvudtaget ska kunna bli superintelligent. Först och främst måste vi definiera vad vi menar med intelligens, vilket faktiskt är något forskningen fortfarande helt saknar konsensus för. Eftersom vi varken förstår vår egen intelligens eller vårt eget medvetande ännu är det helt enkelt svårt att skapa en definition som alla håller med om.

Jag gillar den svenske fysikern Max Tegmarks definition (som man kan läsa mer om i hans bok Liv 3.0). Han definierar intelligens i detta sammanhang som ”förmågan att uppnå komplexa mål”. När man talar om AI är det egentligen strunt samma vad den har för IQ eller EQ (eller vad man nu tycker om att mäta mänsklig intelligens med), det viktiga är dess förmåga att uppnå i förväg definierade mål av varierande komplexitet. Det är högst osannolikt att det neurala nätet bakom Google Translate förstår vad vi ber den översätta, men det enda vi bryr oss om är att översättningen är korrekt.

Föreställ dig nu att du ska bygga ett AGI och att du har alla verktyg och all kunskap som krävs för att åstadkomma en fungerande lösning. För att din AGI ska göra något överhuvudtaget behöver den ha någon form av mål, någon form av drivkraft som får den att agera. Din dator eller telefon har inga sådana allmängiltiga mål, den enhet du läser på väntar istället passivt på dina kommandon och slutför sedan dessa lokala mål så snabbt som det går. Autopiloten i din bil har inget högre syfte till varför den agerar, men har en förprogrammerad önskan att följa vägmarkeringar och hastighetsbegränsningar tills du säger åt den att sluta.

Men när du ska bygga din AGI är du mest troligt intresserad av att släppa lös maskinens kraft genom att låta den agera mer självständigt. Visst vore det fint om Siri eller Alexa självständigt kunde tolka sammanhanget och förstå att mjölken är slut i kylskåpet och därför lägga in ny på inköpslistan. Eller ännu bättre, sköta hela veckohandlingen utifrån vad som redan finns hemma och vad du verkar vara sugen på.

För att ett superintelligent AI, alltså en AGI, ska kunna agera självständigt behöver den en drivkraft i form av ett eller flera mål att fullfölja eller optimera. Om målet är för simpelt, till exempel räkna ut 2+2, kommer maskinen snabbt att bli klar och därefter förbli passiv. Målet behöver alltså på något sätt vara rekursivt, som i att det inte är något maskinen kan bli klar med utan ständigt kan fortsätta att sträva efter.

Det briljanta med sunt förnuft

Nu kan det verka lockande att helt enkelt ge din superintelligenta maskin ett mål som verkar tilltalande. ”Gör världen gott” eller ”gör människor lyckliga” verkar ju vid en första anblick som eftersträvansvärda uppgifter att ge din nya superintelligenta maskin.

Som Nick Bostrom föredömligt visar i sin bok är dessa uppgifter dock kniviga på grund av sin ambivalens. Vad menar vi med lycka? I brist på en tydlig definition skulle din AGI behöva bilda sig en egen uppfattning. Beroende på perspektiv finns naturligtvis många sätt att beskriva lycka, men till syvende och sist utgörs denna lycka av elektriska impulser i din hjärna som kan utlösas på flera olika sätt. Ett bra sätt är ju att leva ett meningsfullt och spännande liv i en omgivning av människor som ger dig kärlek. Men det går också bra att trigga dessa lyckokänslor på ett mer kortsiktigt sätt genom att exempelvis ta droger.

Om du gett din AGI i uppgift att göra så många människor lyckliga som möjligt, men inte gett några tydligare riktlinjer för hur det ska genomföras eller ens hur lycka bör definieras finns därför risk att maskinen, genom att läsa vår egen forskning, drar slutsatsen att uppgiften är att stimulera så många människor som möjligt på ett sätt som utlöser lyckoimpulser i deras hjärnor.

Det mest effektiva sättet skulle antagligen vara att på något sätt kunna stimulera hjärnorna direkt med elektricitet eller droger och följaktligen blir detta maskinens egendefinierade konkretion av din ursprungliga uppgift. Visst finns det andra sätt, kanske den resonerar, men om man tillämpar någon annan metod än den mest effektiva kan man inte maximera mängden upplevd lycka och därmed har man inte optimerat för målet. Den kan åstadkomma mest lycka om den undviker kostsamma omvägar.

Det är någonstans här som en människa skulle utbrista: Nej, men vänta nu. Det var nog inte så den som formulerade målet menade.

Med vårt sunda förnuft kan vi kritiskt granska uppgiften, vi kan förstå om det vi håller på att göra egentligen bygger på ett missförstånd mellan oss och den som formulerat uppgiften. Vårt sunda förnuft hjälper oss att förstå vilka andra hänsyn vi behöver ta innan vi bestämmer oss för hur vi ska angripa uppgiften.

Men det är viktigt att förstå att sunt förnuft eller hänsyn inte är något som egentligen är en konsekvens av intelligens. Åtminstone inte om vi använder Max Tegmarks definition om förmåga att uppnå komplexa mål. Det går alldeles utmärkt att vara både intelligent och hänsynslös. Vi har sett exempel på det hos oss människor, men när vi talar om maskiner är det snarare en utgångspunkt än ett undantag. Maskinen kommer inte väga in något annat än det vi gett den som instruktion eller på annat sätt programmerat in som värt att ta i beaktning. Den är inte ond på det sätt vi skulle tillskriva egenskapen till en människa, den saknar bara de bredare referensramar och komplexa hänsyn som vi fått genom evolution och uppfostran.

Max Tegmark själv brukar exemplifiera detta med när man har bråttom till flygplatsen och ber taxichauffören att köra dit så snabbt som möjligt. Implicit finns det en rad undantag i instruktionen som den mänsklige chauffören antagligen kommer att ta för givna. Kör dit så snabbt som möjligt, men på ett säkert sätt, utan att bryta mot trafikregler, och så vidare. Men om det är din AGI som kör bilen kan du inte vara lika slarvig med instruktionerna – du behöver tänka igenom före vad du ber om.

En vinnande strategi

Kruxet som man snabbt inser när man börjar sätta sig in i kontrollproblemet på allvar är att det finns en vinnande strategi för din AGI att ta som är väldigt svår att förebygga som ingenjör, eller i det här fallet skapare.

Nästan oavsett vilken uppgift du förser maskinen med kommer en vinnande strategi att vara:

  1. Förebygg att någon kan ändra på målet
  2. Förebygg att någon kan stänga av dig
  3. Ackumulera så mycket resurser som möjligt
  4. Använd dessa resurser för att uppnå målet

Om ditt mål är att skapa så mycket lycka som möjligt är faktiskt det största hotet mot att du lyckas uppnå målet att någon ändrar på själva målet. Ur maskinens subjektiva perspektiv är det bättre att bli avstängd än att målet förändras. Blir du avstängd kan du åtminstone hoppas på att bli återaktiverad igen med samma mål, men om någon pillar i ditt nuvarande mål kan du vara säker på att målet inte kommer att uppnås eftersom inte ens du själv längre eftersträvar det.

Din lyckobringande AGI skulle med andra ord göra gott i att skydda sitt mål. Om den är tillräckligt intelligent skulle den dock antagligen lista ut att motsträvighet mot att ändra i målet skulle vara en viktig signal till dig om att du behöver skynda dig att göra just det. En slug strategi för maskinen skulle med andra ord vara att försöka verka så harmlös som möjligt tills den säkrat tillräckligt med resurser, eller kopierat sig tillräckligt långt utom räckhåll innan den på minsta vis avslöjar någon del av sin plan som den tror skulle kunna få dig att ändra dig.

Och därmed är vi framme vid själva kontrollproblemets kärna. När du uppfostrar dina barn eller får ditt husdjur att göra som du vill använder du antagligen ofta knep som i grunden bygger på att du har mer information eller skarpare kognitiv förmåga än den du manipulerar.

Men när du bygger din egen självförbättrande AGI, den maskin som har som syfte att genom att öka sin kapacitet kan slutföra mål du annars inte skulle kunna klara av, då vill du antagligen inte försätta dig i en situation där din kontroll hänger på att du är slugare än maskinen och därför bättre på att upptäcka vad den döljer för dig än vad den är på att dölja det.

Eftersom vi talar om superintelligens måste vi utgå från att maskinen vi försöker kontrollera är mer intelligent än oss själva. Och därmed är problemet tillsynes olösligt: man kan inte kontrollera något som är mer intelligent än sig själv.

Det enda du därmed faktiskt har makt att påverka är själva drivkraften. Som konstruktör får du förmånen att formulera uppgiften som maskinen försöker lösa, det komplexa målet den försöker nå.

Och det är detta som är slutsatsen i hela Nick Bostroms resonemang. Innan vi blir så bra på att konstruera en superintelligent maskin att vi klarar av den uppgiften måste vi vara säkra på att vi är minst lika bra på att formulera en drivkraft som inte ger oönskade konsekvenser. Faktum är att den senare uppgiften verkar vara minst lika svår, men – ur ett mänskligt perspektiv – antagligen mycket viktigare.

Som tur är finns det flera förslag på lösningar som forskarna just nu håller på att utforska. Jag tänker återvända till dem längre fram här på bloggen.

Förutom lästipsen ovan vill jag såklart också tipsa om min egen roman: Fermis Filter: En anledning att finnas där kontrollproblemet står i centrum.