Etikettarkiv: Stephen Hawking

Interview: Murray Shanahan on the technological singularity


Professor Stephen Hawking has said, on several occasions, that efforts to create thinking machines pose a threat to humankind. He might be the most famous thinker to hold this view, but he is certainly not the only one. The fear is that thinking machines (AI), when they finally reach human-level intelligence, will enhance themselves and become superintelligent, completely outwitting us humans. An explosive technological development would begin, and this moment is known as the technological singularity.

Many thinkers, including Nick Bostrom, believe that the singularity will be either very good or very, very bad. In the utopian scenario machines or robots would enhance the lives of humans, they might invent pharmaceuticals that can cure diseases such as bipolar disorder and Alzheimer. In the dystopian scenario the machines or robots would be more like the computer HAL or a terminator, seeing humans as a threat to their position as the new rulers of the world.

A Disneyland without children

“A society of economic miracles and technological awesomeness, with nobody there to benefit,” as Bostrom writes in his new book Superintelligence. “A Disneyland without children.”

A majority of the experts believe that human-level AI will be achieved pretty soon, according to a review of the book in Financial Times:

“About half the world’s AI specialists expect human-level machine intelligence to be achieved by 2040, according to recent surveys, and 90 per cent say it will arrive by 2075. Bostrom takes a cautious view of the timing but believes that, once made, human-level AI is likely to lead to a far higher level of ‘superintelligence’ faster than most experts expect – and that its impact is likely either to be very good or very bad for humanity.”

We have read a brand new, hugely entertaining and accessible book on this subject, The Technological Singularity (MIT Press) – it’s published in MIT:s very fine series Essential Knowledge – and we had the opportunity to ask its author, professor Murray Shanahan, a few questions. Mr. Shanahan is professor of Cognitive Robotics in the Department of Computing at Imperial College London.

Could you please tell us a little bit about your background, about how you begun to take an interest in theories about the technological singularity and how this interest has developed?

– I was fascinated by robotics and artificial intelligence at an early age, mainly thanks to science fiction books and movies. I was especially influenced by Asimov’s robot stories. But I also loved Dr Who as a kid, and always wanted to know what a dalek was like inside. I used to draw pictures of the insides of robots – mainly random boxes and wires, if I recall.

– Years later, when I was studying computer science at high school, I started thinking more seriously about the possibility of AI. I read I. J. Good’s seminal paper ”Speculations Concerning the First Ultraintelligent Machine” in the 1980s when I was still a teenager. This 1965 paper was the first serious treatment of the idea of the technological singularity. At that time I was sure that, if human-level AI was developed, it would be a wholly positive thing. I still think so, on balance. But now – partly thanks to the work of Nick Bostrom – I feel it’s important to exercise caution and think about the risks and downsides too.

In your book, the aim is not to make predictions but rather to explore different scenarios. In the literature as a whole on the technological singularity, would you say that the discourse is more dystopian than utopian? Has it changed over time?

– Non-fictional literature on the subject used to exhibit a nice balance of positive and negative portrayals of AI in the future. Recently this has shifted somewhat towards the discussion of risks and dangers, particularly since the publication of Nick Bostrom’s book. Of course, the general public loves a bit of apocalypse, so the media tends to amplify the concerns. And for the same reason, AI often gets a negative portrayal in science fiction movies. But it’s very important not to muddle up science fiction with reality.

– There are real concerns with how to build AI with human-level capabilities and beyond. But it’s not because researchers are worried that AI will have human foibles such as greed and cruelty. Rather it’s because a very powerful AI may be very good at achieving the goals we set it, but in ways with very harmful unanticipated side-effects. Nevertheless, I’m confident that we will solve these problems and that AI will be beneficial to humanity.

Could you please explain why human-level AI could develop very rapidly into superhuman AI and set off an intelligence explosion?

– In my view it would be a small step form human-level AI to superhuman-level AI. As soon as human-level intelligence is realised in a digital substrate then there are some simple, conservative ways to improve it dramatically. For example, it could be speeded up. Or aspects of the system, such as memory capacity, could simply be expanded. These thigs wouldn’t require any sort of further conceptual breakthrough. The prospect of an intelligence explosion is a different thing. Here we are imagining the implications of self-improving AI – artificial intelligence that is good at creating better artificial intelligence. If an AI can make its own improved successor, which in turn can make an even better successor (perhaps more quickly) then the result could be very dramatic.

Could you please describe a scenario in which a superintelligent AI goes rogue? What kind of damage could it do and what are the most reasonable ways of avoiding AIs going rogue?

– The sort of scenario that worries people is analogous to the sort of folktale where a genie gives you three wishes, and the genie makes them all come true but in horrible ways you weren’t expecting. The worry is that we will be unable to specify what we want a powerful AI to do precisely enough to ensure that it doesn’t think the best way to achieve the goal involves the destruction of humanity as a side-effect. We don’t yetknow how serious this problem really is, but people are starting to do research to make sure we can avoid it.

Human-level AI and superhuman AI raises a lot of philosophical questions. What are the most important ones?

– I think the most important philosophical questions relate to what it means to be human. The prospect of human-level AI obliges us to consider very different kinds of intelligence, very different kinds of consciousness even, which throws new light on our own form of intelligence and consciousness. It also makes us ask ourselves what we really want. If we could create servants with god-like powers, what would we ask them to do for us? How would we reshape human society and human life if we could do whatever we wanted?

Ola Wihlke

Lämna en kommentar

Under Intervjuer

50 böcker som garanterat gör dig mer intressant

Flavorwire är specialister på listor, vi intresserar oss mest för boklistorna. De är oftast långa och ibland spretar de åt alla möjliga håll men de är aldrig tråkiga att läsa. De funkar ofta perfekt som inspiration och boktips.

Emily Temple är en av dem på Flavorwire som gör flest och bäst boklistor, den senaste har en titel som vissa kanske tycker är lite smått provocerande: ”50 Books Guaranteed to Make You More Interesting”. Den väcker onekligen frågor. Exempelvis: Mer intressant för vem?

Men du kan vara lugn, listan är gjord med humor, kanske rentav med glimten i ögat. Det är bara en lista med ovanligt spännande böcker. Vi parasiterar på listan och väljer de 10 vi tror att man blir mest intressant av att läsa.


Citizen: An American Lyric (Graywolf Press) av Claudia Rankine var, trots att det är prosapoesi, något av förra årets främsta bok. Den var nominerad till rader av priser och den handlar om helt aktuella ämnen, om rasfördomar och diskriminering, och den sålde bra. I år har den klättrat upp på New York Times bestseller-lista, ovanligt för lyrik, och den är nominerad som finalist i två kategorier till National Book Critics Circle Awards. Mycket intressant.

Please Kill Me: The Uncensored Oral History of Punk (An Evergree... Cover Art

Lite udda kunskaper om punk kan tveklöst vara intressant, framåt småtimmarna. Och Please Kill Me: The Uncensored Oral History of Punk (Grove) av Legs McNeil och Gillian McCain har väl nästan någon slags klassikerstatus. Ett citat att klämma in i en konversation: ”Punken kommer aldrig dö, eftersom punkattityden aldrig blir omodern.”

Ooga-booga (Paperback) ~ Frederick Seidel (Author) Cover Art

Diktsamlingen Ooga-Booga (Farrar, Straus and Giroux) av mycket omstridde poeten Frederick Seidel har vi lyssnat väldigt mycket på den senaste tiden. Det finns fantastiska författaruppläsningar på YouTube. Det är bitvis riktigt otäcka dikter, men ointressanta kan man knappast kalla dem. Bland det bästa vi hört på mycket länge.

Elect Mr. Robinson for a Better World: A Novel (Paperback) ~ Don... Cover Art

Allt med Donald Antrim borde funka, men Elect Mr. Robinson for a Better World (Picador) räknas väl som hans mästerverk, en riktigt skruvad och surrealistisk historia som du kan läsa ett smakprov av här. Citat, men ur en annan bok: ”There is nothing more seductive — and dangerous — than being listened to.”

En bok måste vara som en yxa för det frusna havet inom oss : brev 1900 - oktober 1912 (inbunden)

Emily Temple föreslår att man ska läsa Franz Kafkas samlade berättelser för att bli mer intressant, vi föreslår att man läser hans samlade verk utgivna av Bakhåll för att bli riktigt intressant. Om någon frågar vad du gillar för böcker kan du svara: ”Jag har inga litterära intressen utan består helt av litteratur.” Men var beredd på att alla inte tycker att Kafka är superintressant.


Det mesta med Joan Didion funkar nog ganska bra, och Slouching Towards Bethlehem (Farrar, Straus and Giroux). Motkultur, 60-tal, Haight-Ashbury. Tvivelsutan intressant. Citat: ”Innocence ends when one is stripped of the delusion that one likes oneself.”


Lydia Davis fiktiva världar liknar inte många andras, hon är genuint originell. Och intressant. The Collected Stories of Lydia Davis (Penguin). Citat: ”“I can talk for a long time only when it’s about something boring.”


Emily Temple väljer Rings of Saturn av W. G. Sebald, som hon kallar en av världens mest intressanta personer ”in recent history”. Vi låter oss övertygas, men väljer Svindel. Känslor (Bonniers), eftersom den är lättare att få tag på i svensk översättning. Ett påstående om du vill låta riktigt sebaldsk: ”Fakta och fiktion är bägge hybrider. De är inga alternativ.”

The American Way of Death Revisited (Paperback) ~ Jessica Mitfor... Cover Art

 The American Way of Death Revisited (Vintage) av Jessica Mitford, handlar om den amerikanska begravningsbranschen. Kan göra stor succé. Kan vara en riktig konversationsdödare. Ett citat om döden: ”Rädslan för döden hämtar näring ur rädslan för livet. En människa som lever fullt ut är redo att dö närsomhelst.”

A Brief History Of Time (Paperback) ~ Hawking Stephen (Author) Cover Art

Rymden är lite neutralare än begravningsbranschen. A Brief History of Time (Bantam Books) av Stephen Hawking känns som ett gjutet val till en lista av det här slaget. Även om begrepp som oändligheten kan få vissa personer att freaka ur. Citat: ”Jag tror att främmande livsformer är ganska vanliga i universum, även om intelligent liv är mindre vanligt. Somliga säger att det ännu inte har uppträtt på jorden.”

Ola Wihlke

Lämna en kommentar

Under Listor

En teori om… allt. Har fysikernas teorier blivit mer fejk än fakta?

English: Stephen Hawking giving a lecture for ...

English: Stephen Hawking giving a lecture for NASA’s 50th anniversary (Photo credit: Wikipedia)

Det har kommit ut en rad spännande böcker om fysik den senaste tiden, om allt från partikelfysik till astrofysik. En av dem har orsakat rabalder som man normalt inte förknippar med naturvetenskapens upplysta artigheter.

Jim Baggott är före detta fysiker och vetenskaps- journalist och redan titeln på hans senaste bok har, inte helt förvånande, provocerat rader av verksamma fysiker: Farwell to Reality: How Modern Physics Has Betrayed the Search for Scientific Truth (Pegasus).

Baggott hävdar helt enkelt att fysiken de senaste tjugo åren har blivit allt mer verklighetsfrämmande. Och en av de främsta orsakerna till det är enligt honom fysikernas strävan efter att formulera en grand unified theory eller GUT (även på svenska) och sedan skapa en teori om allt, som inkluderar gravitationen.

Baggott hävdar att den här målsättningen, jakten på supersymmetri och en enande teori om allt, har drivit fysikerna allt längre ut i en öken av mer och mer fantastiska abstraktioner. Eftersom de här konstruktionerna har fel och brister, måste nya abstraktioner skapas för att få det att gå ihop. Baggotts namn för denna verksamhet är ”Fairytale physics”.

Den teoretiska fysiken ägnar sig åt allt från svarta hål och mörk materia till multipla universa och supersträngar. Denna gren av fysiken har allt mer kommit att likna filosofi och metafysik, men med sådana benämningar, påpekar Baggott, får man inga mångmiljardanslag till forskning. Enligt Baggott finns det 2-3000 personer i världen som enbart ägnar sig åt strängteori.

Och faktum är att den kritiska udden särskilt riktas mot strängteoretikerna. I en väldigt underhållande skriftlig debatt i The Guardian utväxlar Baggott argument med Mike Duff, professor i teoretisk fysik. Duff får sista ordet i den här delen av debatten och drämmer till med: ”A science writer calling the theorists who are actually doing the reasearch ‘confidence tricksters’ or Stephen Hawking ‘a fairytale physisicist’ doesn’t cut the mustard.”

Men många andra, också verksamma inom området fysik, tycker att Baggott har sina poänger. Jon Butterworth tycker exempelvis i ett blogginlägg i The Guardian att verksamma inom området får finna sig i att bli kritiserade. Och som av en händelse möttes Baggott och Butterworth i ett samtal i BBC-programmet Start the Week. Den senare påpekade gång på gång att den förre hade sina poänger.

Sedan finns det alla dem som redan hävdat att de funnit teorin om allt, en av Baggotts teser är att medierna okritiskt sprider fysikernas vetenskapslika sagor.


Lämna en kommentar

Under Artiklar