{"id":453,"date":"2023-10-07T13:19:14","date_gmt":"2023-10-07T11:19:14","guid":{"rendered":"https:\/\/djax.se\/blog\/?p=453"},"modified":"2023-10-07T13:19:14","modified_gmt":"2023-10-07T11:19:14","slug":"stora-sprakmodeller-ar-ai-utan-medvetande","status":"publish","type":"post","link":"https:\/\/djax.se\/?p=453","title":{"rendered":"Stora spr\u00e5kmodeller \u00e4r AI utan medvetande"},"content":{"rendered":"\n<p>Jag tittade p\u00e5 f\u00f6ljande video som diskuterar hur medvetande kan uppst\u00e5 evolution\u00e4rt. Vid tidsst\u00e4mpeln som jag l\u00e4nkat visas exempel p\u00e5 hur det \u00e4r skillnad mellan <strong>texten i en bok, inl\u00e4sningen av texten (av en m\u00e4nniska) och den upplevda k\u00e4nslan<\/strong> av inneh\u00e5llet.<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"How did consciousness evolve? - with Nicholas Humphrey\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/9QWaZp_2I1k?start=914&#038;feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<p>Det som saknas i dagens AI chatt bottar \u00e4r stegen efter den mekaniska inl\u00e4sningen av texten. De kan snabbt tr\u00e4nas p\u00e5 stora m\u00e4ngder digitalt representerad text. Det som sedan genereras \u00e4r ord-f\u00f6r-ord det mest sannolika svaret p\u00e5 fr\u00e5gan anv\u00e4ndaren st\u00e4ller baserat p\u00e5 all den ofantliga m\u00e4ngd text den sedan innan &#8221;upplevt&#8221;.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"410\" src=\"http:\/\/localhost:8081\/wp-content\/uploads\/2023\/10\/llm-moby-dick-1024x410.png\" alt=\"\" class=\"wp-image-454\" srcset=\"https:\/\/djax.se\/wp-content\/uploads\/2023\/10\/llm-moby-dick-1024x410.png 1024w, https:\/\/djax.se\/wp-content\/uploads\/2023\/10\/llm-moby-dick-300x120.png 300w, https:\/\/djax.se\/wp-content\/uploads\/2023\/10\/llm-moby-dick-768x308.png 768w, https:\/\/djax.se\/wp-content\/uploads\/2023\/10\/llm-moby-dick.png 1497w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>ChatGTP och \u00f6vriga har garanterat hela texten om Moby dick sparat n\u00e5gonstans nere i sin svarta l\u00e5da och kan s\u00e4kerligen generera svar p\u00e5 inneh\u00e5llet i texten. Men det de inte kan g\u00f6ra, \u00e4r att subjektivt ber\u00e4tta om sin upplevelse av texten.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">M\u00e4nniskor upplever samma sensoriska information annorlunda<\/h2>\n\n\n\n<p>N\u00e5gon som l\u00e4ser samma bok som dig kommer inte <strong>k\u00e4nna <\/strong>samma sak som dig om boken. F\u00f6r\u00f6vrigt hur skulle ni ens kunna avg\u00f6ra om ni k\u00e4nner <strong>exakt <\/strong>samma sak?<\/p>\n\n\n\n<p>Om det vore m\u00f6jligt att p\u00e5 ett exakt vis avg\u00f6ra hur en viss individ kommer uppleva en given sensorisk sensation s\u00e5 skulle det vara m\u00f6jligt att skapa det<a href=\"https:\/\/en.wikipedia.org\/wiki\/The_Funniest_Joke_in_the_World\"> perfekta sk\u00e4mtet<\/a>.<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"The joke that kills - Monty Python\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/SxdkchcG6vk?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<p>F\u00f6rmodligen skulle det inte vara m\u00f6jligt att skapa <strong>ett sk\u00e4mt<\/strong> som vore det perfekta sk\u00e4mtet <strong>f\u00f6r alla<\/strong> m\u00e4nniskor. Men kanske att det finns ett individuellt perfekt b\u00e4sta sk\u00e4mt f\u00f6r varje person? (som du inte d\u00f6r av)<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Generera text har funnits ett tag<\/h2>\n\n\n\n<p>Att skapa ny information baserat p\u00e5 sannolikhet <a href=\"https:\/\/en.wikipedia.org\/wiki\/Markov_chain\">har funnits l\u00e4nge.<\/a> I h\u00f6gskolan skapade jag en bot i v\u00e5r IRC kanal som l\u00e4ste vad vi andra skrev och ibland hoppade in i diskussionen med ett genererat svar baserat p\u00e5 allt tidigare vi diskuterat.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"518\" height=\"107\" src=\"http:\/\/localhost:8081\/wp-content\/uploads\/2023\/10\/notepad_nqc9Pq1Vcj.png\" alt=\"\" class=\"wp-image-456\" srcset=\"https:\/\/djax.se\/wp-content\/uploads\/2023\/10\/notepad_nqc9Pq1Vcj.png 518w, https:\/\/djax.se\/wp-content\/uploads\/2023\/10\/notepad_nqc9Pq1Vcj-300x62.png 300w\" sizes=\"auto, (max-width: 518px) 100vw, 518px\" \/><\/figure>\n\n\n\n<p>Dagens LLM \u00e4r l\u00e5ngt mycket mer avancerade. Vi fick l\u00e5tsas ordentligt om det skulle k\u00e4nnas att v\u00e5r bott faktiskt var n\u00e5got intelligent. Jag vill kunna s\u00e4tta fingret p\u00e5 varf\u00f6r det <strong>k\u00e4nns som<\/strong> LLM \u00e4r s\u00e5 mycket b\u00e4ttre och varf\u00f6r det f\u00e5tt s\u00e5dant genomslag.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Bed\u00f6ma skillnaden mellan upplevelsen av texten och den faktiska representationen i boken.<\/h2>\n\n\n\n<p>Jag tror att det i anv\u00e4ndandet av LLM kommer vara mycket sv\u00e5rt f\u00f6r anv\u00e4ndarna att veta om fr\u00e5gan de st\u00e4ller \u00e4r n\u00e5got <strong>mekaniskt <\/strong>botten har en chans att <strong>rent sannolikt <\/strong>svara p\u00e5 eller om fr\u00e5gan i sj\u00e4lva verket handlar om den <strong>m\u00e4nskliga upplevelsen<\/strong>.<\/p>\n\n\n\n<p>Det \u00e4r skillnad p\u00e5 att be botten skriva en kort sammanfattning \u00f6ver utseendet p\u00e5 de 5 mest f\u00f6rekommande karakt\u00e4rerna i boken (information som finns utspritt i texten) och att be den avg\u00f6ra om boken \u00e4r en komedi.<\/p>\n\n\n\n<p>I det senare alternativet \u00e4r risken att den <strong>ogenerat hittar p\u00e5<\/strong>. Alternativt \u00e4r det v\u00e4l troligt att den i sin tr\u00e4ning ocks\u00e5 konsumerat recensioner av boken d\u00e4r genren diskuteras och p\u00e5 det s\u00e4ttet kan \u00e5terge en m\u00e4nniskas upplevelse den v\u00e4gen som en <strong>konstig loop<\/strong>.<\/p>\n\n\n\n<p>Men just nu vet vi inte n\u00e4r den g\u00f6r vad.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"873\" height=\"342\" src=\"http:\/\/localhost:8081\/wp-content\/uploads\/2023\/11\/firefox_BpT9yMzBef.png\" alt=\"\" class=\"wp-image-475\" srcset=\"https:\/\/djax.se\/wp-content\/uploads\/2023\/11\/firefox_BpT9yMzBef.png 873w, https:\/\/djax.se\/wp-content\/uploads\/2023\/11\/firefox_BpT9yMzBef-300x118.png 300w, https:\/\/djax.se\/wp-content\/uploads\/2023\/11\/firefox_BpT9yMzBef-768x301.png 768w\" sizes=\"auto, (max-width: 873px) 100vw, 873px\" \/><\/figure>\n\n\n\n<p>I \u00e4rlighetens namn \u00e4r hela den h\u00e4r texten som \u00e4r skriven av mig bara en upprepning av vad jag l\u00e4st och h\u00f6rt om \u00e4mnet. Egentligen ingen st\u00f6rre skillnad mot vad en LLM g\u00f6r? Hade jag kunnat producera en helt originell text om jag velat? Jag hoppas \u00e4nd\u00e5 att kombinationen av anekdoterna jag <strong>kommit p\u00e5<\/strong> leder till att nya tankar kanske v\u00e4cks hos den som l\u00e4ser detta.<br><\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"Geoffrey Hinton | Will digital intelligence replace biological intelligence?\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/iHCeAotHZa4?start=1517&#038;feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<p>PS: Tydligen kan GPT-4 <strong>resonera<\/strong> fram till ett svar p\u00e5 en ovanlig fr\u00e5gest\u00e4llning. D\u00e5 s\u00e4ger jag \u00e4nd\u00e5 god natt, en ny v\u00e4rld nalkas.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Mera l\u00e4sning<\/h2>\n\n\n\n<p><a href=\"https:\/\/www.beren.io\/2023-03-19-LLMs-confabulate-not-hallucinate\/\">LLMs confabulate not hallucinate<\/a><\/p>\n\n\n\n<p><a href=\"https:\/\/www.goodreads.com\/book\/show\/123471.I_Am_a_Strange_Loop\">I Am a Strange Loop<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Jag tittade p\u00e5 f\u00f6ljande video som diskuterar hur medvetande kan uppst\u00e5 evolution\u00e4rt. Vid tidsst\u00e4mpeln som jag l\u00e4nkat visas exempel p\u00e5 hur det \u00e4r skillnad mellan texten i en bok, inl\u00e4sningen av texten (av en m\u00e4nniska) och den upplevda k\u00e4nslan av inneh\u00e5llet. Det som saknas i dagens AI chatt bottar \u00e4r stegen efter den mekaniska inl\u00e4sningen [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":457,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4],"tags":[],"class_list":["post-453","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-okategoriserad"],"_links":{"self":[{"href":"https:\/\/djax.se\/index.php?rest_route=\/wp\/v2\/posts\/453","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/djax.se\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/djax.se\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/djax.se\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/djax.se\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=453"}],"version-history":[{"count":0,"href":"https:\/\/djax.se\/index.php?rest_route=\/wp\/v2\/posts\/453\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/djax.se\/index.php?rest_route=\/wp\/v2\/media\/457"}],"wp:attachment":[{"href":"https:\/\/djax.se\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=453"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/djax.se\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=453"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/djax.se\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=453"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}