{"id":262,"date":"2023-06-26T14:46:16","date_gmt":"2023-06-26T11:46:16","guid":{"rendered":"https:\/\/blogit.xamk.fi\/datalab\/?p=262"},"modified":"2023-07-07T08:14:33","modified_gmt":"2023-07-07T05:14:33","slug":"ilta-sanomien-artikkeleiden-luokittelu-chatgpt-3-5-tekoalyn-avulla","status":"publish","type":"post","link":"https:\/\/blogit.xamk.fi\/datalab\/2023\/06\/26\/ilta-sanomien-artikkeleiden-luokittelu-chatgpt-3-5-tekoalyn-avulla\/","title":{"rendered":"Ilta-Sanomien artikkelien luokittelu ChatGPT 3.5 -teko\u00e4lyn avulla"},"content":{"rendered":"\n

Minulle annettiin dataa, joka sis\u00e4lsi kaikki Ilta-Sanomien verkkosivujen artikkelit vuodelta 2020. Data koostui sarakkeista: julkaisup\u00e4iv\u00e4, url-osoite, otsikko, uutisteksti, ID, sanam\u00e4\u00e4r\u00e4 ja osasto. Tarkoituksena oli antaa data luokiteltavaksi yhdysvaltalaisen OpenAI -tutkimuskeskuksen ChatGPT 3.5 -teko\u00e4lylle. Teko\u00e4lyn oli tarkoitus ottaa n\u00e4yte datasta, ja luokitella kaikki siin\u00e4 olevat artikkelit sille annettuihin osastoihin.<\/p>\n\n\n\n

ChatGPT 3.5 -teko\u00e4ly on nimens\u00e4 mukaisesti suunniteltu tulkitsemaan teksti\u00e4, ja ”keskustelemaaan”. Todellisuudessa se vaan toistaa sille opetettuja asioita. Se ei pysty hakemaan lis\u00e4tietoja hakukoneiden avulla, vaan luottaa t\u00e4ysin oppimaansa tietoon.

Teko\u00e4lylle (lyh. AI) ainoastaan annettiin lista uutisartikkeleiden osastoista. Se ei n\u00e4hnyt artikkeleiden alkuper\u00e4isi\u00e4 osastoja. K\u00e4skyt annettiin Pandas -nimisell\u00e4 Python -kirjastolla, k\u00e4ytt\u00e4en OpenAI:n API-avainta.<\/p>\n\n\n\n

Itse data oli annettu csv-tiedostona, joka muunnettiin Pandasilla taulukoksi.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

ChatGPT osoittautui kinkkiseksi ty\u00f6kaveriksi, joten jouduin \u201dajamaan\u201d projektin 90 kpl kokoisilla n\u00e4ytteill\u00e4. Valmiiseen ty\u00f6h\u00f6n kertyi 300 tulosta, joten onnistuneita ajoja kertyi nelj\u00e4.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Kehote annettiin tekstimuodossa. AI:n t\u00e4ytyi tietenkin tiet\u00e4\u00e4, mihin tekstit lajiteltaisiin, joten sille tuli antaa valmis lista osastoista, joihin data luokitellaan. Ilta-Sanomien Mobiili -niminen osasto on j\u00e4tetty pois datasta, sen aiheuttamien ongelmien takia.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

AI:ta viitattiin, kuin persoonana, kirjoittamalla sille yst\u00e4v\u00e4llisi\u00e4 viestej\u00e4 kokonaisin lausein, ja kuvailevin kriteerein. Skripti periaatteessa huijasi olevansa ihminen, joka kysyi AI:lta inhimillisi\u00e4 kysymyksi\u00e4 tietyin aikav\u00e4lein.

Vastauksille varattiin 200 tokenia, skripti odotti 33 sekuntia kyselyiden v\u00e4liss\u00e4. Kolme ensimm\u00e4ist\u00e4 ajoa sis\u00e4lsi 90 uutisteksti\u00e4. N\u00e4iden ajamiseen kului aikaa: 54min 31sek, 51min 3sek ja 50min 56sek. Viimeinen ajo sis\u00e4lsi 30 uutisteksti\u00e4, ja siihen kului 18min 40sek.<\/p>\n\n\n\n

Skriptin odotusluvun s\u00e4\u00e4t\u00e4misell\u00e4 oli usein katalia seurauksia, joten jouduin tyytym\u00e4\u00e4n odotteluun.  Lopuksi data yhdistettiin csv -tiedostoon, josta kasasin sen suureksi taulukoksi, josta erottuu kaikki saatu data.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n


300:n uutistekstin joukosta AI onnistui luokittelemaan 125 artikkelia. (n. 42%) Datasta l\u00f6ytyi my\u00f6s 19 artikkelia, joihin AI oli keksinyt oman vastauksen, vaikkei sille oltu koskaan annettu k\u00e4sky\u00e4 keksi\u00e4 omia osastojaan. Datassa oli my\u00f6s kolme vastausta, joilla tarkoitettiin sit\u00e4, mit\u00e4 ajettiin takaa, mutta kirjoitusasu ei vastannut annettua promptia. T\u00e4ysin ep\u00e4onnistuneita luokitteluja oli 153. (51%)<\/p>\n\n\n\n

\n
\"\"<\/figure>\n<\/figure>\n\n\n\n

Voit tutkia v\u00e4rikoodattua dataa osoitteessa: https:\/\/ksamk-my.sharepoint.com\/:x:\/g\/personal\/bmiha003_edu_xamk_fi\/EUP5IUiq1XZChBAvQnRgz_0BHXuvesvZtR7ijQN9z-xNYA?e=qmjgMP<\/a>
Excel -v\u00e4lilehdilt\u00e4 l\u00f6yd\u00e4t datan lajiteltuna.<\/p>\n\n\n\n

L\u00e4hde<\/h2>\n\n\n\n

Koulutus.fi. 2023. Sano hei ChatGPT:lle \u2013 Mik\u00e4 on ChatGPT ja mit\u00e4 siit\u00e4 pit\u00e4isi tiet\u00e4\u00e4?. P\u00e4ivitetty 5.5.2023. Saatavissa: https:\/\/www.koulutus.fi\/artikkelit\/mika-on-chatgpt-ja-mita-siita-pitaisi-tietaa-23286<\/a> [viitattu 4.7.2023]<\/p>\n","protected":false},"excerpt":{"rendered":"

Minulle annettiin dataa, joka sis\u00e4lsi kaikki Ilta-Sanomien verkkosivujen artikkelit vuodelta 2020. Data koostui sarakkeista: julkaisup\u00e4iv\u00e4, url-osoite, otsikko, uutisteksti, ID, sanam\u00e4\u00e4r\u00e4 ja osasto. Tarkoituksena oli antaa data luokiteltavaksi yhdysvaltalaisen OpenAI -tutkimuskeskuksen ChatGPT 3.5 -teko\u00e4lylle. Teko\u00e4lyn oli tarkoitus ottaa n\u00e4yte datasta, ja luokitella kaikki siin\u00e4 olevat artikkelit sille annettuihin osastoihin. ChatGPT 3.5 -teko\u00e4ly on nimens\u00e4 mukaisesti suunniteltu […]<\/p>\n","protected":false},"author":347,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[1],"tags":[],"class_list":["post-262","post","type-post","status-publish","format-standard","hentry","category-yleinen"],"jetpack_featured_media_url":"","_links":{"self":[{"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/posts\/262","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/users\/347"}],"replies":[{"embeddable":true,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/comments?post=262"}],"version-history":[{"count":4,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/posts\/262\/revisions"}],"predecessor-version":[{"id":274,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/posts\/262\/revisions\/274"}],"wp:attachment":[{"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/media?parent=262"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/categories?post=262"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/tags?post=262"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}