{"id":9,"date":"2021-01-25T14:31:34","date_gmt":"2021-01-25T12:31:34","guid":{"rendered":"http:\/\/blogit.xamk.fi\/datalab\/?p=9"},"modified":"2021-01-27T08:06:57","modified_gmt":"2021-01-27T06:06:57","slug":"instagram-kuvien-analysointi-azuren-konenaolla","status":"publish","type":"post","link":"https:\/\/blogit.xamk.fi\/datalab\/2021\/01\/25\/instagram-kuvien-analysointi-azuren-konenaolla\/","title":{"rendered":"Instagram-kuvien analysointi Azuren konen\u00e4\u00f6ll\u00e4"},"content":{"rendered":"\n

Kuten sadoissa muissa organisaatioissa, Kaakkois-Suomen ammattikorkeakoulussa k\u00e4ytet\u00e4\u00e4n Microsoftin ohjelmistoja ja palveluita. Teamsien ja powerpointtien lis\u00e4ksi Data-analytiikka on ottanut k\u00e4ytt\u00f6\u00f6ns\u00e4 Microsoftin pilvipalvelualusta Azuren, josta l\u00f6ytyy monenlaista palvelua SQL-palvelimesta koneoppimismallien luomiseen.<\/p>\n\n\n\n

Yksi palvelutyyppi on nk. kognitiiviset palvelut johon kuvien analysointi eli konen\u00e4k\u00f6 kuuluu. P\u00e4\u00e4telmien tekeminen suuresta m\u00e4\u00e4r\u00e4st\u00e4 digitaalisia valokuvia niit\u00e4 n\u00e4kem\u00e4tt\u00e4 tuntui mielenkiintoiselta ajatukselta. Azuren konen\u00e4\u00f6ss\u00e4 on monenlaisia ominaisuuksia: on kasvojentunnistusta, kuvassa olevan tekstin tunnistusta, kuvien kategorisointia jne. P\u00e4\u00e4tin lopulta kokeilla automaattista kuvatekstien ja tagien luomista valokuville jotta syntyisi jonkinlainen k\u00e4sitys siit\u00e4 miten se kuvia lajittelee.<\/p>\n\n\n\n

\"\"
Esimerkki automaattisesti generoidusta kuvatekstist\u00e4 ja tageista. Tekstille ja jokaiselle tagille on my\u00f6s konen\u00e4\u00f6n tekem\u00e4 ”confidence score”.<\/figcaption><\/figure>\n\n\n\n

Testiaineistoksi valikoitui oppilaitoksemme Xamkin virallinen Instagram-tili ja sielt\u00e4 2000 valokuvaa.<\/p>\n\n\n\n

Miten se toimii?<\/h2>\n\n\n\n

Konen\u00e4k\u00f6 on API, eli ohjelmointirajapinta (Application Programming Interface). Yksinkertaisimmillaan sinne sy\u00f6tet\u00e4\u00e4n kuva ja kone palauttaa kuvalle pyydetyn datan (esim. tunnistetut kasvot, kuvauksen jne.) T\u00e4ss\u00e4 harjoituksessa k\u00e4ytin rajapintaa python-ohjelmointikielen avulla, jolle Microsoft tarjoaa kehitysalustan. K\u00e4yt\u00e4nn\u00f6ss\u00e4 Azureen perustetaan resurssi josta saa tarvittavan salasanan. Koodikirjastot tuodaan pythonin import-komennolla ja client autentikoidaan salasanalla, mink\u00e4 j\u00e4lkeen rajapintaan voi alkaa heitell\u00e4 kuvia. Rajapinnasta on kattava ja johdonmukainen dokumentaatio<\/a>.<\/p>\n\n\n\n

\"\"
Python-ohjelmointikielen tarvittavien koodikirjastojen tuonti ja clientin autentikointi konen\u00e4\u00f6lle ja kasvojentunnistukselle.<\/figcaption><\/figure>\n\n\n\n

P\u00e4\u00e4tin hakea kuvatekstit ja tagit 2000 kuvalle ja liitt\u00e4\u00e4 saadut tulokset osaksi Instagram-aineiston metadataa. Kahden tuhannen kuvan l\u00e4pik\u00e4ynti kest\u00e4\u00e4 koneelta jonkin aikaa, joten kerkesin k\u00e4yd\u00e4 v\u00e4lill\u00e4 lounaalla ja palata sitten katsomaan mit\u00e4 tuloksista mahdollisesti voi saada irti. <\/p>\n\n\n\n

Ja toden totta, teko\u00e4ly oli keksinyt kuville englanninkieliset kuvatekstit ja tagit. Azuressa olisi mahdollista my\u00f6s k\u00e4\u00e4nt\u00e4\u00e4 tekstit automaagisesti suomeksi mutta t\u00e4m\u00e4 vaatisi lis\u00e4\u00e4 API-kutsuja, joten p\u00e4\u00e4tin p\u00e4rj\u00e4t\u00e4 kolmannella kotimaisella. Analyysiss\u00e4 k\u00e4ytin pythonin pandas-kirjastoa jossa data on taulukkona (dataframe) ja sen filtter\u00f6intiin ja muokkaamiseen on paljon tehokkaita ty\u00f6kaluja.<\/p>\n\n\n\n

Polkupy\u00f6r\u00e4kuvien etsiminen – with confidence<\/h2>\n\n\n\n

Tagien avulla suuresta kuvamassasta voi hakea tiettyj\u00e4 elementtej\u00e4 sis\u00e4lt\u00e4vi\u00e4 kuvia. Kokeilin hakea 2000 kuvan joukosta ne, joissa on t\u00e4gi ”polkupy\u00f6r\u00e4” (eli siis bicycle). Tuloksista selvisi, ett\u00e4 Bill Gatesin robottisilm\u00e4lasit ovat n\u00e4hneet yhteens\u00e4 27 kuvaa joissa on polkupy\u00f6r\u00e4. <\/p>\n\n\n\n

kuvat['py\u00f6r\u00e4t']=kuvat['tagit'].str.contains('bicycle')<\/code><\/p>\n\n\n\n

Suodatin polkupy\u00f6r\u00e4kuvat tykk\u00e4ysten mukaan alenevaan j\u00e4rjestykseen ja katsoin mit\u00e4 kone on oikein n\u00e4hnyt. Aluksi kaikki vaikuttaa hyv\u00e4lt\u00e4. Esimerkiksi 157 tykk\u00e4yst\u00e4 saaneessa, Vappua juhlistavassa kuvassa on selke\u00e4sti polkupy\u00f6r\u00e4 ja kone antaa ’bicycle’ -tagille confidence scoren 0.9501 mik\u00e4 on todella kova.<\/p>\n\n\n\n

\"\"
Koneen mielest\u00e4 t\u00e4ss\u00e4 kuvassa on polkupy\u00f6r\u00e4 yli 95 % luottamustasolla.<\/figcaption><\/figure>\n\n\n\n

Seuraavassa kuvassa ei kuitenkaan ole polkupy\u00f6r\u00e4\u00e4. Siin\u00e4 on polkupy\u00f6r\u00e4-t\u00e4gi ja mies hymyilem\u00e4ss\u00e4 jonkinlaisen osittain n\u00e4kyv\u00e4n metalliputkih\u00e4ss\u00e4k\u00e4n luona mik\u00e4 aivan ilmeisesti ei ole polkupy\u00f6r\u00e4. Kuvan bicycle-tag onkin saanut confidence scoren 0.31. Luokittelua varten p\u00e4\u00e4tin rajata pisteytyksen 0.9 ja sit\u00e4 suurempiin lukuihin. T\u00e4t\u00e4 varten pandasilla on helppo luoda uusi taulukko kuvista, joissa on mukana vain tagit joiden luotettavuusarvo ylitt\u00e4\u00e4 0.9. Polkupy\u00f6rien kohdalla t\u00e4m\u00e4 toimii mainiosti ja lopulta onnistun etsim\u00e4\u00e4n kaikista kuvista vain sellaisia, joissa oikeasti on py\u00f6r\u00e4. Lis\u00e4ksi on tuntematon m\u00e4\u00e4r\u00e4 kuvia joissa on py\u00f6r\u00e4 mutta jotka eiv\u00e4t saa polkupy\u00f6r\u00e4-tagia.<\/p>\n\n\n\n

Julkiset naamat<\/h2>\n\n\n\n

Liev\u00e4n\u00e4 yll\u00e4tyksen\u00e4 tuli, ett\u00e4 kuvatekstitoiminto tunnistaa julkkisten naamoja. Azuressa on erikseen kasvojentunnistin, jolla kasvoille voi generoida tunnisteen. Tunnisteen avulla samanlaisia kasvoja voi etsi\u00e4 kuva-aineistoista. Kuvateksti-toiminto kuitenkin l\u00f6yt\u00e4\u00e4 suvereenisti suomalaisia julkkiksia. Koska Xamk on vahvasti mukana Emma-gaalassa, p\u00e4\u00e4tin katsoa onko gaalakuviin tallentunut julkisia naamoja. Etsinn\u00e4ss\u00e4 auttaa my\u00f6s t\u00e4ss\u00e4 yhteydess\u00e4 k\u00e4ytetty hashtag ”xamkgoesemma”. Keinosilm\u00e4t ovat n\u00e4hneet mm. 3 Anna Puuta, Reino Nordinin, Juha Tapion, Sanni Kurkisuon ja Erkki Liikasen (joista viimeinen ei ehk\u00e4 Emma-gaalasta). <\/p>\n\n\n\n

\"\"
Kuvassa Pyhimys puvussa. Teko\u00e4lyn mielest\u00e4 kyseess\u00e4 on 0.563 todenn\u00e4k\u00f6isyydell\u00e4 ’gentleman’.<\/figcaption><\/figure>\n\n\n\n

Yksi h\u00e4mment\u00e4v\u00e4 ilmi\u00f6 ovat julkkisten kaksoisolennot. Kone l\u00f6ysi Xamkin Instagramista useita ulkomaisia julkkiksia, jotka l\u00e4hemm\u00e4ss\u00e4 tarkastelussa osoittautuivat tavallisiksi tallaajiksi jotka vain sattuvat n\u00e4ytt\u00e4m\u00e4\u00e4n julkkiksilta. <\/p>\n\n\n\n

Scoreissa on eroja<\/h2>\n\n\n\n

Luottamuspisteytykset jotka kone ilmoittaa kuvateksteille ja tageille poikkeavat ratkaisevasti toisistaan. Kuvateksti joka saa pisteytyksen 0.5 on usein ”oikein” ja jopa hy\u00f6dyllinen, kun taas jos haluaa luokitella kuvia tagien avulla niin 0.5 tasoa ei v\u00e4ltt\u00e4m\u00e4tt\u00e4 kannata ottaa mukaan. <\/p>\n\n\n\n

Ero k\u00e4y ilmi my\u00f6s luottamustasojen jakaumasta. Tarkastelin kuvatekstien ja tagien saamia pisteit\u00e4 tekem\u00e4ll\u00e4 niist\u00e4 box-plotit pandasissa: <\/p>\n\n\n\n

kuvat['caption_confidence'].plot(kind='box', vert=False, figsize=(10,5), title = 'caption_confidence')<\/code><\/p>\n\n\n\n

\"\"
Datassa on 2000 koneen generoimaa otsikkoa. Mediaani on alle 0.5:ss\u00e4. Sill\u00e4kin tasolla otsikot ovat kuitenkin usein ”oikein”.<\/figcaption><\/figure>\n\n\n\n
\"\"
Kahdessatuhannessa kuvassa on hieman alle 18000 tagia (n.9kpl\/kuva) 25. ja 75. persentiilit asettuvat v\u00e4lille 0.7-0.94 mediaanin ollessa 0.869.<\/figcaption><\/figure>\n\n\n\n

Konen\u00e4\u00f6n tekem\u00e4n luokittelun luotettavuuden arvioinnissa koneen ilmoittamat pisteytykset ovat hyv\u00e4 apuv\u00e4line. Erityisen mielenkiintoista on etsi\u00e4 tageja joista kone on omasta mielest\u00e4\u00e4n l\u00e4hes varma, mutta jotka kuitenkin ovat p\u00e4in honkia.<\/p>\n\n\n\n

Seuraavia harjoitteita<\/h2>\n\n\n\n

Kuvatekstigeneraattorin kyvyst\u00e4 tunnistaa julkisuuden henkil\u00f6it\u00e4 syntyi ajatus sy\u00f6tt\u00e4\u00e4 konen\u00e4\u00f6lle julkisuuden henkil\u00f6it\u00e4. Suunnitelmissa on k\u00e4ytt\u00e4\u00e4 kotimaisten digitaalisten viihdeuutisten kuvastoa ja analysoida keit\u00e4 se tunnistaa ja keit\u00e4 ei. Jatkuu seuraavassa numerossa.<\/p>\n","protected":false},"excerpt":{"rendered":"

Kuten sadoissa muissa organisaatioissa, Kaakkois-Suomen ammattikorkeakoulussa k\u00e4ytet\u00e4\u00e4n Microsoftin ohjelmistoja ja palveluita. Teamsien ja powerpointtien lis\u00e4ksi Data-analytiikka on ottanut k\u00e4ytt\u00f6\u00f6ns\u00e4 Microsoftin pilvipalvelualusta Azuren, josta l\u00f6ytyy monenlaista palvelua SQL-palvelimesta koneoppimismallien luomiseen. Yksi palvelutyyppi on nk. kognitiiviset palvelut johon kuvien analysointi eli konen\u00e4k\u00f6 kuuluu. P\u00e4\u00e4telmien tekeminen suuresta m\u00e4\u00e4r\u00e4st\u00e4 digitaalisia valokuvia niit\u00e4 n\u00e4kem\u00e4tt\u00e4 tuntui mielenkiintoiselta ajatukselta. Azuren konen\u00e4\u00f6ss\u00e4 on […]<\/p>\n","protected":false},"author":231,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[1],"tags":[2,4,3,5],"class_list":["post-9","post","type-post","status-publish","format-standard","hentry","category-yleinen","tag-azure","tag-pandas","tag-python","tag-tekoaly"],"jetpack_featured_media_url":"","_links":{"self":[{"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/posts\/9","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/users\/231"}],"replies":[{"embeddable":true,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/comments?post=9"}],"version-history":[{"count":11,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/posts\/9\/revisions"}],"predecessor-version":[{"id":50,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/posts\/9\/revisions\/50"}],"wp:attachment":[{"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/media?parent=9"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/categories?post=9"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogit.xamk.fi\/datalab\/wp-json\/wp\/v2\/tags?post=9"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}