[voikko] Tilastoja vuodelta 2012 ja kehityssuunnitelmia vuodelle 2013

[Harri Pitkänen]

Kirjoittelen tähän viestiin hiukan katsausta vuoteen 2012 ja suunnitelmia 
vuodelle 2013 Voikon kehityksen suhteen. Kaiken kaikkiaan kehitystahti on 
tällä hetkellä verrattain nopeaa, ja merkittäviä julkaisuja on näköpiirissä 
seuraavan vuoden tai kahden aikana.

 = Sanastotilastoja vuodelta 2012 =

Viime vuonna sanaston kehittämistahti piristyi vuoteen 2011 verrattuna. Uusia 
sanatietueita Joukahaiseen lisättiin reilu tuhat, muita muutoksia tehtiin 
vajaa 3000.
 
  Uudet sanat käyttäjittäin vuonna 2012

  uname   | firstname |  lastname  | uudet_sanat 
 ---------+-----------+------------+------------
 hatapitk | Harri     | Pitkänen   |         881
 jounip   | Jouni     | Pirttimäki |         187
 jeangel  | Hannu     | Väisänen   |          60
 tlikonen | Teemu     | Likonen    |           2

 
  Uudet sanat vuosittain

 vuosi | uudet_sanat 
 ------+------------
  2006 |       24143
  2007 |        3077
  2008 |        2308
  2009 |        1662
  2010 |        2366
  2011 |         483
  2012 |        1130


  Sanastomuutokset käyttäjittäin vuonna 2012
  
  uname   | firstname |  lastname  | muutokset 
 ---------+-----------+------------+----------
 hatapitk | Harri     | Pitkänen   |      2070
 jounip   | Jouni     | Pirttimäki |       475
 jeangel  | Hannu     | Väisänen   |       183
 tlikonen | Teemu     | Likonen    |         8

 
  Muutokset vuosittain
 
 vuosi | muutokset 
 ------+---------- 
  2006 |      5325
  2007 |     12000
  2008 |      4479
  2009 |      3939
  2010 |      6051
  2011 |      1218
  2012 |      2736

  
 = Suomen kielen VFST-morfologian tilanne =
 
VFST-morfologian kehitys on edennyt odotetulla tavalla. Kaikki ennalta 
hankaliksi ajattelemani tekniset haasteet on saatu ratkaistua. Jäljellä on nyt 
lähinnä raakaa työtä, jotta VFST-morfologia voisi korvata Malaga-morfologian 
kaikissa käyttötarkoituksissa. Testiaineistossani uusi morfologia tunnistaa 
nyt 63 % vanhan tunnistamista sanoista. Tehokkuuskin näyttää hyvältä: 
arvelisin VFST-morfologian käyttöönoton noin tuplaavan Voikon nopeuden ja 
puolittavan muistin tarpeen. Samalla "perussanastoon" voidaan todennäköisesti 
lisätä joitakin aiemmin pois jätettyjä morfologisia attribuutteja, mikä tulee 
vähentämään tarvetta erilliselle morfologiseen analyysiin tarkoitetulle 
sanastolle.


 = Suomi-malagan seuraava versio =

Edellisen version julkaisusta on kulunut jo yli seitsemän kuukautta, joten 
uusi versio olisi syytä julkaista mahdollisimman pian. VFST-kehitystyön 
yhteydessä Malaga-morfologiasta on korjattu pari virhettä ja sanastoon on 
tullut täydennyksiä. Mahdollinen julkaisuajankohta olisi viikolla 8; testaus 
alkuviikosta ja julkaisu loppuviikosta.


 = Libvoikon seuraava versio =

Libvoikkoon ei ole tullut edellisen version jälkeen sellaisia muutoksia, jotka 
vaikuttaisivat oleellisesti Malaga-morfologian käyttöön. Tarkoitus on 
kuitenkin julkaista uusi versio kevään aikana. Tässä versiossa HFST-
oikolukusanastot olisivat vihdoin virallisesti tuettuja, eivät siis enää 
kokeellista teknologiaa. HFST-sanastojen käyttöön varataan sanastoversio 3, 
mutta tukea version 2 sanastoille (eli nykyiselle Malaga-formaatille) ei 
poisteta.

Käyttökelpoisia HFST-oikolukusanastoja alkaa nyt olla saatavilla useille 
kielille. Uusimpia esimerkkejä eräille suomensukuisille kielille löytyy haulla

  https://tuhat.halvi.helsinki.fi/portal/fi/searchall.html?searchall=voikko


 = Libreoffice-voikon seuraava versio =
 
Tarve uudelle libreoffice-voikolle liittyy siihen, että pian julkaistava 
LibreOffice 4 tukee noita yllä mainittuja suomensukuisia kieliä. Vastaava tuki 
on lisätty libreoffice-voikon master-haaraan, mutta olisi hyvä saada se mukaan 
myös julkaistuun versioon. Mahdollisesti tähän versioon tulisi muitakin 
LibreOfficen uusimpiin versioihin liittyviä muutoksia, mutta näiden 
tarpeellisuudesta en vielä ole varma. Julkaisuajankohdaksi olen ajatellut 
loppukevättä.


 = Droidvoikko (Voikko Androidille) =
 
Tätä en ole ehtinyt muiden kiireiden takia edistää lainkaan useaan kuukauteen. 
Tässä vaiheessa alkaa jo näyttää siltä, että taidan kokonaan jättää Malaga-
tuen pois ja keskittyä Android-alustalla pelkkään VFST-tukeen. Toivon 
edelleen, että ehtisin kasata Droidvoikosta loppukäyttäjille kelpaavan versio 
vielä tämän vuoden aikana. Nykyinen testiversio on kuitenkin periaatteessa 
käyttökelpoinen ja tukee myös Malaga-morfologiaa, sen asentaminen vain on 
hiukan hankalaa.


Harri