[voikko] Omorfi/HFST:n ja Voikon vertailua

[Harri Pitkänen]

On Wednesday 02 December 2009, Flammie Pirinen wrote:
> pitäisi kai päättää onko s-kliitti raakattava kokonaan pois
> oikolukuaineistosta

Tähän ratkaisuun päädyimme aikanaan Voikossa, eikä asiasta muistaakseni ole 
valituksia kuulunut.

> voisin seuraavaksi pitää
> hyvänä projektina että omorfin sanastonhallinnan saisi jätettyä
> joukahaiseen sillä noiden csv-listojen ylläpito on turhaa aikaa vievää.
> Ilmeisesti myös joukahaisessa on tehty aika paljon näitä nykysuomen
> sanalistaan tarvittavia valintoja kun siellä on merkitsemättä murteet ja
> puhekielisyydet.

Sanat on Joukahaisessa pyritty merkitsemään lipulla "puhekieltä tai murretta" 
aina jos tällaisesta sanasta on kyse. Niiden sanojen osalta, jotka olivat 
mukana alkuperäisessä Suomi-malagan sanastossa ilman murrelippua ja ovat myös 
Nykysuomen sanalistassa, murrelippu saattaa puuttua Joukahaisesta, koska näitä 
ei ole systemaattisesti koskaan tutkittu. Luulisin, ettei näiden määrä kovin 
suuri kuitenkaan ole.

En tiedä, kuinka tarkkaan olet perehtynyt siihen, mitä tietoa sanoista voidaan 
Joukahaiseen tällä hetkellä tallentaa. Suurin osa tiedoista on boolean-
arvoisia attribuutteja, jotka on listattu seuraavassa tiedostossa:

http://voikko.svn.sourceforge.net/viewvc/voikko/trunk/data/words/flags.txt?view=markup

Enemmän selitystä löytyy Joukahaisen ohjeista, joihin pääsee Joukahaisen 
etusivulta. Joukahainen ei tosiaan ole erityisesti sidottu pelkästään 
Voikkoon, joten jos omorfia varten tarvitaan jotain attribuutteja joita 
Joukahaisesta ei vielä löydy, lisäilen niitä pyydettäessä. Ja tietysti saat 
käyttäjätunnuksenkin, että pääset sitten sanojen tietoja muokkaamaan.

> Olisikohan automaattitestejä jossain kätevässä muodossa esim.
> liitettäväksi omorfin testeihin?

Automaattitesteihin liittyvä data löytyy osoitteesta

http://voikko.svn.sourceforge.net/viewvc/voikko/trunk/tests/voikkotest/

Luulisin, että noita pystyy parsimaan helpohkosti muillakin välineillä.

Harri