[voikko] Erillinen sisäinen oikolukijarajapinta libvoikkoon

Harri Pitkänen hatapitk at iki.fi
Sun Nov 15 18:28:30 EET 2009


Helsingin yliopiston ihmisten kanssa käytyjen keskustelujen johdosta olen 
lisännyt libvoikkoon uuden sisäisen rajapinnan spellchecker::Speller. Tuon 
tarkoituksena on mahdollistaa oikoluvun toteuttaminen ilman täydellistä 
morfologista analyysia, kuten Voikossa Malagaa käytettäessä on tähän saakka 
tehty.

Oletustoteutuksena rajapinnalle on adapteri, joka käyttää valittua 
morfologista analysaattoria oikolukutoiminnon toteutukseen. Malagaa 
käytettäessä erillisestä oikolukutoteutuksesta tuskin saataisiin kovin 
merkittävää hyötyä, joten tuo adapteri jää meille myös toistaiseksi käyttöön 
"tuotantokoodeissa". Transduktorien kanssa hyöty sen sijaan on merkittävä. 
Tein oikolukijasta erillisen suoran HFST-toteutuksen, ja oikoluku nopeus 
kasvoi noin kymmenkertaiseksi (en kovin tarkkaa mittausta tehnyt). Malagaankin 
verrattuna uusi HFST-oikolukija on monin verroin nopeampi. Oikoluvun laatuun 
tällä ei odotetusti ollut vaikutusta, eli mm. isojen ja pienten kirjainten 
erottelu ei edelleenkään toimi.

Harri



More information about the voikko mailing list