[voikko] Erillinen sisäinen oikolukijarajapinta libvoikkoon
Harri Pitkänen
hatapitk at iki.fi
Sun Nov 15 18:28:30 EET 2009
Helsingin yliopiston ihmisten kanssa käytyjen keskustelujen johdosta olen
lisännyt libvoikkoon uuden sisäisen rajapinnan spellchecker::Speller. Tuon
tarkoituksena on mahdollistaa oikoluvun toteuttaminen ilman täydellistä
morfologista analyysia, kuten Voikossa Malagaa käytettäessä on tähän saakka
tehty.
Oletustoteutuksena rajapinnalle on adapteri, joka käyttää valittua
morfologista analysaattoria oikolukutoiminnon toteutukseen. Malagaa
käytettäessä erillisestä oikolukutoteutuksesta tuskin saataisiin kovin
merkittävää hyötyä, joten tuo adapteri jää meille myös toistaiseksi käyttöön
"tuotantokoodeissa". Transduktorien kanssa hyöty sen sijaan on merkittävä.
Tein oikolukijasta erillisen suoran HFST-toteutuksen, ja oikoluku nopeus
kasvoi noin kymmenkertaiseksi (en kovin tarkkaa mittausta tehnyt). Malagaankin
verrattuna uusi HFST-oikolukija on monin verroin nopeampi. Oikoluvun laatuun
tällä ei odotetusti ollut vaikutusta, eli mm. isojen ja pienten kirjainten
erottelu ei edelleenkään toimi.
Harri
More information about the voikko
mailing list