[voikko] tokenize isoille dokumenteille

[Teemu Kanstrén]

Kiitos nopeasta toiminnasta. Miten saan nämä uusimmat korjaukset käyttöön?

2016-01-06 18:13 GMT+02:00 Harri Pitkänen <hatapitk at iki.fi>:

> On Wednesday 06 January 2016 16:49:08 Harri Pitkänen wrote:
> > Ensimmäinen versio korjauksesta on nyt valmis:
> >
> >
> >
> https://github.com/voikko/corevoikko/commit/6cde86727d753a2fb4daf30384283a0
> > 938e11d1b
> >
> > Tämä ei vielä nähtävästi kokonaan poista ongelmaa, koska suoritusaika
> kasvaa
> > edelleen selkeästi neliöllisesti, jos mennään yli 100 000 merkin
> > kappaleisiin. Kuitenkin tämäkin korjaus parantaa tilannetta
> dramaattisesti,
> > eli 200 000 merkin kappale meni läpi jo alle 10 sekunnin (aiemmin meni
> > minuutteja). Siltikin se on vielä aivan liian hidas siihen nähden mitä
> sen
> > pitäisi olla, joten selvitys jatkuu.
>
> Lisäkorjaus täällä:
>
>
> https://github.com/voikko/corevoikko/commit/d1ed36660f5741b7a67b8e4fb16b9bba15b931d5
>
> Nyt tuo toimii kuten pitääkin, 5 miljoonan merkin teksti meni läpi noin 10
> sekunnissa.
>
> Harri
> _______________________________________________
> voikko mailing list
> voikko at lists.puimula.org
> http://lists.puimula.org/listinfo/voikko
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.puimula.org/pipermail/voikko/attachments/20160106/4555a5fb/attachment-0001.html>