[voikko] Raaka voima lähestymistapa

[Hannu Väisänen]

ke, 2015-05-06 kello 09:50 +0200, Harri Pasanen kirjoitti:

> Uteliaisuus vei voiton ja tutkailin asiaa sen verran että latasin 
> suomenkielisen wikipedian sanaston tietokantaan.   Erillisiä sanoja oli 
> suuruusluokkaa 2 miljoonaa, kun pudotti ne pois jotka esiintyivät vain 
> kerran, jäljelle jäi noin miljoona sanaa. 

Jos tarkoitat sanalla sanan taivutusmuotoa, niin vain kerran esiintyvien
sanojen poistaminen ei ehkä ole hyvä idea. Kokeilin asiaa Projekti
Lönnrotin (www.lonnrot.net) kirjoilla. Siinä aineistossa 58%
taivutusmuodoista esiintyi vain kerran, mutta äkkiä katsottuna suurin
osa niistä ei ole kirjoitusvirheitä. Esimerkiksi

      1 aallonhalkaisija
      1 aallonhalkaisijalla
      1 aallonhalkaisijan
      1 aallonhalkaisijasta
      1 aallonhalkojaan
      1 aallonhalkojaksi
      1 aallonhalkojalla
      1 aallonhalkojalle
      1 aallonhalkojan
      1 aallonhalkojassa
      1 aallonharjaa
      1 aallonharjoille
      1 aallonharjoista
      1 aallonharjojen