[voikko] Bugi Voikon tokens-funktiossa?

[Hannu Väisänen]

Oma moka.

Minulla on

private static final String HOME = System.getProperty ("user.home");
private static final String LIBVOIKKO = HOME + "/vvfst/lib/libvoikko.so";
private static final String VOIKKO_PATH = HOME + "/vvfst/voikkodict";
...
System.load (LIBVOIKKO);
voikko = new Voikko ("fi", VOIKKO_PATH);

Tuo on kyllä aiemmin toiminut...

Ilmeisesti System.load(...) ja Voikko-luokassa oleva
library = (Libvoikko) Native.loadLibrary(...) menevät
joskus sekaisin ja joskus taas ei.

Rupesi toimimaan, kun otin pois System.load(...)'in.

Seuraavaksi pitää testata, löytääko Solr libvoikko.so:n ilman
System.load()'ia ja jos ei, niin mitä sitten? (-:


________________________________________
Lähettäjä: voikko [voikko-bounces at lists.puimula.org] käyttäjän Hannu Väisänen [hannu.vaisanen at uef.fi] puolesta
Lähetetty: 8. tammikuuta 2016 23:32
Vastaanottaja: voikko at lists.puimula.org
Aihe: [voikko] Bugi Voikon tokens-funktiossa?

libvoikko-4.0.1-STAPSHOT.jar

Olen määritellyt

StringBuilder sb = new StringBuilder();

Kutsun Voikon tokens-funktiota näin:

List<Token> list = voikko.tokens (sb.toString());


Jos alustan muuttujan sb esimerkiksi näin:

sb.append ("a b c d");

tokens-funktio toimii, mutta jos luen muuttujaan sb
kokonaisen tiedoston tällä tavalla:

  private void fillBuffer (Reader input) throws IOException
  {
    int len;
    sb.setLength (0);
    while ((len = input.read (buffer)) > 0) {
      sb.append (buffer, 0, len);
    }
  }

tai tällä tavalla


  private void fillBuffer (Reader input) throws IOException
  {
    BufferedReader r = new BufferedReader (input);
    String line;
    while ((line = r.readLine()) != null) {
      sb.append (line + "\n");
    }
  }


tokens-funktio toimii satunnaisesti ja jää usein ikuiseen silmukkaan
funktiossa tokensNonNull(String text)

silmukassa while (bytesLen > 0) {...}

Muuttujan bytesLen arvo ei muutu, koska funktio
lib.voikkoNextTokenCstr()
ei löydä tekstistä sanoja.
_______________________________________________
voikko mailing list
voikko at lists.puimula.org
http://lists.puimula.org/listinfo/voikko