[voikko] tokens-funktion nopeus

[Hannu Väisänen]

Harri kirjoitti:

> Nyt tuo toimii kuten pitääkin, 5 miljoonan merkin teksti meni läpi noin 10
> sekunnissa.

Minun testi antaa eri tuloksen.
718483 merkin tiedosto vie noin 7 minuuttia.

Size 718483
Sat Jan 09 12:19:59 EET 2016
Sat Jan 09 12:26:48 EET 2016



Koodia:

  private static StringBuilder sb = new StringBuilder();
  private final static char[] buffer = new char[8192];

  private static void fillBuffer (Reader input) throws IOException
  {
    int len;
    sb.setLength (0);
    while ((len = input.read (buffer)) > 0) {
      sb.append (buffer, 0, len);
    }
  }

    fillBuffer (reader);
    final String STRING = sb.toString();
System.out.println ("Size " + STRING.length());
System.out.println ((new Date()));
    List<Token> list = voikko.tokens (STRING);
System.out.println ((new Date()));