Change tokenize cache to prevent memory leak caused by inifinite cache

[k-tahiro]

初めまして。

_tokensCacheMapが無限にキャッシュしていくため、
APIのような形式でプロセスを立ち上げたままにしておくと、どこかでheapが足りなくなると思います。

getTokenizerではなくtokenizeを使用すれば、LRUMapによる上限付きのキャッシュになるため、そちらに変更するPRです。

何か間違いがあればご指摘ください。
ご確認よろしくお願いします。

[azu]

getTokenizerではなくtokenizeを使用すれば、LRUMapによる上限付きのキャッシュになるため、そちらに変更するPRです。

あー、確かにそうですね。
今はkuromojinの方にLRU実装したので、このライブラリレベルでは不要そうですね。
ありがとうございます。

[azu]

https://github.com/textlint-ja/analyze-desumasu-dearu/releases/tag/v5.0.1
でリリースしました。
patchバージョンなので、各ルールはlockファイルをアップデートすれば更新できそうです。

[k-tahiro]

素早い対応ありがとうございます。