-
-
Notifications
You must be signed in to change notification settings - Fork 850
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
添加phrases选项,可选择关闭词组匹配,减少内存消耗,加快运行速度 #26
Conversation
对了,测试那里没看懂要怎么加,好像只有 |
对于你这种情况,我觉得只需要: var isNode = false; 就可以了。 |
但isNode是在内部定义的,外部无法改变呀。而且isNode为false时貌似只包含精简字库? |
是的,常用字库。 |
这个倒不一定,其实我是用在姓名匹配上,在生成拼音数据的时候这个词组库参考意义不大。但是姓名里面生僻字还是会时不时碰到的。 另外,即使如你所说,只需要 |
嗯,你这种情况比较特殊,我要好好想想。。
现有的分词模块中有区分姓名的功能,之前就有想法针对姓名做针对性处理。 |
你可以先使用 fork 的这份修改版。 |
OK。另外还是补充一下这个场景,我的场景中是不要求100%准确的。比如“孙行者”,我会先存下来“|sunxingzhe|sunhangzhe|”,用户查询的时候输入“孙航着”,转成“sunhangzhe”查询即可。也就是说我的使用场景中拼音是作为查询辅助依据,只要能匹配任何一种可能的音节就行,不需要100%精确。 |
添加phrases选项,可选择关闭词组匹配,减少内存消耗,加快运行
本机对“你好”测试结果:
开启词组匹配耗时1361ms,关闭后162ms,耗时为原来的11.9%
内存占用没下载工具定量测,从服务器上旧版本(2.2.1)来看,可减少120m左右内存消耗。