Friso 1.6.4 发布 - ANSI C开发的中文分词器

Friso 是使用 c 语言开发的一款开源的高性能中文分词器,使用流行的mmseg算法实现。完全基于模块化设计和实现,可以很方便的植入其他程序中, 例如:MySQL,PHP,并且提供了php5, php7, ocaml, lua的插件实现。源码无需修改就能在各种平台下编译使用,加载完 20 万的词条,内存占用稳定为 14.5M。

关于本次更新:

Friso 最近的一次更新是2017年,之后除了bug修复,也没有再增加新的功能特性,同是17年Friso被嵌入了RediSearch作为对中文分词的支持,也发现有些开发者将Friso嵌入了Mysql数据中,近期邮件收到了很多的反馈,决定给Friso增加一些新的功能特性目标是让其更适合搜索。

与RediSearch的更紧密结合可以参考我给RediSearch提交的tokenizer的改造建议:https://github.com/RediSearch/RediSearch/issues/1084

Friso 1.6.4更新如下:

1、README完善了针对最新版本的详细的文档,各平台的编译,测试,配置,词库的管理等。
2、PHP5和PHP7扩展实现的优化。
3、增加根目录的Makefile和make testing的支持,便于对Friso内部的全部的test程序进行编译和调试:

➜  friso git:(master) make testing
cd src && make testing
make[1]: Entering directory '/data0/code/c/friso/src'
Try to make all the testing executable files ... 
gcc -O2 -Wall -fPIC friso_array.c tst-array.c -o array-testing
gcc -O2 -Wall -fPIC friso_hash.c tst-hash.c -o hash-testing
gcc -O2 -Wall -fPIC friso_link.c tst-link.c -o link-testing
gcc -O2 -Wall -fPIC friso_string.c tst-split.c -o split-testing
gcc -O2 -Wall -fPIC friso_string.c tst-split.c -o split-testing
gcc -O2 -Wall -fPIC friso_string.c friso_UTF8.c tst-string.c -o string-testing
gcc -O2 -Wall -fPIC friso.c friso_lexicon.c friso_string.c friso_array.c friso_hash.c friso_link.c friso_ctype.c friso_UTF8.c friso_GBK.c tst-lex.c -lm -o lex-testing
make[1]: Leaving directory '/data0/code/c/friso/src'

4,导出API的少量修改,具体参考README的Friso C API使用demo。

下载地址:

Gitee: https://gitee.com/lionsoul/friso/tree/v1.6.4-release
Github: https://github.com/lionsoul2014/friso/releases/tag/v1.6.4-release

猜你喜欢

转载自www.oschina.net/news/114173/friso-1-6-4-released
今日推荐