玩懂手机网资讯，小米 MIUI 官方发布消息，小米 AI 实验室 MiNLP 平台已正式开源中文分词模块。

小米 AI 实验室 MiNLP 平台已正式开源中文分词模块。中文分词是将连续中文汉字切分成词的过程，是中文自然语言处理的基础。

MiNLP-Tokenizer 通过线上业务的实战考验，具备以下特点：

– 分词效果好：基于深度学习模型在大规模语料上进行训练，粗、细粒度在 SIGHAN 2005 PKU 测试集上的 F1 分别达到 95.7% 和 96.3%

– 轻量级模型：精简模型参数和结构，模型仅有 20MB

– 词典可定制：灵活、方便的干预机制，根据用户词典对模型结果进行干预

– 多粒度切分：提供粗、细粒度两种分词规范，满足各种场景需要

– 调用更便捷：一键快速安装，API 简单易用

未来 MiNLP 平台将持续开源词法分析、句法分析和语义分析等模块，期待与开发者一起打造功能强大、效果领先的自然语言处理平台。