有没有好的中文脏话识别的解决方案？

未来已来提问于 2018-09-06 17:36

• 勿忘初心2018-09-06 18:00

  要识别，先定义脏话的概念。谩骂、人身攻击等粗俗语言均可定义为脏话。这类内容如果频繁出现在社区、产品评论中，对产品氛围的维护有相当大的负面影响。

  
  

  网易云安全（易盾）将这类内容统称为“谩骂”，也是垃圾内容的一个类别。识别方案包含以下几种：

  1）关键词识别：中文谩骂内容常出现的类目，易盾已覆盖了绝大部分，积累了大量的垃圾样本，涵盖了目前常出现的垃圾内容，可以准确识别；

  2）模型识别：将谩骂样本加入训练库，提取相同特征，由模型对文本进行识别。模型也将随模型的训练提高精度。语义识别算法可以精确识别语义，可以根据上下文内容进行语义识别，防止仅依靠关键词而造成的的误判漏判。

  
  

  利益相关：网易云安全（易盾）是网易云旗下一站式云安全服务，在内容安全防护领域有深厚积累，日过滤不良信息超过10亿。网易云安全（易盾）文本检测服务识别这类垃圾内容的技术已经相当成熟，有此需要者可点击免费试用。