如何科学地消灭敏感内容

 人参与 | 时间:2018年05月20日 07:31

中国网民第一次发现敏感词的存在,是在 2000 年的 qq 聊天室。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第1张

用于结交陌生朋友的聊天室功能,让敏感内容第一次有了大规模传播的可能,因此,禁词表出现了。

禁词表的规则相当粗暴——只要文本内容包含禁用词,则无法发送,或发送后仅自己可见。直到今天,微信也仍然沿用这一规则。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第2张

好在微信环境相对封闭,审查级别并不高。多伦多大学一份 2016 年 11 月发布的报告中,只发现 178 个禁词,且仅针对用中国大陆手机号码。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第3张

而在 web 2.0 时代,随着博客、论坛、社交网络开始成为主流产品,任何信息都有可能一夜间传遍全网。传统禁词方案的缺陷开始暴露出来。

首先,词库只能做到精准匹配,无法处理对原词的演绎。

假设金正恩为敏感词,那么可以演绎出三胖、鑫,以及英文、拼音、字符版本的几十个替代词,甚至直接用“金”以指代,而这些词显然无法被禁词表囊括。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第4张

另一方面,许多敏感内容是事件,无法仅用单个词描述。

以“金正男机场遇刺”为例,需要“机场”、“金正男”、“遇刺”其中两个词同时出现才能触发清除机制。这就给了其中单个词相当大的替换空间,例如“机场金大胖”、“胖熊机场一日游”,都可以让人联想到该事件。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第5张

面对这些问题,各种消灭敏感内容的计算机算法开始被研究出来。

分词是分析文本的第一步。

传统的“正向最大匹配法”即从左到右扫描文本,将匹配成功的词切分,直到无法匹配为止。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第6张

但这种方法并不可靠,如“一台独立服务器”就还是会被分为“一/台独/立/服务器”。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第7张

为了解决歧义问题,需要对大量真实语料进行统计,计算每个词的出现概率,再计算不同分词方案下的总概率。

在这个例子中,因为“立”作为词的出现概率极低,因此“一台/独立/服务器”的概率将明显高于“一/台独/立/服务器”。更进一步,还可计算两个词同时出现的概率,以得到更精确的分词结果。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第8张

今天的分词算法可以成功识别插入特殊符号的敏感词。而配合扩展词表,也可以处理以同音字或拼音替代的敏感词。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第9张

但对于联想类敏感词和事件类敏感内容,还是需要其他算法的加持。

贝叶斯方法就是其中之一。

1763 年,英国学者托马斯·贝叶斯(Thomas Bayes)提出了著名的贝叶斯公式:

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第10张

贝叶斯方法的核心在于通过已知事件的概率(先验概率)计算未知事件的概率(后验概率)。

以“金正男机场遇刺”举例,假设抽取十万条包含“机场”的文本,其中七万条为正常内容,三万条为需要清除的敏感内容。

即正常评论的概率 P(g)=70%,敏感评论的概率 P(b)=30%。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第11张

再对所有文本进行分词,计算每个词出现的概率。

以“遇刺”为例,假设在七万条正常内容中,有七十条“遇刺”,即出现概率概率 P(W|g)为 0.1%;而三万条敏感内容中,有三百条“遇刺”,即出现概率 P(W|b) 为 1%。“遇刺”一词出现的总概率 P(W) 为 0.37%。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第12张

那么,一条提到了机场的内容里出现了“遇刺”,该内容是敏感内容的概率 P(b|W) 是多大呢?将上面的结果带入贝叶斯公式中,可以算出概率为 P(b|W) = P(W|b)P(b) / P(W) = 81.1%。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第13张

按此方法可以计算出每个词的敏感概率,根据这个公式就可以计算出该文本为敏感内容的期望,再根据实际情况设定阈值进行处理。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第14张

以“金大胖在机场遇刺”为例,根据「金大胖」、「机场」和「遇刺」三个词的敏感概率,可计算出这句话是敏感内容的概率为 93.9%。

如何科学地消灭敏感内容 站长 网站 互联网 经验心得 第15张

贝叶斯方案的缺陷是需要大量语料数据作为其先验概率的支撑。但在深度学习算法逐渐成熟的今天,距离完全消灭敏感内容的最后屏障就是样本的数量。

为了实现这一伟大目标,官方也许可以定期举办“敏感词放心说”等活动,号召人民群众一起为消灭敏感词贡献数据。

作者:吴松磊 来源:回形针PaperClip

相关阅读:

如何24小时清除百度上一切负面信息?

外挂:一个因“快感”而崛起的暴利行业

揭秘不为人知的互联网黑色产业

顶: 1踩: 0

来源:,欢迎分享,(QQ/微信:13340454)