互联网审核之机器审核.docx

导语：在上一篇文章《审核业务机制基本认知》中，作者为我们分析了 审核维度主要分为准入环节的客户主体审核和推广环节的内容审核在 本篇文章中，作者将重点介绍推广内容的机器审核方式，不仅限于商业 推广的内容，同样适用于流量内容审核互联网上每日发布海量内容，单单微博的评论日均可达亿级以上同 时，随着时代发展，在传统的图文内容以上，音视频、直播、弹幕等 内容形式的兴起，对于内容审核的挑战日益增大很明显，在风险和用户体验双重重压之下，仅依赖人工审核是不现实 的，使用机器审核并初步过滤风险内容才是最优的选择机器审核是什么？简言之，机器审核是通过AI算法对劣质内容进行识别、过滤的一种审 核模式，通过提取海量数据样本的特征，输入机器学习形成的机器算 法机器审核通常可以区分为机审规则和机审模型，机审规则是最简单的 机器审核方式，仅支持识别文本类内容机审模型则能力更加强大， 可支持文本、图片、音视频的审核，一起来看看机器审核是如何识别 风险内容的？一、机审规则机审规则即风险词表，由海量的风险词和匹配规则构成，简单理解为 根据匹配规则，识别待检测文本中是否存在风险词表中的词，下面来 具体说说匹配规则：1■场景1:针对单个风险词的匹配规则•精准包含匹配：待检测文本中精准包含风险词才能够命中机审规 贝9。

如风险词为【真人荷官】，待检测文本中内容为【真％人 荷/官】，词中间加入了特殊符号，即无法识别；•强过滤匹配：能够将（1 ）中的特殊符合自动过滤后进行匹配，即将【真％人荷/官】转化为【真人荷官】，再进行识别；•拼音匹配：能够将【zhenrenheguan】、【真人heguan】转 化为【真人荷官】进行识别；•字母大小写转换：如风险词为【coco】，可以将【COCO】、 【Coco】转化为【coco】进行识别2•场景2:针对多个风险词的匹配规则•多模匹配：通过识别固定词间距内是否同时出现了多个风险词（通常不超过3个），如同时出现即命中机审规则举例：如机 审规则中，风险词为【真人】和【荷官】，设置识别的固定词间 距为60字当待检测文本中出现【真人XXXX荷官】，且两个 词间距不超过60字时，机审规则可以识别；•置换匹配：对于多模匹配，需要按顺序先出现【真人】，再出现 【荷官】，才能识别；而置换匹配，可以将两个词倒序排布后识 别，即可以识别【荷官XXXX真人】3.场景3:LdJJ免规则为防止正常合规的词语被误杀，通常会人为添加豁免规则举个例子：如机审规则中风险词为【人流】，豁免规则为【人流 量】。

那么当出现【人流量】时，即会命中豁免规则，允许该词语正 常使用除了上述基本的匹配规则外，在商业推广中通常还会增加【白名单机 制】白名单机制的出现，是基于品牌保护的目的，即白名单内的客 户或账户允许使用词【COC0】，其他客户不允许使用，来保证品牌主 体的正当权益大家可能有疑问，海量的风险词是怎么来的？如何判断一个词属于低 俗风险？这些都是专业的审核人员或风控规则运营人员基于工作经验、审核 case以及互联网的海量数据进行人工整理的可想而知，工作量极 大随着机审能力的发展，目前也可以借助一些词扩展工具，通过一个基 础词，基于繁体转换、拼音转换、同义转化等逻辑，自动扩展出变体 词，辅助人工收集二、机审模型机审模型能够实现对文本、图片、音频、视频各种形态产品的识别， 对于不同形态的产品如何识别呢？1.文本识别相较于机审规则，模型能够实现的识别场景更多通过语义分析构建 智能学习算法，结合场景对风险文本进行识别以下面一段文本为例【韩国电影/迷人的保姆/男主经不住漂亮保姆诱 惑】，这段话拆开每个词都不涉及敏感问题，但整体的场景描述下却 是低俗导向，不适宜发布对于这类情况，机审规则无法生效，只能靠模型来识别。

通过样本输 入和机器学习，让模型具备这类场景的识别能力2.图片识别通常区分为图片中的文字和图像识别: 文字识别采用ocr识别技术，即对图片进行扫描，将图片中的文本输 出，再使用文本规则或模型进行风险识别；图像识别基于海量的图片 数据，获取图片的信息并进行预处理，比如去噪、平滑、变换等，然 后抽取图片特征进行分类处理存储至索引库，计算并存储图片的风险 标签那在面对一张新图片时，索引库中如有与之相似的特征，即可以进行 识别判断作者对于图像识别研究并不深入，不作更多妄论3. 音频识别asr语音识别技术，将音频转换为文字后进行识别首先对音频进行预处理，提取音频的特征特征提取出来后，建立索 引库存放特征在面对一段待识别的语音时，将其与索引库中特征进 行匹配，输出识别的结果音频识别与同为多媒体元素的图片识别，基本的原理是一样的，都是 提取特征、建立索引库存储、特征匹配这三大过程4. 视频识别视频审核目前主要以视频切帧的方式，将视频切成一张张的图片，再 按照图片识别的方式进行审核三、总结可以看到，相较于机审规则，模型的识别范围更加广泛，识别能力更 加强大但在实际机器审核中，通常是规则和模型组合拳的方式使 用。

原因在于，模型的研发需要更加海量的数据和极细粒度的标准，并经 过严格的线上测试，准召率达标后才能够上线使用而机审规则不需 要研发，通常配置即可生效，是一种实时服务对于紧急风险来说，最合适的办法是使用机审规则应急，同时进行模 型研发，以最大程度降低风险影响当然机器算法的识别能力也是有限的，除了准召率的问题外，对于某 些场景几乎不适用比如直播的审核，对时效性要求极高如使用视频切帧、音频识别的 方式，直播画面结束还没审核完成，远远达不到风险管控的目的因 此通常使用人工审核，盯在直播间前防止风险突发本篇文章的内容就到这里，关于更多的审核模式、审核机制、审核业 务管理方式等会在后续文章中继续和大家分享！欢迎大家一起探。