网易云易盾CTO朱浩齐:我们是如何用AI赋能内容安全?

勿忘初心2018-11-15 15:18


欢迎访问网易云社区,了解更多网易技术产品运营经验。


5月19日,LiveVideoStack携手网易云易盾,共同打造了“娱乐多媒体开发应用实践”专题,帮助开发者和泛娱乐平台运营人员,提升技术能力,突破难点,拓展思路与视野。


在专题论坛中,网易云易盾CTO朱浩齐分享了《AI赋能的内容安全技术实践》主题内容,从策略、技术、产品三个方面,详细介绍了网易在内容安全系统构建方面的实践经验,包括如何建立对有害信息精细明确的审核体系和应急响应机制,如何采用基于自然语言、深度学习技术的智能识别技术,保证对文字、图片、语音,特别是直播视频内容的全面精准覆盖等等。


内容安全行业现状:有害信息的持续性递增


2017年全球网民34亿,互联网普及率46%;全球智能手机保有量28亿;2016年互联网占据了中国用户55%的媒体时间;移动互联网使用时长超过电视......这些数字都在表明,网络直播的变现能力已远远超过游戏、电视等其他媒体。


朱浩齐表示,互联网进一步渗透人们生活各个角落的同时,也还带来有害信息的持续性递增——各种违法和不良信息的举报量居高不下,甚至引起了国家战略层面的关注。


没有网络安全,就没有国家安全,更不能让互联网成为传播有害信息、造谣生事的平台。因此,近年来,各种处罚案例也是不胜枚举。


这位网易云易盾CTO列举到:2017年4月18日,北京市网信办、公安局文化场行政执法总队联合约谈今日头条、火山直播、花椒直播;2017年4月底,国家新闻出版广电总局责令腾讯整改微信公众号、移动客户端播放视听节目;2017年6月22日,广电总局责令关停新浪微博、AcFun、凤凰网等站的视频服务;2017年7月,bilibili大量剧集被下架;2018 年4月6日;为了配合广电总局的整改,快手扩容自己内审核团队;2018 年4月8日,广电总局责令今日头条永久关停“内涵段子”等低俗视听产品......可以说,行业进入了强监管时代。


“对于企业来说,内容安全更是成为了刻不容缓的生死命题。”朱浩齐举例称,今年4月,文化部和旅游部公开文件显示已排查4939 款直播应用,下架370款。“所以,多款直播应用平台都选择了加大审核力度和人工投入。”例如,快手发布招聘显示将审核人员规模扩充到5000人,月薪4000-9000元;今日头条也表示近期将扩充到6000人审核团队,预期到达10000人......


朱浩齐认为,互联网直播平台的内容安全给企业带来的挑战远不仅如此,在成本、效果、技术上,各种挑战维度都在不断升级,更是给企业带来了极大的困难。


网易云易盾如何在技术层面提供安全防护?


分享完严峻的形势后,朱浩齐和大家谈了下拥有20年技术沉淀的网易云易盾是如何做内容安全的。


他说,易盾在内容安全上,一共经历了三个阶段:

  • 阶段一:关键词、黑白名单、过滤器;

  • 阶段二:内容特征识别(肤色,纹理)、贝叶斯过滤、相似度匹配、规则系统;

  • 阶段三:大数据分析(用户行为,用户分类)、人机识别、人工智能(语义识别,图像识别、自然语言处理等)。


现阶段文本、图像、语音、视频四块都有哪些核心技术?朱浩齐表示,主要有以下这些:

  • 文本:智能关键词、模糊匹配、语义分析、小语种检测;

  • 图片:图像识别、特征识别、图片检索、OCR 识别;

  • 语音:MD5库检测、语音特征检索、语音特征识别、语音识别;

  • 视频:视频转码压缩、视频流分析、截图/截帧分析。


这位深耕于技术一线的CTO表示,得益于神经网络学科的快速发展,近年来的机器学习技术也在不断进步,为内容安全提供了最坚实的技术保障,包括分层的生物神经网络、图像识别技术、深度神经网络、神经元激活热力图等等,在安全技术效果上给予了更多的强化。


Hubel& Wiesel(图片来源:Harvard Brain)


他说,这些技术也在网易易盾中得到了充分应用,包括图片识别、音频过滤以及视频过滤技术。


  • 图片识别技术:支持人像识别,支持色情图片检测,支持动漫识别;支持相似匹配,支持图片旋转、裁剪,支持改变图片亮度、色调;支持水印识别。

  • 音频过滤技术:基于强大的语音识别分析引擎,通过网易积累多年的垃圾库实时过滤有害语音,同将转成文字进一步过滤。技术要点在于,将语音转换文本和文本检测相结合。

  • 视频过滤技术(直播、点播):视频流检测,视频截图/截帧检测,直播间热度监测,主播黑名单,机器+人工。技术要点在于,将视频转换图片和图片识别技紧密结合。

对于网易来说,内部数据的多样性也给易盾提供了丰富的实践场景。“在网易邮箱、网易新闻、云音乐、LOFTER、云相册、薄荷直播等内部应用构建的数十万变种的数据中,易盾能够实现实时加密过滤垃圾信息、安全防刷等功能,良好地维护了产品运营氛围和用户体验。”

真实的技术环境更为复杂,网易易盾如何更进一步?


事实上,从技术、人力、成本等各维度来看,真实环境中的内容安全防护更为复杂。举例来说,假设10k张图像中有1张是违禁图片,易盾的系统准确率为99.9% ,即1k张图像会判错一张,那么其计算伪阳性率(False Positive Rate,即判断为违禁图像集合中正常样本的比例)为:



即11 张判定为违禁的结果里面竟有10张是误判的——数据的难解释性、黑客的持续性攻击都给内容安全防护提出了更高的要求。

  • 难解释性:如下图所示,一张原本能被正确识别的大熊猫图像,在添加人眼几乎不可辨认的微小变化之后,竟然以99 .3%的置信度被判别为长臂猿。


  • 黑客攻击:通过对输入数据的维度特性进行改变,可以针对深度学习数据处理环节进行攻击,对深度学习图像识别等应用造成逃逸攻击以及数据污染攻击等效果。比如说,下图某位明星,经过数据的维度特性处理后,它能被机器识别为“某本山”。



更遑论,内容安全的“攻击者们”早已形成了成熟的产业链。他们这类徘徊在法律边缘的群体,利益明确且分工协作,攻击手段更是持续升级。所以,对于所有的内容安全厂商来说,这都是一场高成本、长拉锯的攻坚战。


朱浩齐说:“基于此,易盾对比行业传统的内容识别单维度服务,还提供了账号、IP、行为动作(关注,投票,评论)、内容识别、用户画像、群体画像、环境数据、设备指纹的多维度技术服务。此外,更是深入解析攻击漏洞,从注册保护、登录保护、环境监测、行为分析、用户分析、离线计算的全服务流程进行深度的安全防护。”



目前,基于网易所构建的强大用户关系网络,易盾提供了场景化的解决方案。从广告过滤、智能鉴黄、暴恐识别、谣言排查四大方面,实现了弹幕实时过滤、聊天区文本/图片过滤、头像/昵称过滤、直播间电视墙监控、直播间音频过滤、主播黑名单、用户黑名单、房间热度分析等全方位的安全防护功能。此外,“机器+人工”的操作模式,更是从细微之处着手,提供了升级化的技术功能,智能机器监控、优先推送、智能排序、嫌疑高亮、支持警告、断流操作、自动补位、视频大小自适应等等不一而足。




重重的技术防御下,安全效果自然不言而喻。朱浩齐分享到,目前易盾每天为网易数亿的用户和内容数据提供安全保障,也给网易所有得产品提供了全面的信息安全服务。“在今年三月份主要商业网站违法不良信息的举报统计中,易盾全面的信息安全服务为网易的产品带来了效果显著的保护。”他说。


如何快速使用易盾?


网易易盾,是极速智能的内容安全云服务,专注内容安全解决方案。目前,网易易盾已在泛娱乐、多媒体、运营商、电商、金融证券等各行各业实现渗透应用,多领域客户覆盖下,是秉持初心、坚韧不破的安全技术保障。


内容安全数据可视化、智能的直播电视墙、身经百战的审核团队,丰富的功能应用,现在即可获取。


网易云易盾为您提供反垃圾DDoS高防等安全服务,欢迎点击免费试用。