• 找新知
  • 找课程
  • 找服务/产品
  • 找LIVE
  • 找活动
  • 找新知号/店
新知一下
海量新知
1 6 0 0 9 8 8

天网恢恢,当内容安全拥抱人工智能

同盾智能风控 | 同盾科技-专注于智能风控和分析 2019/10/09 14:19

世易时移,科技的进步常常伴随着一些职业的消亡。

黄师 — 一个充满神秘而略显暧昧的职业。每天面对着海量的审核,都需要承受心理和生理的双重压力。

日复一日、年复一年,诗和远方又将归于何处?!

新知图谱, 天网恢恢,当内容安全拥抱人工智能

图片来源(摄图网)

通常一个鉴黄师月均需要完成上万部淫秽物品审核工作

随着互联网的高速发展,网络内容呈现丰富多彩的同时,面临的安全挑战也在不断加剧,而通过传统人工审核的方式,显然无法适应这个内容喷薄的时代。

新知图谱, 天网恢恢,当内容安全拥抱人工智能

人机大战

2017年5月,中国乌镇围棋峰会,AlphaGo围棋机器人与当时排名第一的世界围棋冠军柯洁对战,结果以3比0的总比分完胜。

大数据与人工智能的时代已经开启。传统鉴黄定义的广义化,文本、图像、音频、视频,都已纳于内容安全的审核范畴。相比传统的人工审核,拥抱着大数据与AI的智能审核平台具有解脱人力、不断进化的能力,那么他又是如何实现的呢?

笔者以业界领先的同盾内容安全智能平台为代表,简要介绍这个多维防控体系巨头下的体貌。

一、首先以文本内容安全为例,主要涵盖以下几块

1、同盾凭借多行业的服务经验积累下的海量关键词库,这是防控体系下最重要、也是最高效的一环。由于数据量巨大,文本防控对实时响应又有极高要求(通常单笔请求平均也就20多毫秒,最大不允许超过50毫内),所以在基于DAT双数组结构的基础上,结合了其他算法作了定制化构建。另一方面,词库通过权威政策指令下发、网络爬取、新词挖掘算法等各种途径,可不断进化扩容。

2、基于定制化分词、感知词法分析、命名实体识别、自动摘要、关键短语提取、依存句法分析、语义距离判定、浅层情感分析等一系列自然语言处理技术,针对不同行业不同场景实现松紧相宜、灵活配置的策略体系。

新知图谱, 天网恢恢,当内容安全拥抱人工智能

命中关键词(无视符号干扰)

新知图谱, 天网恢恢,当内容安全拥抱人工智能

基于短语句法分析,综合判定,避免误判

3、面对日新月异的变种,定制化算法生成sim文本指纹,构建高效索引,形成海量相似样本库,如照妖镜般令变种文本无所遁形。

4、通过深度学习技术、实现广告、色情、涉政、暴恐、辱骂、违禁、灌水等10余种文本的深度分类。

二、其次谈下图像内容安全,图像作为典型的富文本承载形式,在防控上较文本也会更具挑战性。

1、图像预处理系统,包括常规格式支持及特殊格式的解码转换,如基于谷歌V8引擎的WEBP格式、标签图像TIFF格式、动态GIF格式等的支持,同时也具有图像降燥、数据增强、归一化等处理。

2、图像黑白相似样本库,通过矩阵算法生成图像sim指纹,构建高效前置索引,形成海量典型样本库,实现批量范围内特征图像及时高效防控。

3、基于tensorflow、caffe等深度技术所构建的图像深度学习平台,孵化出涵盖涉黄、暴恐、涉政治、文字广告四大类模型识别服务。其中包括大小尺度性感、儿童、成人等10余种涉黄场景;武器、血腥、流行、军装、符号等几十种细分暴恐场景;覆盖上百位重要政治人物及政治事件;通过OCR技术,精准识别包括广告、二维码在内的各种内嵌文字信息。

新知图谱, 天网恢恢,当内容安全拥抱人工智能

文字广告识别

同盾内容安全智能平台目前已服务各行业下大量客户,并获得工信部首批资质认证。

本文主要简要介绍了其中文本、图像两大业务场景,后续有机会再分享下音频、视频解读。

同盾科技,专业的第三方智能风控与分析决策服务提供商,拥有智能用户分析、智能反欺诈、智能运营、智能信贷等多个体系的产品矩阵,提供金融、电商、直播、O2O、社交、游戏、航空等多个行智能风控解决方案,欢迎到官网体验。

相关推荐

更多“人工智能”相关内容

新知精选