Instagram将推反欺凌工具,利用AI提醒或限制不当言论

AI报道 2019/07/14 12:47

据了解 社交软件Instagram因为 没有采取措施打击网络欺凌而多次受到抨击。不过 该公司于7月8日回应称, 即将推出新的 反欺凌工具 ,希望可以帮助遏制该平台上的网络欺凌行为。

新知图谱, Instagram将推反欺凌工具,利用AI提醒或限制不当言论

两款打击 网络 社交 欺凌 的工具

Instagram表示,这款新工具采用人工智能的 识别技术 ,将在用户发布不当评论时进行提醒。例如,如果用户输入评论 “你真是又难看又愚蠢”,发布时就会出现提示“你确定要发送这句话吗?(点击此处了解更多)”。如果用户点击“了解更多”,就会出现一条系统通知:“我们正在呼吁人们对那些可能造成网络欺凌的 评论慎重 ”该工具首先面向使用英语的用户推出,但计划最终在全球范围内推广。

新知图谱, Instagram将推反欺凌工具,利用AI提醒或限制不当言论

该公司还在测试一款名为 “限制”(Restrict)的新工具,该工具将 阻止 用户和他人看到辱骂性的评论。那些喜欢出言不逊的人不会收到他们的评论 受到限制 的通知,也不会知道你是否已经阅读他们的私信,以及你是否在 Instagram上活跃。青少年对Instagram表示,他们对阻止、取消或报告欺凌者持 谨慎态度 ,因为他们担心这会使其情况更加恶化,特别当他们在现实生活中认识这个欺凌者时。

根据皮尤研究中心 2018年的一项研究, 大约 59% 的美国青少年在网上受到欺凌或骚扰,而且大多数人认为社交媒体网站在解决这一问题方面做得相当 不公平 。在今年 4月,英国政府发布了《网络危害白皮书》(Online harm white paper),旨在对科技公司加强管理和控制。 白皮书 建议建立一个独立的 监管机构 ,指导科技公司应对包括网络欺凌在内的各种虐待行为。在 Facebook公司最近召开的开发者大会上,Instagram的首席执行官亚当·莫塞里(Adam Mosseri)表示:Instagram作为该公司旗下的社交平台,会把 解决欺凌 问题作为一个重点。

新知图谱, Instagram将推反欺凌工具,利用AI提醒或限制不当言论

新知图谱, Instagram将推反欺凌工具,利用AI提醒或限制不当言论

Twitter利用AI对内容环境的治理

在今年 6月,Instagram宣布已经开始在其平台上使用一种名为“深度文本”的语言,旨在消除垃圾消息和不良信息。其实,不单单是Instagram重视对网络欺凌、不当言论等问题的解决,社交平台Twitter不断引入 AI技术 治理一直为人所诟病的内容环境。

据了解,早前在 Twitter上,“键盘侠”四处散播着践踏人权的恶意评论和人身攻击。还充斥着虚假新闻、机器人等散播的 垃圾内容 。对此, CEO杰克·多西认为“Twitter是一个通讯工具,不擅长判断个人之间的内容纠纷。” 所以 Twitter接到举报后的做法常常是封号了事。这种中立态度显然加速了Twitter用户,尤其是受语言暴力最为严重的名人和KOL的流失,直接导致Twitter内容生态的 萎缩

新知图谱, Instagram将推反欺凌工具,利用AI提醒或限制不当言论

Twitter显然也感觉到自己必须做出一些改变 此后开始一系列的 AI改造计划

收购伦敦创业公司 Fabula AI,使用 机器学习 来分析大型数据集并找出关系和交互。这能够帮助 Twitter的机器学习团队通过关系映射来更好地发现社交网络上的假新闻,垃圾邮件和其他问题,进而改善平台对话的健康状况。

2018年,Twitter发布了一个名 Exploring Online Hate的面板工具,能够通过1000个Twitter账户的样本来寻找仇恨活动的规律、趋势,然后 利用算法 生成更大的数据集,从而实时掌握网络上仇恨言论,控制相关的热门话题和言论来源。 目前,Twitter有38%的有害内容是由算法自动筛选出的。

靠AI技术提高 交互体验 ,比如推出互动视频功能(conversational video),根据上一步的操作提前录制好多份剧情,按照用户行为(选择Yes or No)来推进到下一步。 为直播增加了一个名为Moments的页面、将推文整理成前后连贯的“故事”。互动性的增强和新的内容形态也重新吸引了广告主的 青睐 ,2018年第二三季度,来自视频广告的收入为Twitter贡献了超过一半的广告收入。

新知图谱, Instagram将推反欺凌工具,利用AI提醒或限制不当言论

再比如机器翻译之类的措施,来帮助各个区域的跨文化交流等等, Twitter在广告转化(ad cvr)和反垃圾信息上(anti spam)做了很多技术 优化 ,用户的参与度也有所增强。

新知图谱, Instagram将推反欺凌工具,利用AI提醒或限制不当言论

阿里知乎净化社交媒体环境

社交平台上的各种暴力欺凌、网络谣言等不当言论信息借助网络环境疯狂肆虐,成为虚假信息以及有害信息滋生的 温床 。在今年的愚人节之际,阿里曾经提出谣言粉碎机 AI技术,阿里“ AI谣言粉碎机 ”的算法模型由阿里巴巴达摩院机器智能实验室研发,目前在特定场景中的准确率已经达到 81% 。依靠深度学习和神经网络技术,通过对信息的多维度和多角度分析,该团队设计了一整套包含发布信息、社交画像、回复者立场、回复信息、传播路径在内的综合判定系统,首次把谣言识别和社交用户观点识别打通,并做交叉分析,最快能够在 1秒内判定新闻的 真实性

早前国内内容社区平台知乎 也采用了 AI规范评论用语 自研的 瓦力算法 可通过从情感倾向性、亲密关系、文本特征三方面入手,建立内容情感模型、用户亲密度模型和文本识别模型,并通过训练不断迭代完善,最终实现 7个层次的网络反对意见识别,促进和谐友好的 社区言论环境 构建。除此之外,知乎将 AI 算法全面应用于知乎的内容生产、消费、连接等环节。在内容生产场景中,通过 AI 帮助 问题生成 ,推出 “问题路由”产品,实现从问题生成到问题匹配的智能化和精准化,提升传统问答的效率。在内容消费场景中,通过 AI 算法 进行精细化的流量分配,帮助用户快速精准地获得既感兴趣又有帮助的内容。

新知图谱, Instagram将推反欺凌工具,利用AI提醒或限制不当言论

人工智能工具是强大且高效的,同时应该始终贯彻技术造福于人的目标,让 AI成为堵住网络不良言论的 杀手锏 AI以及大数据技术能够快速实现信息正负面的识别,使信息呈现正向的 积极导向 作用。大多数的社交媒体平台都已经开始试水使用 AI技术净化社交媒体环境,在减轻社交媒体的审核机构工作量的同时,扼杀虚假信息以及暴力言论等等,重构社会信任,促进网络环境的 和谐

图片来源于网络

新知图谱, Instagram将推反欺凌工具,利用AI提醒或限制不当言论

干货获取方式

Step 1:长按下方二维码,添加微信公众号“AI报道「AI-Reporting」”

Step 2:回复【2】免费获取 完整数据分析资料「包括SPSSSASSQLEXCELProject!」

想更及时获取AI资讯和干货,不妨“星标”我们吧!

新知图谱, Instagram将推反欺凌工具,利用AI提醒或限制不当言论

AI报道
+ 关注

更多新知