新知一下
海量新知
5 8 9 4 5 3 3

月活千万、峰值破亿,智能语音独角兽如何提升 10 倍数据性能

GrowingIO | 用数据连接世界 2020/11/26 17:49

2019 年全球语音交互市场规模已达到 13 亿美元,每一个消费者都体验着从触屏到语音的交互变革。 GrowingIO 服务的某智能语音助手, 激活设备超 2.28 亿,月活跃用户近 8000 万, 逐步成长为行业独角兽。

用户数和交互量快速增长的背后,海量数据集成和处理也给该团队造成了不小的挑战。 同时,如何依靠数据推动用户活跃度保持高速增长,也困扰着运营团队。

该智能语音助手与 GrowingIO 在 2019 年正式合作。凭借 GrowingIO 提供的产品和增长方法论,逐步搭建起数据增长体系。 GrowingIO 增长平台不仅高效满足了亿级数据处理需求,还将存储成本降至过去的十五分之一。

1. 基于 BitMap 存储模型

满足海量数据性能需求

语音作为最自然、便捷的交互方式,也会产生高于传统方式的海量行为数据;GrowingIO 服务的该智能语音助手,峰值日交互量超过一亿,月活跃用户近 8000 万, 海量数据会给查询和分析造成阻碍,同时产生高昂的硬件存储成本。

在部署 GrowingIO 之前,业务团队极少进行基于数据的产品和运营分析。原因是数据需求要提交研发部门,通过 SQL 现查的方式获得。

随着数据量达到亿级规模,计算所需要的资源和时间线性增长,一个图表的加载可能需要数个小时。 增加计算资源或者对查询结果进行缓存、预热已经无法满足海量数据的性能需求。

该客户经过多方评估,综合考量技术水平和项目交付能力,选择部署 GrowingIO 增长平台。 建立以 CDP 为核心的数据增长平台,满足业务端看数、取数和用数的数据增长需求。

1.1 海量数据秒级查询,维度无限扩充满足更多分析场景

为了满足业务团队需求,在公司内部推行数据增长体系,解决数据平台的性能问题首当其冲。

GrowingIO CDP 采用 BitMap 的存储模型,并在多年项目服务经验中不断攻克技术难关,能够兼顾计算和存储优势,面对千万级 ID 数量时,也能得到很好的计算效果。

通过以下性能对比图,可以看出随着数据量的不断递增,SparkSQL 的计算时间线性递增,但是 BitMap 的计算时间却相对比较稳定。

新知达人, 月活千万、峰值破亿,智能语音独角兽如何提升 10 倍数据性能

x轴含义: 数据量/用户量。

y轴含义: 计算时间, 单位毫秒。

SparkSQL 和 BitMap 性能对比

该智能语音助手的研发负责人表示:“ GrowingIO 增长平台的查询速度相比同类产品能够快 10 倍以上,要想达到同样的数据处理性能,我们自己开发的投入至少要千万元以上, 这也是我们选择 GrowingIO 的核心原因之一。”

业务团队可以通过 GrowingIO 增长平台自助看数、取数和用数,无需通过数据部门,时效性大大提升。 同时,即使对全量用户数据进行分析,也能保障秒级出图。

数据同学表示:“有了 GrowingIO,终于不用盯着图表上的‘菊花’转转转,也一直加载不出来了。”

此外,事件和维度的可扩展性也是一个常常被忽略的问题。目前同类数据产品在事件和维度的拓展上普遍只能做到 20-30 个的水平。

智能语音系统作为物联网中心,面临越来越多的用户场景、越来越精细的用户数据维度,这个水平显然不能满足分析需求。而 GrowingIO 支持事件和维度无限扩展, 满足不断增长的数据需求。

1.2 软硬件深度优化,存储成本只需十五分之一

传统的分散式存储管理方式,不仅管理成本高,硬件存储成本也十分昂贵。GrowingIO 基于业务需求对分布式存储模型进行优化,自研了整个文件系统栈。

实现不依赖本地文件系统、高可用性,同时承载的容量和文件数量都没有限制。 此外,由于每个目录下的内容可以通过多个接入节点同时访问,使处理能力具备了水平扩展性。

这样深入的源码开发和软硬件优化, 成功将存储成本降至过去的十五分之一, 同时也提高了资源的分配效率,助力计算资源的弹性调度。

2. 陪伴式客户成功服务

让数据增长体系融入工作流

该智能语音助手团队隶属于某大型互联网集团,GrowingIO 增长平台项目则是由业务团队牵头、数据部门配合,在企业内部影响范围甚广。 工作习惯的改变、学习成本的增加都给数据增长体系的搭建造成了一定阻力。

GrowingIO 不仅满足工具层面的性能需求,更为客户提供陪伴式服务, 短期内降低新工具在企业内部落地的摩擦,长期则保障数据增长体系的持续迭代和进步。

2.1 降低新工具在企业内部落地的摩擦

GrowingIO 的客户成功服务将落地服务分为 5 个阶段,分别是引导期、稳定期、推广期、成熟期、共创期。

首先帮助客户培养核心使用人员,实现项目目标。后续逐步梳理企业协作流程、组织规模化培训,通过服务启动会、培训会等多种形式完成服务落地。 截止目前,已实现全部业务团队看数、用数,90% 以上的员工每天都会使用GrowingIO 增长平台。

2.2 避免团队变更造成的知识断层

另一方面,企业内人员流动形成的知识断层,会影响数据增长体系的建设效果。GrowingIO 陪伴式服务对客户使用情况进行定期“体检”,改善内部数据平台的使用状况。

GrowingIO 和客户一起,将增长平台产品使用纳入入职培训、将数据分析能力列入绩效表现。 一系列措施使数据增长体系快速融入客户的工作流,有效应对企业内部人员流动的问题。

3. 结语

经过近两年的合作过程,业务团队逐步从最初的“看不到数据”到如今的“离不开数据”。GrowingIO 的产品能力和客户服务都给该智能语音助手团队留下了良好的印象。

随着智能家居、车载语音、智能客服等语音交互场景的成熟,智能语音助手业务正在变得举足轻重。 GrowingIO 也将从智能语音场景优化、用户精细化运营体系搭建等方面帮助业务团队提升用户激活、活跃和留存表现,实现业务价值的突破。

更多“智能语音”相关内容

更多“智能语音”相关内容

新知精选

更多新知精选