拥抱“Zero ETL”未来,亚马逊云科技助力乐城堡加速释放数据价值

北京乐城堡科技有限公司(以下简称“乐城堡”)致力于为全球用户提供精品移动游戏的公司。
软件系统 亚马逊 AWS
2023-07-17 07:08:45  |   作者:admin  |   来源:亚马逊云科技

拥抱“Zero ETL”未来,亚马逊云科技助力乐城堡加速释放数据价值

北京乐城堡科技有限公司(以下简称“乐城堡”)致力于为全球用户提供精品移动游戏的公司。
软件系统 亚马逊 AWS
2023-07-17 07:08:45
作者:admin
来源:亚马逊云科技

北京乐城堡科技有限公司(以下简称“乐城堡”)致力于为全球用户提供精品移动游戏的公司。北京乐城堡科技公司旗下产品已获得全球三千五百多万用户的认可,旗下产品爱丽丝与词幻境(Alice in Wordland)获得苹果商店全球三千多次推荐。

在游戏业务运营中,乐城堡秉承“好的产品一定是用户体验优先,创新应来源于对用户的洞察,细节决定成败,精品需要精心打磨才能造就。”的产品理念,不断创新,为玩家提供优秀的智能手机游戏产品。要打造好的游戏作品,需要更好的了解玩家的喜好,因此游戏数据分析对于乐城堡来说至关重要。在过去的业务发展中,不同的游戏项目团队采用团队自己进行数据分析的方式,随着业务的不断发展,企业需要一种更好的方式来获得全局能见度。

“我们的游戏业务中存在各种资源类型,每天会产生大量的数据,一段周期之后,数据的规模对于项目组来说就变成了一大挑战,从观测的角度来说我们更希望在企业中设置集中的分析平台,去为各个游戏项目提供服务。”乐城堡的数据总监李明说,“在构建企业自己的数据平台时,我们最为关心的是大数据量下的技术灵活度以及相应的人力成本与后期运维成本的控制。虽然市场上有一些第三方的商业数据工具解决方案,但他们能够提供的分析指标相对固定,很难满足我们游戏业务的需求,并且面对大量的数据传输,也难以达到实时分析的效果。在数据安全性可控性和业务需求上面平衡之后,我们决定在云上构建自己的游戏数据分析平台。”

20230717-1.png

通过对不同解决方案提供商的评估,乐城堡最终选择了亚马逊云科技,基于 Amazon Redshift 等服务构建属于自己的云上游戏数据分析平台。在乐城堡看来,亚马逊云科技的数据仓库与分析解决方案具有以下优势:

面向行业需求专门构建并且经过大量用户验证

亚马逊云科技面向游戏行业提供了针对游戏的分析和大数据应用解决方案,能够帮助企业更好的理解玩家、发展产品和提升玩家的参与度与保留率,并让企业做出更好的设计决策。这些解决方案不仅被众多的知名游戏工作室所应用和验证,同时也提供了面向全球市场的数据安全性与合规控制,帮助游戏企业更好的保护玩家数据。“我们的游戏业务运行在亚马逊云科技上,包括通过 Amazon CloudFront 处理访问日志,选择在亚马逊云科技上实现游戏业务的数据分析,不仅能够获得更低的延迟,消除大规模的数据传输和迁移工作,也能够让我们以弹性的方式存储和处理各类数据,降低数据分析中的构建和运营开销。”李明说。

提供易于集成的托管云服务和实时化的分析能力

游戏行业中数据分析对于乐城堡这样的游戏公司的重要性不言而喻,因此企业需要兼顾数据的准确性和实时性,尤其针对用户行为的分析。

乐城堡采用 Amazon Redshift 产品作为企业的核心数据仓库服务,通过将用户行为的埋点数据写入到 Amazon Managed Streaming for Apache Kafka (MSK),结合 Amazon Redshift 内置的 Streaming Ingestion 技术能够将数据以准实时方式的写入到 Amazon Redshift,并在此基础之上开展后续所需的数据分析。Amazon Managed Streaming for Apache Kafka (MSK)  利用完全托管、高度可用的 Apache Kafka 服务安全地流式传输数据,是完全托管,无需担心基础设施的部署、配置和维护。

它消除了运营开销,包括预置、配置和维护高度可用的 Apache Kafka 和 Kafka Connect 集群的开销。Amazon MSK 使得利用完全托管的 Apache Kafka 实时摄取和处理流数据变得很简单。“这种构建方式简化了数据分析团队的业务复杂度,并且在实时性和效率方面上有大幅的提升,帮助我们更快的了解用户的行为,更及时的调整我们业务策略,真正的实现让数据驱动业务。” 李明谈到。

广泛的数据与分析服务可满足当前与未来的业务需求

亚马逊云科技提供了从数据存储、数据湖、大数据分析、流式分析、商业智能与机器学习在内的一系列广泛的云上托管服务,能够满足不同发展阶段的企业对于数据分析与利用的需求。“我们建立企业统一分析平台的初衷之一是消除各项目组自建数据库和自行分析给 IT 环境和业务造成的复杂度,亚马逊云科技的托管服务让我们可以轻松的按照业务的需求进行灵活的组合和构建,在短时间内打造属于自己的数据仓库和分析能力,因此我们可以更多的去关注于分析的策略和规则,而不是技术的运维管理。”李明谈到。

北京乐城堡科技有限公司数据总监李明表示:“亚马逊云科技的托管服务让我们可以轻松的按照业务的需求进行灵活的组合和构建,在短时间内打造属于自己的数据仓库和分析能力,因此我们可以更多的去关注于分析的策略和规则,而不是技术的运维管理。另外,通过 Amazon Redshift 结合 Amazon MSK 的流数据实时摄入功能,我们能够将数据摄入延迟从分钟级别降低到秒级别,大大加快了业务分析的时效性。”

通过采用亚马逊云科技面向游戏行业的大数据分析解决方案,乐城堡不仅成功的应对了业务运营中的各类数据分析挑战,也让企业获得了多方面的成效:

首先是将之前分散在各个项目组的数据汇总,在企业内构建服务多游戏产品的统一数据分析平台,为企业提供数据驱动的业务运营引擎。亚马逊云科技的众多服务提供了“开箱即用”的方案以及与开源技术相一致的使用体验,乐城堡的数据分析团队可以充分利用这些优势在2个月的时间内完成各项目组的数据整合、迁移与数据仓库的构建,并根据不同业务的需求设计定制化的分析指标,让游戏项目组成员从复杂的数据分析设计和操作中释放出来,转变为分析结果的使用者,从而让有限的人力资源专注于游戏产品的创新。

其次让企业更有信心的应对玩家数量持续增长所带来的分析难题。“我们游戏业务所产生的数据量一直在增长,并且业务需要对一定时间的历史数据进行观测,结合 DAU、日志量、时间范围等因素,仅玩家分析一个场景就需要面对数万条记录,以前无论是自建还是采用第三方的 SaaS 化方案效率都是极低的。”

李明说,“Amazon MSK 作为全托管、高可用的 Apache Kafka 服务,帮助我们快速构建流式传输的管道,将之前端到端的数据传输延迟从分钟级提升到秒级,使得实时摄取和处理流数据变得简单高效。Amazon Redshift 作为企业级数据仓库,能够容纳规模至 PB 级别的数据,实现复杂查询,保证游戏运营人员能快速获取所需的数据与统计信息,无论是规模还是并发性能,对于业务的持续增长我们都能保持信心。”

此外,亚马逊云科技各服务之间的良好集成度和互操作性也让乐城堡可以更好的降低数据分析的成本。与自建 Hadoop 集群与构建 HDFS 存储相比,采用 Amazon Redshift 与 Amazon S3 直连的方式可以简化企业在数据加工和存储过程中的架构复杂度并实现更好的成本效益,数据工程师可以使用熟悉的 ANSI SQL 直接在 Amazon S3 中查询开放文件格式,并可将各类数据轻松导出至 Amazon S3 数据湖做进行进一步的加工利用。根据乐城堡的测算,在同样数据体量下,采用 Amazon S3 为数据仓库提供存储支持更具经济优势,能够帮助企业将成本控制到自建方式的十分之一。

展望未来,乐城堡将继续在游戏业务运营和数据分析场景中与亚马逊云科技保持密切的合作,以更好的挖掘数据所隐藏的价值。目前公司已在业务中应用 Amazon Redshift ML,让大数据团队的开发人员能够在数据仓库中使用熟悉的 SQL 命令以更加轻松的方式来创建、训练和应用机器学习模型,乐城堡也将在人工智能与机器学习的应用中整合 Amazon SageMaker 提供的托管机器学习能力完成模型训练,帮助企业实现更加精细化的业务运营。