看阿里云如何用云上技术创新，帮助哈啰单车实现智能数据收治

Posted 2021-06-21 阿里云云栖号

简介： 客户通过把日志数据迁移到SLS，替代原有的kafka、ES、ClickHouse，累积节省成本达到30%，同时满足了稳定性、扩展性需求，以及对日志查询分析的需求。

更多存储标杆案例
欢迎点击下方链接查看

阿里云存储标杆案例样板间

公司介绍
哈啰出行是国内领先的专业移动出行平台，致力于为用户提供便捷、高效、普惠、安全的出行工具和服务。公司于2016年9月在上海成立。成立四年多来，秉持着“科技推动出行进化”的使命，凭借卓越的创新能力、差异化的发展战略和技术驱动下的优异运营能力，哈啰从激烈的市场竞争中脱颖而出。目前公司已经进化为包括两轮出行（哈啰单车、哈啰助力车、哈啰电动车、小哈换电）、四轮出行（哈啰顺风车、全依托于智能锁，赋能了在线的实时调度。单车数据、APP数据无缝打通，因而催生了数据的实时采集、分析、存储需求。业务场景介绍2网叫车、哈啰打车）等的综合化移动出行平台，APP累计注册用户超4亿。
截至2020年10月底，哈啰出行旗下哈啰单车已经进驻全国超460城，用户累计骑行240亿公里，累计减少碳排放量近280万吨；哈啰助力车已进入全国超400城，用户累计骑行近80亿公里，节约碳排放28万吨；哈啰顺风车已覆盖全国超300城，认证车主逾1800万名。

业务场景介绍
依托于智能锁，赋能了在线的实时调度。单车数据、APP数据无缝打通，因而催生了数据的实时采集、分析、存储需求。

每天增量数据TB级别，影响系统稳定性
客户原有架构是数据采集到kafka，然后应用日志写入ELK做查询，同时写入ClickHouse做分析。由于每天增量数据在TB级别，对ES稳定性压力比较大。当查询数据操作，会影响ES的写入延时。由于写入量大，查询基本处于不可用状态。因此，当天数据采用单副本，隔天再生成多副本。这种方式对数据的可靠性时很大的挑战。同时，自建Kafka、ES、ClickHouse成本较高，急需降低成本。

日志服务提供TB级别日志的实时采集、弹性扩容、实时查询
阿里云日志服务为客户提供了TB级别日志的实时采集、弹性扩容、实时查询的能力。

 

 

在数据采集方面，原来把数据采集到kafka，在分发到下游ES、ClickHouse。SLS原生支持Kafka协议。各个客户端只需把kafka的地址设置成SLS的kafka协议地址即实现了无缝迁移。

在弹性扩容方面，SLS采用Shard模型，当流量发生上涨时，在控制台动动手指分裂Shard即可实现写入带宽的扩容。也可以设置成自动分裂，当流量打到上限时，自动扩容出新的Shard。

在查询和分析方面，客户原来采用ES做查询，ClickHouse做分析。而由于流量比较大，ES查询基本不可用。SLS同时提供了查询和分析能力。在查询方面，支持关键字检索、数值范围查询、json字段的递归查询、多条件组合查询。在数据分析方面，支持以SQL92语法分析日志，秒级别即可分析数百亿条日志。SQL语法支持200+函数，以及支持join计算，可与OSS、mysql数据源做关联分析。同时一些特有的函数例如同比环比函数、IP地理位置函数等等。

在可视化方面，SLS控制台作为阿里云排名Top 5的控制台，为可以提供所见即所得的查询分析体验。同时控制台还可以供客户做二次开发，嵌入到自己的后台运维系统中。

达到的效果
客户通过把日志数据迁移到SLS，替代原有的kafka、ES、ClickHouse，累积节省成本达到30%，同时满足了稳定性、扩展性需求，以及对日志查询分析的需求。

原文链接
本文为阿里云原创内容，未经允许不得转载。