小红书将业界最大数据湖0故障迁上阿里云

三言科技 11月6日消息,据“阿里云”公众号消息,最近,小红书技术团队把业界最大数据湖0故障迁上阿里云。

据介绍,2023年11月,小红书发起迁云项目——计划一年内,把小红书的数据湖搬上阿里云。2024年11月,小红书迁云项目正式宣告结束。在没有故障的情况下,迁移数据500PB,任务11万。参与人数1500人,涉及部门40多个。

迁移至阿里云上后,数据湖可通过多个OSS Bucket支持纳入统一资源池,实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景,可灵活调配资源,高效利用吞吐性能,降低不同业务租户间的互相影响。