随着互联网的发展，企业数据量爆发式增长，业务数据驱动愈发强烈，对数据时效性和灵活性提出更高的要求，针对如何高效解决海量数据高可靠传输、平滑扩容和资源隔离，如何同时满足离线和实时存储计算并能够轻松实现大数据治理，在本次专场中，58同城大数据团队为大家分享58在数据集成及数据湖方面的新技术探索和平台化实践经验。
出品人：吴培培 58大数据部负责人，技术委员会数据分会主席
主办方：DataFun、58同城
活动时间：6月22日，18：00-19：30
活动地点：DataFunTalk直播间
扫码入群收看直播
01 详细日程：
DataFunTalk技术交流会：58同城大数据新技术探索 出品人：吴培培@58同城 |
||
分享时间 |
分享内容 |
分享嘉宾 |
18:00-18:10 |
Opening |
58同城 吴培培 |
18:10-18:50 |
58数据集成平台的建设和实践 |
58同城 资深研发工程师 赵亮 |
18:50-19:30 |
数据湖技术在58的探索与实践 |
58同城 资深研发工程师 李营 |
02 详细介绍：
出品人：
吴培培 58大数据部负责人，技术委员会数据分会主席
分享嘉宾：
赵亮 58同城 资深研发工程师
演讲主题：58数据集成平台的建设和实践
演讲提纲：在万亿数据传输规模下，58数据集成平台是如何做到高可靠传输和平滑扩容，资源隔离，以及对新技术的探索。
1. 数据集成平台的背景介绍
2. 业务场景介绍
3. 平台架构和规模
4. 遇到的挑战和解决方案
5. CDC技术/全链路数据监控
6. Pulsar的建设
用户痛点：如何保证数据的高性能传输和链路监控。
听众收益：
1. 了解大规模数据传输下的分布式架构；
2. 在大规模数据传输架构下，如何保证高可靠传输和避免业务间的相互影响；
3. 新技术的引入和技术选型；
李营 58同城 资深研发工程师
演讲主题：数据湖技术在58的探索与实践
演讲提纲：主要介绍58数据湖平台建设体系，建设过程中遇到的问题和挑战，以及解决方案和优化工作。
1. 数据湖背景
2. 58数据湖平台
3. 优化实践
4. 收益&未来规划
用户痛点：
1. 如何提高数据的时效性；
2. 如何高效的upsert；
3. 如何低成本的进行表变更；
听众收益：
通过本次分享，可以了解到：
1. 数据湖建设遇到的问题和挑战以及相关解决方案和优化工作；
2. 数据湖技术的适用场景以及收益；
03 收看方式：
扫码入群收看直播
本文分享自微信公众号 - 58技术（architects_58）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。