大数据应用实战

随着数据价值提升和技术难度降低，企业自建大数据系统更具性价比。但大数据应用落地困难重重。但是大数据应用落地，依然存在一些不容忽视的挑战。一个大数据项目失败的原因，往往并不是技术不够先进，而是如下的一些问题：

• 不清楚要解决什么具体的业务问题，盲目追求技术的先进性，做出了错误的技术选型。
• 缺少对整个大数据系统的全局设计思维，各个组件之间配合不好，技术架构上存在问题。
• 忽视了数据质量的重要性，导致最终的数据应用结果不可信。
• 采用整风式的方式实施项目，忽略了系统和数据流的长期可维护性，导致系统上线运行几年之后就不可用。
• 没有考虑合规和安全要求，在巨大的风险之下，后期不得不推倒重来。
• 面对大模型之类的新技术，不知道如何与现有体系结合。

问题的根源不在技术，而是缺少一套从业务需求出发的系统性方法论。为此，我们邀请了在大数据领域深耕多年的曹犟老师为你带来这门《大数据应用实战课》，帮助你建立大数据应用的系统性思维，让你这个数据驱动的时代脱颖而出。

结合大数据实际应用中的挑战和前沿技术的进展，课程划分为四个部分。

第一章 大数据系统架构设计

带你学习一个典型的大数据应用系统应该如何进行架构设计和实现。数据的采集、接入、传输、存储、计算等各个环节中，应该如何进行技术选型和设计，有哪些踩坑点。同时，也会讨论信创与云原生的话题。

第二章 数据与平台治理
这部分会针对一个大数据系统建设过程中，最重要的数据处理、元数据管理、ETL、数据质量和血缘等话题。此外，我们还会学习考虑监控、报警、资源管理和调度以及安全合规等话题。

第三章 典型应用场景与大数据产品的设计
结合作者多年来服务上千家客户的实际经验，帮你熟悉典型的用大数据技术来解决的业务场景，以及对应的产品应该如何设计与实现。这些产品包括用户行为分析系统、用户数据平台、自动化营销、广告和个性化推荐系统等。

这部分内容将为你展示，数据如何在业务的方方面面都是能够发挥价值的，也希望当你在碰到具体的应用场景时，能够直接上手参考。

第四章 大模型与大数据

此时此刻，大模型技术正在成为各行各业的最大技术变量，大数据行业也不例外。这个部分一方面会跟你分享大模型技术对于大数据应用的颠覆式影响，一方面也会反过来讨论如何构建数据基建来服务于大模型。

1. 订阅成功后，推荐通过“极客时间”App 端、Web 端学习。
2. 本专栏为虚拟商品，交付形式为图文 + 音频，一经订阅，概不退款。