🐝 Hive 企业级数据仓库实战工作台
欢迎来到 Hive 数据仓库实战核心模块。本模块以真实的广电海量用户行为数据为核心背景，通过端到端的全流程演练，带你从数仓架构设计（ODS/DWD/ADS）、HQL 核心语法、数据清洗（ETL），一路进阶到企业级的大数据查询优化与程序开发。
🧭 广电数仓实训通关路线图
实训背景
本指南所有章节均基于真实的“广电大数据用户画像”业务线展开，请同学们顺着以下章节梯度，依次完成从数据定义、多维分析到性能调优的完整实训流程。
🛠️ 阶段一：数仓架构入门与环境准备
理解广电业务需求，打通最基础的服务运行环境。
- 📘 第 1 章：广电大数据用户画像需求分析 — 了解离线报表指标与数仓分层构想。
- 💻 第 2 章：部署开发环境入门自学笔记 — 搞定 Hive 运行环境的保姆级搭建。
- ⚙️ 辅助工具：核心服务快捷启动指令 / Derby 备用环境 — 解决元数据服务卡住的利器。
📦 阶段二：HQL 核心数据分析（基础到进阶）
全面开启广电用户数据的分析之旅，玩转结构化存储与复杂多维查询。
- 💾 第 3 章：广电用户数据存储入门 — 掌握内部表、外部表及分区表的底层行为。
- 🔍 第 4 章：广电用户基本信息简单查询 — 搞定最基础的单表过滤与条件选择。
- 📊 第 5 章：广电用户账单与订单数据查询进阶 — 攻克多表关联（Join）与复杂报表聚合。
🚀 阶段三：企业级 ETL 清洗与性能调优
迈向高级大数据工程师的必经之路，专注于“洗数据”与“抠性能”。
- ⚡ 第 6 章：广电用户收视行为数据查询优化 — 掌握 MapJoin、分桶表及数据倾斜的终极解法。
- 🧹 第 7 章：广电用户数据清洗及数据导出 — 实现标准的 ETL 处理，打通数据出库通道。
💻 阶段四：离线数仓开发实战
将 Hive 融入大数据生态圈，通过程序代码实现真正的自动化运行。
- 🎯 第 8 章：数据存储与处理的程序开发（完整版教学） / 入门自学版 — 使用 Java/Python 编写 UDF 函数及自动化调度脚本。
🎬 综合实战演练与复习中心
| 实战项目与辅助资源 | 技术核心 | 实训重点与核心任务 |
|---|---|---|
| 📘 Hive 实战操作教程 | Hive 核心 | 广电用户数据存储与分析 的系统性全量归纳 |
| 💾 Hive 存储机制深度解析 | 底层存储 | 机制研究 1 与 机制研究 2（深入文本/ORC/Parquet 格式） |
| 📝 阶段性能力检验 | 课后巩固 | 攻克 第一章课后习题，夯实理论底座 |
⚠️ 核心考核提醒
期末实训大作业以及结业考核将从以下题库中进行高频抽题，请务必在本地集群中提前跑通所有测试：
- 🏆 广电大数据实训考核：期末 A 卷
- 🏆 广电大数据实训考核：期末 B 卷
📋 隐藏彩蛋：一键运行脚本区
为了方便大家上课时快速初始化或排查集群问题，常用的快捷脚本已为你直观整理在下方（点击可直接在线一键 Copy 源码）：
- 📜 一、完整可运行 Hive 执行脚本 （包含常用建表与数据导入 DDL）
💡 授课建议
同学们在跑广电收视行为的 Group By 聚合时，记得打开 YARN 的 Web UI 观察 MapReduce 的 Task 数量变化。遇到卡顿及时查阅【第 6 章】的优化指南。