项目3 统计电影网站用户影评数据（MapReduce 项目）总结

一、项目核心概述

1. 项目背景

在数字经济与实体经济深度融合的大数据时代，数据价值挖掘需以用户隐私保护为前提。电影评分次数直接反映影片受欢迎程度，为精准分析影片热度及不同性别用户观影偏好，本项目采用 MapReduce 编程 实现高效、灵活的分布式数据处理，核心聚焦两大目标：统计所有电影的评分次数、分析不同性别用户对电影的评分差异。

2. 技术选择

选用 MapReduce 的核心原因：适配海量影评数据的分布式计算需求，兼顾处理效率与灵活性，且能与 Hadoop 生态（HDFS）无缝衔接，方便数据存储与管理。

二、基础准备：开发环境搭建（Windows 系统）

环境搭建是项目实施的前提，核心围绕 “Java 环境 + IntelliJ IDEA+MapReduce 工程配置” 展开：

1. Java 安装与配置：安装 JDK 1.8（jdk-8u281-windows-x64.exe），自定义 JDK/JRE 安装目录（建议同目录），配置系统环境变量（JAVA_HOME、Path 添加 bin/jre/bin 路径、ClassPath），通过java -version验证配置成功。
2. IntelliJ IDEA 安装：下载 Community 版（ideaIC-2023.2.2.exe），自定义安装目录，勾选桌面快捷方式与 PATH 配置，启动后选择不导入历史设置，设置 Light 主题。
3. MapReduce 工程创建：通过 Maven Archetype 创建项目，选择 JDK 1.8 与maven-archetype-quickstart模板，配置 GroupId（项目组织标识）、ArtifactId（项目名称）、Version（1.0-SNAPSHOT）。
4. 环境配置：通过Ctrl+Alt+Shift+S打开 Project Structure，导入 Hadoop 解压包中share/hadoop目录下所有 Jar 包，添加 Hadoop 集群配置文件（core-site.xml、hdfs-site.xml）。

三、核心原理：MapReduce 编程基础

通过 Hadoop 官方 WordCount（词频统计）示例，掌握 MapReduce 的核心流程与模块功能：

1. 核心执行流程

MapReduce 采用 “分而治之” 思想，分为三大阶段：

• Map 阶段：读取输入数据（如文本行），按业务逻辑拆分生成 <Key, Value> 键值对（如单词→1）；
• Shuffle/Sort 阶段：对 Map 输出的键值对按 Key 排序，合并相同 Key 的 Value 为列表；
• Reduce 阶段：对分组后的 Value 列表聚合计算（如求和），输出最终结果。

2. 三大核心模块

• Driver 模块：程序入口，负责初始化 Hadoop 配置、创建 Job 对象、设置 Mapper/Reducer 类、指定输入输出路径与键值对格式，提交任务并等待运行。
• Mapper 模块：实现map()方法，按业务逻辑处理输入数据，输出中间键值对，代码需与实际需求绑定。
• Reducer 模块：实现reduce()方法，聚合 Shuffle 后的中间数据，生成最终结果。

四、实践案例：从基础应用到核心任务

1. 基础案例：网站用户登录次数升序排序

• 需求：将 “用户邮箱→登录次数” 的原始数据，按登录次数升序排序，直观展示登录分布。
• 核心逻辑：通过键值对互换实现排序（Map 阶段交换邮箱与登录次数的键值位置，Shuffle 阶段自动按登录次数排序，Reduce 阶段换回原键值格式）。
• 输出结果：按登录次数升序呈现 “用户邮箱→登录次数”，清晰反映登录频次分布。

2. 核心任务：电影影评数据统计

（1）统计所有电影的评分次数

• 数据来源：HDFS 中的movies.dat（电影 ID、名称、类型）与ratings.dat（用户 ID、电影 ID、评分）。
• 实现流程：通过mapjoin()或reducejoin()关联两张表，Map 阶段输出 <MovieID, 1>，Reduce 阶段聚合求和得到评分次数，最终关联电影类型输出结果。
• 输出示例：电影 ID + 类型 + 评分次数（如 “1 Animation|Children's|Comedy 2077”）。

（2）统计不同性别用户的电影平均评分

• 数据来源：新增users.dat（用户 ID、性别等属性），关联三张数据集。
• 实现流程：通过MapjoinThreeTables关联数据，Map 阶段输出 <(Gender, MovieID), Rating>，Reduce 阶段按性别 + 电影 ID 分组，计算平均评分。
• 输出示例：性别 + 电影 ID + 平均评分（如 “F 1 4.187817258883249”）。

五、项目总结

本项目完整覆盖 “环境搭建→原理学习→实践应用” 的全流程，核心成果如下：

1. 掌握 Windows 系统下 MapReduce 开发环境的搭建（Java、IDEA 安装配置，Jar 包导入与集群配置）；
2. 理解 MapReduce 的核心原理（三大阶段、三大模块），通过 WordCount 示例打通理论与实践；
3. 实现两类典型任务：基础数据排序（登录次数）与复杂数据统计（影评多表关联、分组聚合）；
4. 形成 “业务需求→模块设计→代码实现→结果输出” 的 MapReduce 编程思维，为海量数据处理场景奠定基础。