可乐陪鸡翅
如何确保任务失败时不影响整体计算？
HadoopMapReduce通过多层级机制保障集群可靠性，其核心设计包含以下关键策略：
1.数据冗余存储
HDFS将数据块默认复制3份，分布于不同节点。若某节点故障，系统自动从副本读取数据，避免计算中断。
2.任务动态重分配
- Map任务：若执行失败，系统重新分配该任务至其他节点，直至成功完成。
- Reduce任务：采用“投机执行”机制，对延迟任务并行启动备份副本，取最早完成结果。
3.心跳检测与故障隔离
- 节点监控：JobTracker定期检查TaskTracker心跳，超时节点标记为“黑名单”，任务自动迁移。
- 资源隔离：通过YARN动态分配资源，避免单点故障扩散。
4.日志与状态持久化
- 任务日志：存储于HDFS，供故障后分析原因。
- 检查点机制：Reduce阶段定期保存中间结果，失败时从最近检查点恢复。
5.容错设计对比
| 机制 | 作用 | 触发条件 |
|---|---|---|
| 数据块复制 | 防止数据丢失 | 节点故障或磁盘损坏 |
| 任务重试 | 确保任务完成率 | 单次执行失败 |
| 心跳检测 | 及时发现节点异常 | 超过预设响应时间 |
| 检查点恢复 | 减少故障后重算成本 | Reduce阶段长时间运行 |
技术延伸：MapReduce的容错机制与Spark的内存计算容错（如血缘关系重建）形成对比，前者更依赖磁盘冗余，适合离线批处理场景。
（注：本文内容基于公开技术文档整理，不涉及商业敏感信息。）