<aside> 🎯
Objetivo: cada equipo se convierte en "experto" de uno o varios ejemplos de MapReduce, lo explica al grupo y deja todo en un repositorio de Git para que cualquier compañero pueda reproducirlo paso a paso, igual que la práctica Hadoop Standalone en contenedor Debian.
</aside>
<aside> 📚
Antes de empezar: necesitan tener funcionando el contenedor con Hadoop 3.3.6 de la práctica Hadoop Standalone en contenedor Debian. Ahí también está la tabla con la descripción de todos los ejemplos.
</aside>
Los ejemplos grep, wordcount y sudoku ya los trabajamos en la práctica; pueden usarlos como referencia para comparar.
| Equipo | Tema | Ejemplos | Dificultad | Repositorio | |
|---|---|---|---|---|---|
| 1 | Estadística de palabras I | wordmean, wordmedian |
🟢 Fácil | ||
| 2 | Estadística de palabras II | wordstandarddeviation, multifilewc |
🟢 Fácil | ||
| 3 | Agregación | aggregatewordcount, aggregatewordhist |
🟡 Media | ||
| 4 | Pi por Monte Carlo | pi |
🟢 Fácil | ||
| 5 | Pi por fórmula BBP | bbp, distbbp |
🟡 Media | ||
| 6 | La suite TeraSort | teragen → terasort → teravalidate |
🟡 Media | ||
| 7 | Generar y ordenar datos | randomtextwriter, randomwriter, sort |
🟡 Media | ||
| 8 | Puzzles | pentomino (comparándolo con sudoku) |
🟢 Fácil | ||
| 9 | Retos avanzados | secondarysort, join (dbcount como bonus) |
🔴 Difícil |
<aside> ⚠️
Avisos técnicos importantes
randomwriter y randomtextwriter escriben 10 GB por defecto y pueden llenar el disco del contenedor. Investiguen cómo limitar el tamaño con un parámetro -D antes de ejecutarlos.secondarysort y join necesitan datos de entrada con un formato específico (parte del reto es descubrir cuál). dbcount requiere una base de datos, por eso es bonus.
</aside>En este proyecto van a trabajar en dos lugares distintos, y es importante no confundirlos:
┌──────────────────────────────┐ docker cp ┌──────────────────────────────┐
│ 💻 TU COMPUTADORA │ ─────────────────────▶ │ 🐳 CONTENEDOR "hadoop" │
│ │ ◀───────────────────── │ │
│ • Carpeta del repositorio │ │ • Debian + Java + Hadoop │
│ • Git, README, diapositivas │ │ • Aquí se EJECUTAN los │
│ • Aquí se SUBE a GitHub │ │ ejemplos de MapReduce │
└──────────────────────────────┘ └──────────────────────────────┘
docker cp.<aside> ⚠️
Todos los comandos de docker se escriben en la terminal de TU COMPUTADORA, no dentro del contenedor. Si tu prompt dice hadoop@hadoop o root@hadoop, estás dentro del contenedor; abre otra terminal nueva para usar docker.
</aside>