Google Trends, SQL frente a Hadoop. La tendencia es clara: mientras el interés por Hadoop está creciendo, el interés por SQL baja en picado (aunque vaticino un estancamiento de 2-3 años). Y si analizamos el interés por zona geográfica por Hadoop: Ya podéis adivinar quiénes marcarán el ritmo en el sector. Quiénes serán la referencia en Big Data en 3-4 años. Adónde irán los servidores de las principales compañías mundiales. Muy significativo.
Carlos Gil ya habló de Hadoop hace algún tiempo y, en su blog, hizo referencia de nuevo a la gestión de información desestructurada, por lo que despertó mi curiosidad sobre MapReduce y el procesado de datos en paralelo (http://sentidoweb.com/2007/11/21/hadoop-plataforma-para-trabajar-con-gran-cantidad-de-datos.php). Pero lo primero que me llamó la atención fue que Google no pusiera pegas sobre el «uso o aprovechamiento» de su algoritmo de MapReduce. Al fin y al cabo, tras la salida a bolsa de Google en 2004, quedaba claro que era una empresa con un objetivo comercial. No seré yo quien critique este objetivo: son los mejores y punto. Pero en todo este proceso de aproximación a Hadoop y MapReduce, me encuentro con esta noticia. ...
Nuestra profesión, la del estadístico que trabaja en la industria o la consultoría, está sometida a los cambios que exige el nuevo siglo. Llevo meses clamando en vano frente a un público que no escucha mis advertencias de peligro de obsolescencia. Pero un anuncio de un puesto de trabajo en un país lejano, y que algunos consideran adelantado, me hace sentir reivindicado. Atención a los requisitos meramente técnicos: Escribir e interpretar queries de SQL complejas. Escribir e interpretar análisis de datos del tipo map-reduce usando Hadoop y Pig. Escribir código combinando SQL, Java, Pig y otros lenguajes de script. Trabajar con conjuntos de datos grandes de tipo desestructurado (varios terabytes, más de 100 millones de transacciones diarias). Experiencia con lenguajes de script y expresiones regulares. Interés en matemáticas discretas y estadística. Experiencia transformando requisitos de negocio en sistemas informáticos. Nos adentramos en un brave new world, quiéranlo los nostálgicos del s. XX o no.