Google Trends, SQL frente a Hadoop. La tendencia es clara: mientras el interés por Hadoop está creciendo, el interés por SQL baja en picado (aunque vaticino un estancamiento de 2-3 años). Y si analizamos el interés por zona geográfica por Hadoop: Ya podéis adivinar quiénes marcarán el ritmo en el sector. Quiénes serán la referencia en Big Data en 3-4 años. Adónde irán los servidores de las principales compañías mundiales. Muy significativo.
Mi amigo Carlos escribió esta entrada en su blog. Si fuera un manifiesto, la primera de las firmas de apoyo sería la mía. Cuando programamos en SAS, hemos de usar PROC SQL siempre que podamos. Fundamentalmente porque un programa puede ser usado por múltiples usuarios y en muchas ocasiones hemos de realizar migración entre aplicaciones, y casi todas las personas y sistemas pueden interpretar SQL. Con este argumento, si se puede hacer con el PROC SQL… En fin, esto me parece tan evidente que hoy sábado, después de acostar a mis hijos y navegar por la blogosfera, encontrarme con esto es demasiado para mí. ...
Las vistas son muy importantes cuando trabajamos con SAS. El problema del espacio in disco se acentúa cuando trabajamos con SAS; este problema podemos minimizarlo empleando vistas. También hay otras situaciones en las que se recomienda usar vistas: cuando realizamos agregaciones sobre campos de una tabla y, a la vez, realizamos una operación sobre estos campos, es muy habitual emplear el PROC SQL. Ejemplo de lo que cuento: data importes; do idcliente = 1 to 2000000; importe = ranuni(34) * 1000; output; end; run; * FORMA 1: SQL; proc sql; select var(sqrt(importe)), var(importe) from importes; quit; Sobre una tabla con 2.000.000 de registros, hacemos la varianza de un campo importe y de la raíz cuadrada de ese mismo campo importe. Es decir, hacemos la varianza sobre la operación aritmética de un campo. Para hacer este trabajo con PROC MEANS sin tener que crear un nuevo campo en la tabla, haríamos una vista y un MEANS posteriormente: ...
El paquete sqldf de R nos permite ejecutar sentencias de SQL. Las cláusulas, las expresiones, los predicados… son la salvación para muchos tipos mediocres como el ahora escribiente. sqldf es un módulo imprescindible: casi cualquier persona con conocimientos básicos de bases de datos es capaz de programar en SQL. Evidentemente no voy a enseñaros a hacer queries, pero sí quiero mostraros algunas de las posibilidades que nos ofrece este paquete de R. Como siempre, trabajaremos con ejemplos. El primer paso es crear un data.frame: ...
Hace unos meses padecí (eso sí, brevemente) un proyecto que consistía en la migración de cierto código en SAS (¡nos lo pasaron como un documento de 20 hojas de Word!) a otro lenguaje de programación. Esencialmente, desde la nueva plataforma habrían de lanzarse consultas a cierta base de datos (cuando el código SAS permitiese resolver los cálculos como una consulta de SQL) y procesarse los resultados procedimentalmente desde el nuevo lenguaje de programación cuando SQL, declarativo, no fuese suficiente. Surgió el problema de que el lenguaje procedimental era incapaz de procesar bloques tan grandes de información. Pero ésa es otra historia. ...