Por fin nos metemos con la regresión logística en R. Nos meteremos con WPS (si es posible). Los modelos de regresión logística son los más utilizados en las áreas en las que el ahora escribiente ha trabajado. ¿Por qué tienen tanto “éxito”? Porque es el mejor ejemplo de modelo de variable linealmente dependiente de otras variables independientes. Pero sobre todo tiene éxito porque modelamos una probabilidad de un suceso (habitualmente dicotómico) en función de unos factores que pueden ser discretos o continuos. ...

analisisydecision.es se despide de Carlos J. Gil Bellosta. datanalytics.wordpress.com es su propio proyecto. Desde aquí tiene todo nuestro apoyo y su correspondiente link. Han sido 23 entradas de las que no quiero destacar ninguna; aunque él sabe que hay una que es una referencia in lengua española. La colaboración entre un gestor moderno de la información (él) y un dinosaurio reaccionario (yo) ha sido muy fructífera y esperamos que in su nueva etapa in datanalytics.wordpress.com tenga tantos éxitos como los ha tenido aquí. ...

Quiero introduciros a los modelos de redes neuronales con R, más concretamente quiero acercaros al módulo nnet de R. Tenemos extensa literatura al respecto de las redes neuronales; personalmente considero de lectura obligatoria este enlace (y prácticamente toda la documentación de este profesor). El paquete nnet nos permite crear redes neuronales de clasificación monocapa. Las redes neuronales clasifican mediante algoritmos o métodos de entrenamiento; en función de estos métodos podemos tener redes supervisadas y redes no supervisadas. Las primeras buscan un límite de decisión lineal a través de un entrenamiento. Las segundas parten de unos parámetros (pesos) fijos y no requieren entrenamiento porque realizan mecanismos de aprendizaje en función de experiencias anteriores. ...

Sigo con una hipotética migración de SAS a WPS. Fundamental: ¿qué sucede cuando leo tablas SAS? ¿Puedo leerlas? Al fin y al cabo, son propietarias. Pues ningún problema: podemos leer perfectamente tablas SAS. Si trabajamos en una librería con tablas SAS, los ficheros generados serán .sas7bdat; sin embargo, si trabajamos en una librería sin tablas SAS, los archivos generados serán .wpd. Esto nos facilita trabajar conjuntamente con WPS y SAS, y facilita una hipotética migración de aplicaciones. Curiosamente, una tabla .wpd es ligeramente más pequeña. Por supuesto, COMPRESS=YES no es problema y WPS nos permite comprimir tablas. ...

Poco a poco comienzo a trabajar con el clónico de SAS, WPS. Estoy trabajando con la versión 2.3.5. De momento las impresiones no pueden ser mejores. La interfaz me recuerda a Enterprise Guide: trabajamos con proyectos que pueden estar compuestos de scripts (códigos de SAS) o ficheros. En cuanto a la interfaz, tenemos un navegador de proyectos para explorar los elementos que añadimos. Acompaña a este explorador una ventana de propiedades del proyecto. En la parte central podemos ver los scripts o los ficheros que añadimos. Me ha gustado el poder vincular los ficheros añadidos al proyecto a la aplicación del sistema asociada al fichero; me explico: si añades una hoja de cálculo, esta se abre en el proyecto de WPS con el programa asociado a ella. Otra de las ventanas está organizada en pestañas: una de ellas dispone del log y los resultados, otra un «server explorer» similar al explorador de SAS Base y una pestaña de progreso. Por último, disponemos de otro navegador de procedimientos, resultados o log de ejecuciones al que particularmente no le encuentro mucho interés. ...

Nuestra profesión, la del estadístico que trabaja en la industria o la consultoría, está sometida a los cambios que exige el nuevo siglo. Llevo meses clamando en vano frente a un público que no escucha mis advertencias de peligro de obsolescencia. Pero un anuncio de un puesto de trabajo en un país lejano, y que algunos consideran adelantado, me hace sentir reivindicado. Atención a los requisitos meramente técnicos: Escribir e interpretar queries de SQL complejas. Escribir e interpretar análisis de datos del tipo map-reduce usando Hadoop y Pig. Escribir código combinando SQL, Java, Pig y otros lenguajes de script. Trabajar con conjuntos de datos grandes de tipo desestructurado (varios terabytes, más de 100 millones de transacciones diarias). Experiencia con lenguajes de script y expresiones regulares. Interés en matemáticas discretas y estadística. Experiencia transformando requisitos de negocio en sistemas informáticos. Nos adentramos en un brave new world, quiéranlo los nostálgicos del s. XX o no.

Tocada de narices a SAS por parte de WPS: A BLIGHTY BASED software outfit that is being sued by a big US company in a bid to shut it down has just scored a win with IBM. World Programming’s WPS software has been approved as ready for IBM’s Linux on its system z mainframes. World Programming (WP) is being sued because its software supports the American software giant SAS Institute’s Statistical Analysis System (SAS) programming language. The nod from IBM means that users’ programs written using the SAS language can be run under Linux on IBM system z mainframes. ...

Vamos a estudiar cómo funciona CASE en un PROC SQL. Son palabras que aparecen en las búsquedas de Google y también he observado que el número de visitas al blog ha descendido en los últimos días, y no sólo es debido a las vacaciones navideñas. El 60% de los clics a AyD vienen por temas de SAS y, en los últimos días, tengo muy olvidados los mensajes de esta categoría. Además, en el plazo de dos días voy a dejar de trabajar con esta herramienta, por lo que es posible que se reduzcan aún más. En fin, a lo que voy: CASE en el PROC SQL. ...

El paquete sqldf de R nos permite ejecutar sentencias de SQL. Las cláusulas, las expresiones, los predicados… son la salvación para muchos tipos mediocres como el ahora escribiente. sqldf es un módulo imprescindible: casi cualquier persona con conocimientos básicos de bases de datos es capaz de programar en SQL. Evidentemente no voy a enseñaros a hacer queries, pero sí quiero mostraros algunas de las posibilidades que nos ofrece este paquete de R. Como siempre, trabajaremos con ejemplos. El primer paso es crear un data.frame: ...

Hace tiempo que Carlos nos descubrió WPS en el blog. Teníamos pendiente hacer una revisión de uno de los productos que puede optimizar los costes en software. Gracias a la gente de WPS me he puesto a trabajar en ello: En breve comenzará la revisión de WPS y (si es posible) una comparativa con SAS.