Formación

DEP la banca de inversión o mejor dicho RIP porque es La Reserva Federal de los EEUU la que va a cambiar definitivamente el modelo de banca. Pasamos de una banca no controlada por el estado y basada en riesgos a una banca tradicional mucho más comercial donde los clientes son los principales protagonistas. Desde el punto de vista del analista pasamos del gurú en activos y bolsa, del gran ingeniero financiero al analista de cliente. Este nuevo analista tiene que tener una sólida base matemática y conocer a la perfección la información almacenada y los productos de su organización.

Hacer ceros los missing en un dataset. Crear una etiqueta «NO DISPONIBLE» en campos carácter sin valores. Cuando trabajamos con SAS es una situación más que habitual. A continuación voy a plantear un par de ejemplos de como podemos usar arrays de variables en SAS para realizar una transformación «masiva» de variables de nuestro conjunto de datos.

Poner missing numéricos a 0:

Lo primero es destacar que no siempre un valor perdido equivale a 0. Cuando realizamos modelos es necesario tener en cuenta que hacemos con los missing, el siguiente ejemplo transforma todos los . de un dataset a 0:

Vamos a introducir los nombres de las variables SAS de un dataset en otro dataset. Esto puede sernos muy útil para realizar documentación, validaciones de los conjuntos de datos generados, automatización de instrucciones,… Es un truco muy sencillo y tan sólo es necesario comprender el funcionamiento del ODS de SAS explicado en otro de los mensajes de este blog. Simplemente empleamos el proc contents de SAS y almacenamos con ODS en un dataset el resultado del listado de las variables:

Una de las labores más comunes con SAS consiste en leer e importar ficheros provenientes de otras aplicaciones. Es muy habitual trabajar con tablas de Excel, Access, Lotus, Business Object, Microstrategy, SQL Server, SAP… Para ello SAS dispone de algunos módulos que no se disponen en todas las instalaciones debido a que pueden encarecer mucho la instalación final. Por este motivo voy a introduciros en una metodología muy habitual en el trabajo diario: Importación de textos delimitados con SAS.

«Muchas entidades han tirado la casa por la ventana y han ofrecido tipos de interés tan elevados que difícilmente podrán recuperar esa inversión”. Cita sacada de aquí. La batalla por el pasivo ha comenzado en el mercado bancario nacional. La exposición del entorno bancario al cemento y el ladrillo hacen temer una falta de liquidez, las entidades financieras necesitan pasivo para evitar un posible «corralito«. ¿Alquien piensa que la gran banca no ha provisionado los problemas de esta exposición? ¿Alguien piensa que la banca va a tener problemas de liquidez? Por muy vertiginosa que sea la caida el sistema financiero español está preparado.

Cada día los softwares libres van ganando más y más terreno a los softwares comerciales, no sólo por su precio, si no porque incluyen procedimientos más vanguardistas que los comerciales. El mayor problema que tienen es el volumen de datos.

Cuando he preguntado a algún desarrollador de los principales softwares libres (R, Weka, Knime…) acerca de esta cuestión siempre me han respondido que depende de la capacidad de la máquina o servidor en la que se ejecuten los procesos. Es una respuesta ambigua, es cierto, pero es totalmente cierta. Si dispusiésemos de una máquina con recursos de memoria y almacenamiento ilimitados el software libre sería prácticamente perfecto. Podríamos decir entonces que la principal desventaja de los software libres frente a los comerciales es la gestión de los procesos (mucho más estudiada en los comerciales), además de una consola o interfaz más amigable.

En este capítulo del curso de R vamos a comenza a estudiar el análisis de regresión lineal. Los modelos de regresión lineal son modelos probabilísticos basados en una función lineal, nuestro objetivo es expresar una variable dependiente en función otro conjunto de variables. Los pasos básicos a seguir en el estudio de un modelo lineal son: 1. Escribir el modelo matemático con todas sus hipótesis.

2. Estimación de los parámetros del modelo. 3. Inferencias sobre los parámetros. 4. Diagnóstico del modelo. No nos vamos a detener en todos los pasos puesto que si lo hiciéramos el capítulo quedaría demasiado extenso. Vamos a analizar las posibilidades que tenemos con R y para que nos pueden servir los modelos lineales. La función que realiza los modelos lineales en R es lm «lineal model». Pero esta función no nos ofrece ninguna salida por pantalla si no que nos crea un objeto, o mejor dicho, nosotros creamos un objeto que va a ser un modelo de regresión lineal. Este objeto puede ser referenciado por cualquier función para realizar un análisis de la varianza, un modelo autoregresivo,… La función lm tiene la siguiente sintaxis: lm(formula, data, subset, weights, method = "qr", model = TRUE, x = FALSE, y = FALSE, qr = TRUE, contrasts = NULL, ...)

En esta nueva entrega del curso de R vamos a trabajar con algunos conceptos básicos de inferencia estadística. En primer lugar hacemos inferencia a partir de unas observaciones obtenidas a partir de la población a las que vamos a extraer unas propiedades que se denominan estadísticos muestrales. Además vamos a conocer la distribución de dichos estadísticos (generalmente distribución normal) por lo que hacemos inferencia paramétrica.

La inferencia paramétrica puede recogerse en una vertiente o en otra según el parámetro a estimar; tenemos por un lado la estadística clásica (que es en la que nos vamos a centrar) y por otro lado la estadística ballesiana.

Desde SAS podemos generar PDF y HTML. Esto es muy práctico a la hora de reportar información ya que no necesitaremos pasar por Excel o cualquier otra herramienta de ofimática para generar informes. Además, si generamos HTML podemos crear webs en las que podemos navegar por los resultados obtenidos con SAS. En este mensaje veremos algunos ejemplos prácticos de uso del ODS para conocer mejor su funcionamiento. El primero de ellos crea un informe web a partir de un proc univariate:

Ya vimos el funcionamiento de ODS TRACE ON/OFF. Ahora crearemos datasets a partir del OUTPUT que genera un paso PROC de SAS con ODS. Lo principal es conocer como se denomina cada parte del OUTPUT, esto lo conseguimos con TRACE y analizando el LOG. Una vez conocemos la salida empleamos ODS OUTPUT = libreria.dataset. En el ejemplo que teníamos:

_*DATASET ALEATORIO DE 200000 OBSERVACIONES;_
_data uno;_
_do i=1 to 20000;_
_importe=round(rand(«normal»)*1000,.1);_
_num_productos=min(max(1,rand(«pois»,4)),8);_
_num_cargos=max(0,rand(«pois»,10)-int(rand(«uniform»)*10));_
_output ;_
_end;_
_run;_

_ods noresults;_
_ods output Quantiles=cuant;_
_proc univariate data=uno;_
_var importe;_
_quit;_

_ods output Chisq=testchi;_
_proc freq data=uno;_
_tables num_productos*num_cargos/chisq;_
_quit;_
_ods results;_

Para evitar la salida en la ventana output o en formato HTML se emplea ODS NORESULTS. Con ODS OUTPUT hemos creado dos datasets. Veamos el log:

Hoy comenzaré una serie de mensajes dedicados al ODS (Output Delivery System) de SAS. Este mecanismo de SAS nos permite un uso más eficiente del OUTPUT de nuestros pasos PROC además podemos crear excel (como ya vimos), crear dataset, no generar salidas,… Antes SAS nos ofrecia un texto plano en la ventana OUTPUT, ahora generamos documentos sofisticados. En tres entregas veremos: *Trazar el OUTPUT de SAS *Datasets de salidas de SAS *Documentos con nuestras salidas de SAS: -HTML -PDF Como complemento a estas entregas es posible que redacte un mensaje con algunos ejemplos de uso del PROC TEMPLATE. En esta primera capítulo dedicado al ODS estudiaremos algunas salidas SAS y con ellas, sabremos identificar la estructura del OUTPUT.

R dispone de múltiples posibilidades a la hora de realizar gráficos. De hecho, bajo mi punto de vista, puede ser una de las herramientas estadísticas más potentes al respecto, además es gratuita y existe una comunidad detrás que pone a nuestra disposición múltiples manuales y documentación. Debido al gran material existente este capítulo sólo será una pequeña introducción a sus posibilidades en sucesivas entregas veremos nuevas funciones y nuevos gráficos más aplicados a ejemplos reales.

En R trabajaremos con objetos y funciones. En capítulos anteriores hemos empezado a crear objetos, fundamentalmente vectores y matrices. En la presente entrega vamos a estudiar las funciones básicas de estadística descriptiva.

Como funciones de medida de tendencia y localización tendremos:

> alturas<- scan() #creamos el objeto alturas con 11 observaciones

1: 1.75 1.67 1.89 1.78 1.54 1.90 1.87

8: 1.67 1.76 1.75 1.90

12:

Read 11 items

> mean(alturas)

[1] 1.770909

> median(alturas)

[1] 1.76

> min(alturas)

[1] 1.54

> max(alturas)

[1] 1.9

> quantile(alturas) #cuartiles

  0% 25% 50% 75% 100%

1.54 1.71 1.76 1.88 1.90

> IQR(alturas) #rango intercuartílico

[1] 0.17

Como funciones de medida de dispersión tenemos: