Modelos

El tema que estoy estudiando estos días es la regresión por mínimos cuadrados parciales, partial least squares (PLS). Para documentarme teóricamente y conocer las principales posibilidades de R estoy empleando este documento. Para argumentar el uso de esta técnica, de nuevo partimos del modelo lineal general $Y = X \cdot \beta + \text{Error}$, donde $\beta = (X’X)^{-1} \cdot X’Y$, y ya analizamos los trastornos que nos provoca la inversa de $X’X$ cuando hay columnas de $X$ que son linealmente dependientes (cuando hay multicolinealidad). En ese caso empleábamos la regresión ridge. Bueno, imaginemos esta situación: tenemos más variables que observaciones. Entonces sí que no somos capaces de tener una solución para $(X’X)^{-1}$. Para este problema contamos con los mínimos cuadrados parciales. ...

Por lo visto no he estudiado lo suficiente. Tengo que redimirme y estudiar este verano determinadas técnicas avanzadas de predicción. Fundamentalmente tengo que trabajar con R y tener determinados conocimientos teóricos sobre estas técnicas. Así que he pensado que, a la vez que estudio yo, estudian todos mis lectores. Además es probable que genere debate. En esta primera entrega vamos a tratar la regresión contraída o regresión ridge. En el blog ya hablamos del problema que suponía la multicolinealidad; cuando tenemos este problema, una de las posibles soluciones es la regresión contraída o regresión ridge. Como ya dijimos, el modelo lineal se expresa como $Y = X \cdot \beta + \text{Error}$; la estimación de nuestros parámetros $\beta$ por mínimos cuadrados ordinarios es $\beta = \text{inv}(X’X) \cdot X’Y$. Cuando $(X’X)$ no es invertible tenemos un problema. La regresión ridge plantea una solución a este problema con unos parámetros $\beta extbackslash_{\text{contraidos}} = \text{inv}(X’X + \lambda I) \cdot X’Y$; si $\lambda$ es 0 estamos ante mínimos cuadrados ordinarios; en otro caso estamos ante un estimador sesgado de $\beta$. Este estimador sesgado es solución al problema de mínimos cuadrados penalizados y lo que hace es contraer los $\beta$ en torno a 0. En resumen: metemos sesgo pero reducimos varianza. ...

Para determinar la distribución que sigue un vector de datos en R, contamos con el paquete rriskDistributions. Este paquete de R nos permite realizar un test para las distribuciones siguientes: Normal Logística Uniforme Gamma Lognormal Weibull Cauchy Exponencial Chi-cuadrado F T-Student Todos aquellos que estén trabajando con los modelos de supervisión de riesgos seguramente conocerán este paquete y, si no lo conocen, espero que lean estas líneas porque pueden ser de mucha ayuda para ellos; aunque se trate de software libre, no pasa nada, no receléis de R. La sintaxis es tan sencilla que se puede resumir en: ...

El modelo lineal se puede escribir de forma matricial como $Y = X \cdot \text{Beta} + \text{Error}$. Donde $Y$ es el vector con nuestra variable dependiente, $X$ la matriz con las variables regresoras, $\text{Beta}$ el vector de parámetros y el «error» esa parte aleatoria que tiene que tener todo modelo. La matriz con nuestras variables regresoras $X$ ha de tener rango completo; es decir, todas sus columnas tienen que ser linealmente independientes. Eso nos garantiza que, a la hora de estimar por mínimos cuadrados ordinarios, $X’X$ es invertible. Si no es invertible, la estimación por mínimos cuadrados ordinarios «se vuelve inestable» ya que $X’X = 0$ y $1/X’X$ será muy complicado de calcular, ya que los $\text{Beta}$ son $\text{inversa}(X’X) \cdot X’Y$; por ello, los resultados que arroja el modelo tienen una alta variabilidad. Cuando esto nos pasa, tenemos colinealidad. ...

La pasada semana, in un examen, me preguntaron cuál era el mejor punto para una prueba diagnóstica; era necesario razonar mi respuesta. Seguramente mi respuesta fue correcta, pero mi razonamiento no lo fue y por eso quería redimirme. Para evaluar las pruebas diagnósticas con una respuesta binaria (sí/no), contamos con la sensibilidad y la especificidad. La sensibilidad es la capacidad que tiene la prueba para acertar sobre los que de verdad tiene que acertar (la probabilidad de etiquetar como enfermos a aquellos que verdaderamente están enfermos). La especificidad es una medida que nos indica cuánto nos hemos equivocado con los «unos» (la probabilidad de etiquetar enfermos a pacientes sanos). Una forma de medir cuánto acertamos y cuánto nos equivocamos con nuestra prueba. Para analizar el comportamiento de nuestra prueba diagnóstica, debemos determinar un punto de corte. Para ilustrar cómo seleccionar el mejor punto de corte, vamos a emplear unos datos sacados de la web de bioestadística del Hospital Ramón y Cajal y vamos a elaborar una curva ROC con R y ggplot2. ...

El otro martes, Teresa, mi profesora de la Facultad de Estudios Estadísticos, dijo una frase que me dejó helado: «Ojo con el p-valor porque depende del tamaño muestral». Estábamos estudiando regresión logística y tests de independencia. Ahora que uno mismo vuelve a estudiar qué es lo que hay detrás de la salida de los programas estadísticos, se plantean muchas dudas. Por definición, el p-valor depende del tamaño muestral y es una medida que la tomamos como un axioma para todo: el p-valor nunca miente hasta que tenemos mucha exposición. Voy a utilizar un ejemplo que vi en clase con Teresa ligeramente retocado (no creo que se enfade, no creo ni que lea esto). Trabajo con SAS porque estoy más acostumbrado a la salida que ofrece. Se trata de realizar un test de independencia para una tabla 2x2. La $H_0$ o hipótesis nula es que existe independencia entre el factor de nuestro estudio y la variable dependiente; en nuestro caso, $H_0$ es «no hay relación entre la utilización de un pesticida y la presencia de una enfermedad», frente a $H_1$, «hay relación entre la utilización del pesticida y la presencia de la enfermedad». Simulamos los datos con SAS: ...

Cuando tenemos rangos en nuestras hojas Excel y deseamos que se conviertan en tabla SAS, podemos emplear la sentencia LIBNAME de este modo: libname selec "C:\TEMP\rangos.xlsx"; data rango; set selec.rango; run; libname selec clear; Asignamos la librería al archivo Excel que deseamos leer y tan simple como referenciar al rango en nuestro paso data. Se interactúa fácil entre Excel y SAS. Saludos.

El método más sencillo para ejecutar SAS a una hora determinada es el empleo de la función SLEEP: data _null_; momento = "03OCT2013:10:07"dt; duerme_hasta = sleep(momento - datetime(), 1); run; Un truco muy sencillo que da respuesta a una duda planteada en el blog. Pensé que ya existía esta entrada. Saludos.

Un intervalo de confianza es la zona en la que me fío de lo que estimo. Cuanto más amplia es esa zona menos me fío de lo que estimo, y cuanto más estrecha, más me fío de lo que estimo. Lo que pasa es que un intervalo de confianza, por definición, empieza con la famosa expresión: «dada una población de media $\mu$ y desviación típica $\sigma$…» ¡¡¡FU FU FU FU FU FU!!! ...

Mi compañero y amigo Carlos Gil, junto con Víctor Peinado, van a iniciar un interesante proyecto: un grupo de lectura del libro Analyzing Linguistic Data: A practical introduction to Statistics. Desde aquí nos hacemos eco de este proyecto, que podéis seguir desde aquí. El calendario del curso es: An Introduction to R: (1 semana, del 6/05 al 12/05) Graphical Data Exploration: (1 semana, del 13/05 al 19/05) Probability Distributions: (1 semana, del 20/05 al 26/05) Basic Statistical Methods: (2 semanas, del 27/05 al 9/06) Clustering and Classification: (2 semanas, del 10/06 al 23/06) Regression Modeling: (2 semanas, del 24/06 al 7/07) Mixed Models: (2 semanas, del 8/07 al 21/07) Será todo un éxito, como las anteriores convocatorias. Saludos.