CycloForums - Huracanes y Meteorología

Data Mining (DM)-III, August 13 2012

Postby ROCKStormSJ4315 on Tue Apr 03, 2012 12:18 am

La minería de datos, no es otra cosa que extraer datos, de alguna fuente, con el objetivo de ser analizada y obtener de esa fuente información, que hasta ese momento podría no haber sido descubierta. La misma podría ser útil para hallazgos importantes, provocar análisis más profundo, ayudar en apoyo de teorías, etc. Algunos le llaman extracción de conocimiento. En fin, es un archivo de datos, de donde cualquier persona que le guste el análisis matemático, podría descubrir muchas cosas que no han sido conocidas, porque nadie se había tomado la molestia de usar los datos para un objetivo en particular. Como parte de un proyecto en mis estudios, de tema libre, pero haciendo uso de este concepto, estoy trabajando en el particular. Obviamente uno de los temas que seleccione fue el estado del tiempo en Puerto Rico. Lo que tengo hasta ahora es muy preliminar, pero ya esta pesca de datos me ha servido para descubrir aspectos interesantes de nuestro clima. Como es un proceso que toma su tiempo y el análisis de datos es un tanto complejo (estadístico), trataré de colocar alguno de los resultados una vez estén disponibles. El objetivo no es meteorológico, es meramente hacer uso del DM y el material aprendido en clase. Tampoco pretende explicar con lujo de detalle las posibles causas de los hallazgos. Es revelar resultados que sirven para otras personas llegar a sus propias conclusiones o el inicio de investigaciones más profundas. En otras palabras concienciar en un área que poco a poco está adquiriendo importancia mayormente en el sector económico. Por lo limitado del portal, para publicar graficas, lo árido de algunas pruebas y que el estudio surge de un curso no relacionado al foro, no sé que pueda descubrir y tengo el tiempo en contra; sólo escribiré aquí algunos de los resultados si son reveladores. Los demás, de ser relevantes (De nuevo, aún no se que descubra, si algo), para la próxima reunión con los amigos del foro, que me imagino que es pronto.

Last edited by ROCKStormSJ4315 on Mon Aug 13, 2012 11:13 pm, edited 2 times in total.

God is great, beer is good and this season looks crazy B. C.
User avatar
ROCKStormSJ4315 Categoria 5++
Categoria 5++ Posts: 2831Joined: Wed Sep 15, 2010 12:54 pmLocation: Hato Rey, San Juan, PR

Top

--------------------------------------------------------------------------------




Re: Minería de datos- Data Mining (DM)

Postby ROCKStormSJ4315 on Mon Apr 30, 2012 4:26 am

Bueno, ya la primera fase del estudio fue completado. Como sintesis puedo indicar que del estudio se reflejo, que ni la temperatura maxima de invierno ni la minima, se comportaron de acuerdo a una distribucion normal estadistica. Que esto debe ocurrir en meteorologia no se. En DM solo se extraen datos y se analizan. Las conclusiones estan abiertas a todo tipo. Curiosamente, donde se experimentan mas bajas temoeraturas que lo normal es en la minimas. Yo opinaba eso mismo pero a la inversa. Las maximas no estuvieron tan distantes de lo que es lo razonable. No se desprende del estudio que estuvieron debajo del promedio. El mes mas cerca de lo normal fue marzo con las temperaturas maximas, pero en cierta medida "skewed to the righ tail". En temperaturas minimas el mas normal fue febrero aunque es un "flat distribution". El mes mas atipico en temperaturas minimas fue enero. El mas atipico en temperaturas maximas febrero. El mas normal para las maximas, ninguno. Curiosamente fue el mes de marzo el que reflejo una tendenca de temperaturas minimas bajo lo normal. Las maximas por lo general por encima del promedio.

Last edited by ROCKStormSJ4315 on Tue May 29, 2012 12:42 am, edited 1 time in total.

God is great, beer is good and this season looks crazy B. C.
User avatar
ROCKStormSJ4315 Categoria 5++
Categoria 5++ Posts: 2831Joined: Wed Sep 15, 2010 12:54 pmLocation: Hato Rey, San Juan, PR

Top

--------------------------------------------------------------------------------




Re: Minería de datos- Data Mining (DM)

Postby ROCKStormSJ4315 on Tue May 01, 2012 2:58 am

En la segunda parte del estudio que hice, se busco si habia algun tipo de interaccion y de que magnitud, entre 9 variables de nuestra climatologia y las temperaturas. Los resultados fueron sorprendentes. No se encontro relacion significativa(ja el famoso p-value de estadisticas) con ninguna de ellas. Variables que uno sabe que deben tener algun tipo de correlacion. No paso del 30 % y menor cuando se busco correlacionarlo con las temperaturas minimas. Me parecio entender que la companera Ada Monzon esta recopilando informacion sobre las temperaturas tambien. Si algun amigo forista conoce mas informacion sobre esto, envienme un e-mail. Podriamos estar trabajando en lo mismo. Yo no puedo entrar a la pagina del tiempo de Univision, porque esta en Facebook. Yo aun no he caido en la tentacion de las redes sociales. Solo en esta. Tengo o tenia como 5 cuentas de Facebook, que me han abierto familiares y amistades en el pasado y ni eso me motivo ni siquiera a entrar una primera vez. Asi que como no tengo detalles alguien que sepa, nuevamente, me deja saber.

Con dos semanas de trabajo, usando el DM hice un paper de 40 paginas y eso no es ni un 10% de lo que se puede hacer con el "data base" que esta disponible. De las dos partes del trabajo, se por que los resultados estadisticos reflejaton lo que tengo en el informe. Por aqui es casi imposible, como dije antes poner algo mas detallado, pues colocar tablas y graficas aqui es mas dificil que ir de San Juan a Cataño por el famoso puente que se supone ya este construido

Quizas en una futura reuion del foro. Como en los viejos tiempos de la Sociedad Ciclonologica que en las actividades, siempre habia un orador.

Re: Minería de datos- Data Mining (DM) Parte II, Julio 26

Postby ROCKStormSJ4315 on Thu Jul 26, 2012 1:18 am

Nuevamente tengo la oporunidad de que se me permitio, en cursos de estadisticas utilizar tema libre. Y claro volvi a seleccionar Meteorologia. Los resultados van desde simples promedios, hasta modelos estadisticos complejos que son comunes en econometria.

Ambos estudios usan los programas SPSS y SAS. Nuevamente hago un llamado a los amigos foristas para unir mi conocimiento en estadisticas con alguien que domine mejor que yo la meteorologia para "pescar" de esta mineria de datos informacion que puede ser muy interesante. Los resultados van desde promedio, frecuencias, desviacion standard, Pearson, Chi Square, Cramer, Gamma, Kendall, Somers, Stuart, Lamda Asymetric and Symetric, Cochran-Mantel-Haenszel , Regression, Probit Procedure, Logistic Procedure, QLM Procedure, y QLIM Procedure entre otros.

Con este enredo estadistico yo puedo trabajar. Yo puedo indicar lo que la prueba esta diciendo. El experto en meteorologia puede manejar mejor la interpretacion o la posible causa del resultado estadistico.

Voy a presentar solo una muestra con lo mas sencillo para que se entienda mejor lo que intento hacer.

Por ejemplo

Para el año 2010 el promedio de lluvia fue .25 centecimas de pulgada, una desviacion standard de media pulgada. Esto se puede interpretar como que fue un ano normal, seco o lluvioso? La cantidad maxima de lluvia fue un dia con 3.5 pulgadas. El viento en promedio fue de 93 grados. Este es un componente Este con una inclinacion al SE. El viento promedio fue de 7.14 millas. The Highest wind Speed over 2 minutes fue de 18 siendo 33 la rafaga mayor. La desviacion standard fue de solo 4 millas. Esto puede interpretarse, a parte de no haber tormentas en 2010, que las altas presiones o vientos productos de tronadas estuvieron por debajo de lo normal en el 2010? La temperatura salio mayor que el 2011 con 86.56 la maxima y la minima promedio 75.75. En el 2011 los numeros fueron 85.76 y 74.61. En el 2011 la direccion del viento promedio 84 grados de direccion. Esto es un componente este. Explica la direccion del viento la diferencia en temperaturas de ambos años?

Lo interesante es que en el 2011 hubo tormenta y se refleja en los datos pero la cantidad de lluvia fue muy parecida al 2010, rafagas promedio casi iguales, aun con la tormenta e igual la velocidad promedio del viento.

Como se explican estos resultados?

Esto es solo una muestra de lo que hace la mineria de datos. Si con estos datos sencillos se pueden hacer varios cuestionamientos con los resultados estadisticos mas complejos podrian salir cuestionamientos mayores. No quiero imaginarme los modelos que utilizan para la trayectoria de huracanes. Aunque no creo que esten muy lejos a esta estadistica que aqui muestro.

Imposible colocar aqui todos los resultados. Son mas de 500 paginas en donde solo use 18 variables. Tampoco yo de mi parte usare todos los datos, pues es solo para propositos de una clase.

Los resultados aqui exxpuestos no son oficiales y son solo producto de una muestra. Para informacion oficial refierase a las fuentes oficiales.

God is great, beer is good and this season looks crazy B. C.
User avatar
ROCKStormSJ4315 Categoria 5++
Categoria 5++ Posts: 2831Joined: Wed Sep 15, 2010 12:54 pmLocation: Hato Rey, San Juan, PR

Top

--------------------------------------------------------------------------------




Re: Data Mining (DM)-Updated, July 25

Postby hurricanetrack on Sun Aug 05, 2012 9:50 pm

Saludos Rock!

Hay un libro que se llama "Statistical methods in the Atmospheric Science" de Daniel S. Wilks....nosotros lo tenemos aqui en la oficina. Cuando lo vi...me acorde de ti. jeejee.
hurricanetrack Meteorólogo
Meteorólogo Posts: 3932Joined: Sat Nov 04, 2006 3:11 pm

Top

--------------------------------------------------------------------------------




Re: Minería de datos- Data Mining (DM) Parte II, Julio 26

Postby hurricanetrack on Sun Aug 05, 2012 10:00 pm



ROCKStormSJ4315 wrote:Nuevamente tengo la oporunidad de que se me permitio, en cursos de estadisticas utilizar tema libre. Y claro volvi a seleccionar Meteorologia. Los resultados van desde simples promedios, hasta modelos estadisticos complejos que son comunes en econometria.

Ambos estudios usan los programas SPSS y SAS. Nuevamente hago un llamado a los amigos foristas para unir mi conocimiento en estadisticas con alguien que domine mejor que yo la meteorologia para "pescar" de esta mineria de datos informacion que puede ser muy interesante. Los resultados van desde promedio, frecuencias, desviacion standard, Pearson, Chi Square, Cramer, Gamma, Kendall, Somers, Stuart, Lamda Asymetric and Symetric, Cochran-Mantel-Haenszel , Regression, Probit Procedure, Logistic Procedure, QLM Procedure, y QLIM Procedure entre otros.

Con este enredo estadistico yo puedo trabajar. Yo puedo indicar lo que la prueba esta diciendo. El experto en meteorologia puede manejar mejor la interpretacion o la posible causa del resultado estadistico.

Voy a presentar solo una muestra con lo mas sencillo para que se entienda mejor lo que intento hacer.

Por ejemplo

Para el año 2010 el promedio de lluvia fue .25 centecimas de pulgada, una desviacion standard de media pulgada. Esto se puede interpretar como que fue un ano normal, seco o lluvioso? La cantidad maxima de lluvia fue un dia con 3.5 pulgadas.

yo me voy.. con un año lluvioso. Me parece que media pulgada de desviacion standard es mucho(en cuanto a lluvia).

El viento en promedio fue de 93 grados. Este es un componente Este con una inclinacion al SE. El viento promedio fue de 7.14 millas. The Highest wind Speed over 2 minutes fue de 18 siendo 33 la rafaga mayor. La desviacion standard fue de solo 4 millas. Esto puede interpretarse, a parte de no haber tormentas en 2010, que las altas presiones o vientos productos de tronadas estuvieron por debajo de lo normal en el 2010? La temperatura salio mayor que el 2011 con 86.56 la maxima y la minima promedio 75.75. En el 2011 los numeros fueron 85.76 y 74.61. En el 2011 la direccion del viento promedio 84 grados de direccion. Esto es un componente este. Explica la direccion del viento la diferencia en temperaturas de ambos años?

La direccion del viento es uno de los principales cuasantes de las variaciones en temperaturas. Asi que te diria que si...93 grados...en vez de 84...parece poco..pero al verlo que fue un promedio...definitivamente...hay un cambio substancial. mucho mas caluroso el viento del 93...que del 84...jajaja.

Lo interesante es que en el 2011 hubo tormenta y se refleja en los datos pero la cantidad de lluvia fue muy parecida al 2010, rafagas promedio casi iguales, aun con la tormenta e igual la velocidad promedio del viento.

Como se explican estos resultados?

Esto es solo una muestra de lo que hace la mineria de datos. Si con estos datos sencillos se pueden hacer varios cuestionamientos con los resultados estadisticos mas complejos podrian salir cuestionamientos mayores. No quiero imaginarme los modelos que utilizan para la trayectoria de huracanes. Aunque no creo que esten muy lejos a esta estadistica que aqui muestro.

Imposible colocar aqui todos los resultados. Son mas de 500 paginas en donde solo use 18 variables. Tampoco yo de mi parte usare todos los datos, pues es solo para propositos de una clase.

Los resultados aqui exxpuestos no son oficiales y son solo producto de una muestra. Para informacion oficial refierase a las fuentes oficiales.
hurricanetrack Meteorólogo
Meteorólogo Posts: 3932Joined: Sat Nov 04, 2006 3:11 pm

Top

--------------------------------------------------------------------------------




Re: Data Mining (DM)-Updated, Agosto 5, 2012

Postby ROCKStormSJ4315 on Sun Aug 05, 2012 11:09 pm

Gracias por reaccionar hurricanetrack. Lo que escribi no es ni 1/8 parte de los resultados. Tambien lo que escribi es un poco de la parte mas "soft" o "light". Hay unos resultados donde se comparan ambos años usando pruebas y modelos estadisticos mas robustos que en ocasiones generaron resultados reveladores en unos casos, de los cuales no tengo interpretacion. Otros resultados contradictorios, de los cuales tampoco encontre explicacion. Me gusto lo que hiciste con las preguntas que escribi. Es la mejor manera de usar el DM. Pescar de los datos resultados que estan ahi, solo falta "pescarlos" y luego un experto como tu en meteorologia que le de la explicacion.

De la informacion mas dificil que tengo para interpretar son los modelos que tenian como variable dependiente una variable dicotoma: Llueve ese dia o no. Como son dicotomas, por lo general se miden los resultados en terminos de probabilidades de lluvia o no. Corri varios modelos con resultados similares en terminos del efecto de las variables, pero con efecto estadistico diferente. Algo asi como los modelos de trayectoria. En algunos casos los modelos le dieron una relacion muy pequena a algunas variables, como por ejemplo la direccion del viento y la cubierta de nubes. Para efectos del estudio, que el cielo este cubierto de nubes en San Juan no implica una alta probabilidad de lluvia.

Claro dos años es una muestra muy pequena y era solo para efectos de una clase, pero resulto interesante los resultados. Ja espero que algun dia se pueda hacer un estudio con una muestra mas representativa para ver que se encuentra. Al menos encontre que con el programa SAS se pueden hacer mas cosas que en SPSS aunque el SPSS es mas friendly.

Tampoco puedo colocar aqui alguno de lso resultados pues son tablas y/o graficas y nunca he entendido como se colocan en este portal.

Data Mining (DM)-III, August 13 2012

Postby ROCKStormSJ4315 on Mon Aug 13, 2012 11:13 pm

En el analisis de variables se encontro una relacion significativa, para ambos años entre temperatura maxima y minima con cerca del 70%. Entre SPD ( Peak wind speed for the day in mph) y AVGSPD ( Average wind speed for the day in miles per hour ) de 61%. Este valor es interesante, para que esto ocurra tiene que ser que esto ocurre en dias ventosos?. Entre SPD y MAXSPD ( The highest wind speed in mph averaged over a 2 minute period.) con 90%. Interesante cuando el MAXSPD y AVGSPD nos variables un tanto parecidas. DIR ( The direction from which the wind speed came) ) con DR ( The compass direction from which the peak wind speed came) ceca del 70%. Tambien este resultado, debio ser mayor pues es obvio que la direccion de la rafaga debe venir de donde proviene el viento ese dia.

Nuevamentem, alguno de losesultados mas "ivianos"del estudio

Esta pendiente del analisis de el Niño y la lluvia en PR. No obstante, dado el evento de Danny, donde esta la atencion ahora, lo pospongo para los proximos dias.