Proyecto de Investigación sobre Análisis Exploratorio de Datos en Python

Fue desarrollado y popularizado por John W. Turkey en su libro "Exploratory Data Analysis" en 1977.

▶️ Definición y objetivos del EDA

• Proceso de examinar datos para descubrir patrones, anomalías y relaciones.

Objetivos: entender la estrucura de los datos, revelar patrones, detectar anomalías (outliers), probar hipótesis.

En resumen los principales pasos para realizar un Análisis Exploratorio de Datos (EDA) son:

1️⃣ Carga y limpieza de datos

2️⃣ Estadística descriptivas

3️⃣ Visualización de datos

4️⃣ Análisis de correlaciones

5️⃣ Detección de outliers

Este paso implica decidir qué quieres aprender de tus datos y luego encontrar y reunir la información necesaria para responder a tus preguntas.

La mejor manera de empezar un trabajo en análisis de datos es:

a) Establecer objetivos claros del análisis:

• Definir el problema: Comprender y articular claramente el problema o la pregunta de investigación que se busca resolver.

• Objetivos específicos: Detallar los objetivos específicos del análisis, como identificar tendencias, prever resultados, mejorar procesos, etc.

• KPI (Key Performance Indicators): Establecer indicadores clave de rendimiento que ayudarán a medir el éxito del análisis.

b) Identificar fuentes de datos relevantes:

• Fuentes internas: Datos internos de la organización como bases de datos empresariales, informes, registros de ventas, etc.

• Fuentes externas: Datos externos que pueden complementar los datos internos, como datos públicos, estudios de mercado, datos de redes sociales, etc.

• Verificación de calidad: Evaluar la calidad de las fuentes de datos para asegurarse de que son fiables, precisas y relevantes.

c) Recompilar los datos necesarios:

• Recopilación directa: Obtener datos directamente a través de encuestas, entrevistas, formularios, etc.

• Acceso a bases de datos: Utilizar consultas SQL o APIs para extraer datos de bases de datos.

• Fuentes online: Descargar datasets de repositorios públicos y privados.

• Consolidación de datos: Integrar datos de múltiples fuentes para formar un conjunto de datos coherente y completo.

En este paso vamos a cargar los datos en Python y hacer una primera revisión para asegurarnos de que se han cargado correctamente y entender su estructura básica.

Este paso implica "limpiar" los datos, asegurándonos de que no hay información faltante, repetida o incorrecta que pueda afectar nuestras análisis.

El análisis estadístico descriptivo se utiliza para resumir y describir las características principales de un conjunto de datos. Aquí se detallan los pasos a seguir y los conceptos clave involucrados: 

La visualización de datos es fundamental en el análisis de datos, ya que convierte datos complejos en gráficos que permiten entender mejor la información, detectar patrones, identificar relaciones y descubrir anomalías que no son evidentes en tablas numéricas. 

La visualización no solo ayuda a comunicar resultados de manera efectiva, sino que también facilita la exploración de datos durante el análisis.

Para visualizar los datos debemos seguir estos pasos:

a) Crear histogramas para variables numéricas

Los  histogramas son esenciales para entender la distribución de variables numéricas. Muestran cómo se distribuyen los datos a lo largo de los valores posibles, permitiendo visualizar la frecuencia de ocurrencia de los distintos rangos de valroes. Un historgrama es útil para identificar si los datos están sesgados, si son unimodales o multimodales, y sei existen outliers.

• Cuándo usarlo: Utiliza histogramas cuando necesites entender la distribución de la variable numérica en tu conjuto de datos.

• [pegar imagen]  

b) Generar diagramas de caja y bigote (boxplot) para detectar outliers

Un boxplot es una representación gráfica que resume la distribución de los datos basada en cinco números: mínimo, primer cuartil, mediana, tercer cuartil y máximo. Los boxplots son particularmente útiles para detectar outliers y para entender la dispersión y asimetría de los datos.

• Cuándo usarlo: Utiliza un boxplot cuando quieras identificar outliers y entender la distribución y disperción de los datos de manera más precisa.

• [pegar imagen]

c) Elaborar gráficos de barras para variables categóricas

Los gráficos de barras son ideales para visualizar la frecuencia o proporción de categorías en una variable categórica. Muestran cada categoría como barra cuya altura es proporcional a la frecuencia de ocurrrencia o al valor de interés. Este tipo de gráfico es esencial para compartir cantidades entre diferentes categorías.

• Cuándo usarlo: Utiliza gráficos de barras para comparar el tamaño de diferentes categorías y visualizar la distribución de variable categóricas.

•  [pegar imagen]

d) Construir gráficos de dispersión (Scatter plots) para relaciones entre variables

Un gráfico de dispersión muestra la relación entre dos variables numéricas. Cada punto en el gráfico representa una observación. Este tipo de gráfico es crucial para identificar patrones, correlaciones y tendencias entre variables, así como para detectar posibles anomalías.

• Cuándo usarlo: Utiliza gráficos de dispersión cuando necesites explorar la relación entre dos variables numéricas y evaluar la presencia de correlaciones.

• [Pegar imagen]

📊 En resumen, estos son los gráficos que No Pueden Faltar en el Análisis de Datos:

1. Histogramas: Para entender la distribución de las variables numéricas.                      

2. Boxplots: Para identificar outliers y entender la dispersión de datos.

3. Gráficos de barras: Para comparar y analizar categorías en variables categóricas.

4. Gráficos de dispersión: Para evaluar relaciones entre pares de variables numéricas.

5. Gráficos de calor (Heatmaps): Útiles para visualizar matrices de correlación y resaltar relaciones fuertes entre múltiples variables.

6. Series de tiempo: Si trabajas con datos temporarles, gráficos de líneas son cruciales para identificar tendencias y patrones a lo largo del tiempo.

El análisis de correlaciones es una técnica clave en el análisis de datos que permite identificar y cuantificar la relación entre diferentes variables en un conjunto de datos. Este paso es crucial para descubrir dependencias importantes, identificar posibles variables predictoras, y detectar problemas como la multicolinealidad que pueden afectar negativamente los modelos predictivos.

Importancia del Análisis de Correlación

El análisis de correlación es vital para cualquer análisis exploratorio de datos, ya que permite identificar patrones y relaciones entre variables que pueden influir en la decisiones futuras de modelado. Detectar correlaciones fuertes y comprender la multicolinealidad te ayuda a construir modelos predictivos más robustos y a realizar un análisis más preciso y eficiente.

Este paso nos ayuda a entender cómo se relacionan las diferentes variables entre sí:

a) Calcular la matriz de correlación

La matriz de correlación es una tabla que muestra los coeficientes de correlación entre todas las variables del conjunto de datos. Cada celda en la matriz representa la correlación entre dos variables. Los valores de correlación oscilan entre -1 y 1, donde:

• • +1 indica una correlación positiva perfecta (aumenta una variable, aumenta  la otra).

  • -1 indica una correlación negativa perfecta (aumenta una variable, disminuye la otra).

  • 0 indica que no hay correlación.

Este análisis es fundamental para identificar relaciones lineales entre variables, lo que puede ser útil en la construcción de modelos predictivos y en la identificación de variables redundantes.

• Cuándo usarlo: Calcula la matriz de correlación cuando necesites entender las relaciones lineales entre múltiples variables numéricas.

b) Visualizar la matriz de correlación

Para interpretar fácilmente las correlaciones, es común visualizar la matriz de correlación utilizando un heatmap (mapa de calor). Un heatmap colorea las celdas de la matriz según la magnitud de la correlación, facilitando la identificación de relaciones fuertes y débiles entre variables.

• Cuándo usarlo: Visualiza la matriz de correlación cuando necesites una representación gráfica que resalte las relaciones más significativas, lo que es especialmente útil en conjuntos de datos grandes donde la matriz puede ser difícil de interpretar numéricamente.          

Los outliers, o valores atípicos, son datos que se encuetran siginficativamente alejados del resto de las observaciones en un conjunto de datos. La detección y tratamiento de outliers es crucial porque pueden distorsionar los resultados del análisis estadístico y los modelos predictivos, llevando a conclusiones erróneas. 

Aquí se detallan los pasos a seguir para gestionar eficazmente los outliers:

a) Identificar valores atípicos mediante métodos estadísticos o visuales

Los outliers pueden ser identificados utilizando tanto métodos estadísticos como visuales. Métodos comunes incluyen:

Boxplot: Como se mencionó en el PASO 5, los boxplots son útiles para detectar outliers, que se muestran como puntos fuera de los "bigotes" del gráfico.

Z-score: El Z-score mide cuántas desviaciones estándar está un valor por encima o por debajo de la media. Valores absolutos del Z-score superiores a 3 se consideran generalmente outliers.

IQR (Rango Intercuartílico): Calcula la diferencia entre el tercer y el primer cuartil. Los outliers son aquellos puntos que caen por debajo de Q1 - 1.5 x IQR o por encima de Q3 + 1.5 x IQR.

• Cuándo usarlo: Uiliza estas técnicas al inicio del análisis par identificar posibles outliers que puedan necesitar atención especial ante de proceder con el modelado o análisis adicional.

b) Decidir cómo manejar los outliers (eliminar, transformar, o mantener)

Manejo de outliers: Una vez identificados, es crucial decidir qué hacer con los outliers. Las opciones incluyen:

Eliminar: Si lso outliers son erroes de medicioón o no son relevantes para el análisis, pueden eliminarse. Sin embargo, esto debe hacerse con cuidado para no perder información valiosa.

Tranformar: Aplicar tranformaciones como la escala logarítmica o la raíz cuadrada puede reducir el impacto de los outliers sin eliminarlos. También se pueden suar técnicas omo el recorte (capping) para limitar los valroes exremos.

Mantener: En algunos casos, los outliers pueden contener información valiosa y deben mantenerse, especialmente si representan casos raros pero importantes (por ejemplo, en detección de fraudes).

• • Cuándo usarlo: La estrategia a utilizar depende del contexto del análisis y la naturaleza de los datos. Es crucial comprender el origen y la relevancia de lso outliers ante de decidir su tratamiento.

El análisis de la distribución de variables es crucial para entender cómo se distribuyen los datos en nuestro conjunto de datos, lo cual tiene implicaciones importantes para el análisis estadístico y el modelado predictivo. 

Muchas técnicas estadísticas y de machine learning asumen que los datos siguen una distribución específica, como la normaldiad, por lo que evaluar y, si es necesario, transformar la distribución de las variables es un paso esencial en el proceso de análisis de daos.

Este paso incluye la visualización y pruebas estadísticas para determinar si los datos siguen una distribución normal.

Resumen de los pasos para análisis de la distribución de variables:

a) Evaluar la normalidad de las variables numéricas

La normalidad de una variable se refiere a si los datos siguen una distribución normal, también conocida como distribución gaussiana. Evaluar la normalidad es importante porque mucho métodos estadísticos, como la regresión lineal, y técnicas de machine learning, como los modelos de regresión, asumen que las variables independientes (predictoras) o los residuos siguen una distribución normal. 

Existen varios métodos para evaluar la normaldiad:

Prueba de Shapiro-Wilk: Una prueba estadística para verificar la hipótesis de que una muestra proviene de una distribución normal.

Prueba de Kolmogorov-Sminorv: Otra prueba que compara la distribución de la muestra con una distribución normal.

QQ-Plots: Un gráfico cuantil-cuantil que compara los cuartiles de la mustra con los cuantiles esperados de una distribución normal.

• Cuándo usarlo: Evalúa la normalidad de las variables cuando necesitas validar las suposiciones de normaldiad en tus análisis estadísticos o modelos predictivos.

b) Considerar transformaciones si es necesario (log, raíz cuadrada, etc.)

Si una varible no sigue una distribución normal, puede ser necesario transformarla para que se ajuste mejor a los supuestos de normalidad o para mejorar el rendimiento de los modelos predictivos. 

Las transformaciones comunes incluyen:

Transformación logarítmica: Reduce la asimetría de las distribuciones muy sesgadas.

Transformación de raíz cuadrada: Reduce la asimetría de distribuciones que tienen valores elevados.

• Cuándo usarlo: Considera la transformación de datos cuando la distribución de las variables es significativamente NO normal y los análisis posteriores requieren normalidad.                

La segmentación y agrupación de datos (clustering) son técnicas utilizadas para descubrir grupos o patrones naturales en los datos, donde las observaciones dentro de un grupo son más similares entre sí que con las de otros grupos. Estas técnicas son fundamentales para tareas como la segmentación de clientes, análisis de comportamiento, y la identificación de patrones ocultos en conjuntos de datos complejos.

a) Identificar variables para la segmentación

• Selección de variables: Antes de aplicar técnicas de agrupación, es crucial seleccionar las variables adecuadas que influirán en la segmentación. Estas variables deben ser relevantes para el problema que se está tratando de resolver y deben capturar las características esenciales de las entidades que se desean agrupar. Las variables pueden ser numéricas (como ingresos, edad, gasto) o categóricas (como país, género, tipo de producto).

• Cuándo usarlo: Utiliza este paso para asegurarte de que las variables seleccionadas reflejan adecuadamente los criterios que deseas utilizar para segmentar los datos.

b) Aplicar técnicas de agrupación (por ejemplo, Kmeans)

• Técnicas de agrupación (clustering): Una vez seleccionadas las variables, se pueden aplicar varias técnicas de clustering para agrupar las observaciones:

  • K-means clustering: Es uno de los algoritmos de clustering más populares que particiona los datos en K grupos, donde cada observación pertenece al grupo con el centroide más cercano. Este método es útil cuando se sabe de antemano el número de clusters.

  • Clustering jerárquico: No requiere especificar el número de clusters por adelantado y crea una jerarquía de clusters mediante la combinación secuencial de los datos.

  • DBSCAN (Density-Based Spatial Clustering of Applications with Noise): Es una técnica que forma clusters basados en la densidad, útil para encontrar clusters de forma arbitraria y detectar outliers.

• Cuándo usarlo: Aplica estas técnicas cuando necesites descubrir grupos dentro de los datos para análisis de patrones, segmentación de mercado, o reducción de dimensionalidad.

La generación de hipótesis es un paso fundamental en el proceso de análisis de datos, que implica la formulación de preguntas y suposiciones basadas en los patrones y relaciones observadas durante el Análisis Exploratorio de Datos (EDA). 

Este paso es crucial porque guía los análisis posteriores, permitiendo que se realicen pruebas estadísticas más avanzadas y dirigidas. Aunque este paso es más conceptual y no requiere de codificación específica, documentar las hipótesis es esencial para mantener un registro claro del proceso de investigación.

Aquí usamos lo que hemos aprendido de los datos para hacer preguntas más específicas o sugerir posibles explicaciones que podemos probar con análisis más avanzados. Siendo un paso más conceptual no se requiere un código específico, pero podemos documentar nuestras hipótesis e comentarios o en un notebook de Jupyter o Google Colab.

a) Revisar los hallazgos del EDA

Antes de formular hipótesis, es importante revisar exhaustivamente los descubrimientos hechos durante el EDA. Esto incluye las correlaciones identificadas, los patrones en la distribución de variables, los resultados de segmentación y cualquier otro hallazgo relevante. Este repaso asegura que las hipótesis formuladas estén bien fundamentadas en los datos observados.

• Cuándo usarlo: Realiza una revisión de los hallazgos del EDA cuando estés listo para transicionar del análisis exploratorio a la generación de preguntas investigativas que guiarán los análisis posteriores.

• Ejemplo práctico: Si durante el EDA observaste que ciertos grupos de clientes tienden a gastar más en productos específicos, podrías revisar estos hallazgos pra ver si hay patrones de comportamiento que puedan ser investigados más a fondo.

b) Formular preguntas e hipótesis basadas en los patrones observados

Basándote en los patrones y relaciones observadas, se deben formular hipótesis que puedan ser probadas empíricamente. Las hipótesis deben ser específicas y estar orientadas a explicar las relaciones o patrones observados. Por ejemplo, si observaste que existe una alta correlación entre el ingreso y el gasto en ciertos productos, podrías formular la hipótesis de que "los ingresos influyen positivamente en el gasto en productos de lujo".

• Cuándo usarlo: Formula hipótesis cuando hayas identificado un patrón claro o una relación que necesite ser investigada más a fondo para validar su significancia o causalidad.

• Ejemplo práctico: "Los clientes mayores de 50 años gasta más en productos de salud que los clients más jóvenes debido a una mayor preocupación por el bienestar."

c) Planificar análisis estadísticos más profundos

Una vez formuladas las hipótesis, el siguiente paso es planificar los análisis estadísticos necesarios apra probarlas. Esto podría incluir pruebas de hipótesis (como t-tests o ANOVA), regresiones, análisis de varianza, o incluso modelos más complejos como regresiones logísticas o modelos de machine learning. Es fundamental seleccionar el análisis adecuado en función de la naturaleza de los datos y la hipótesis planteada.

• Cuándo usarlo: Utiliza esta planificación cuando estés preparado para validar las hipótesis con técnicas estadísticas o modelos más avanzados. 

• Ejemplo práctico: Si tu hipótesis es que los ingresos influeyen en el gasto en productos de lujo, podrías planificar una regresión lineal para evaluar esta relación y cuantificar el impacto del ingreso en el gasto.

El preprocesamiento de datos es un paso esencial para preparar los datos antes de aplicarlos a un modelo de machine learning. Codificar variables categóricas, normalizar o estandarizar variable numéricas, y realizar selección o ingeniería de características son tareas fundamentales que garantizan que los datos estén en el formato y la escala correctos para maximizar el rendimiento y precisión del modelo. 

El preprocesamiento adecuado mejora la calidad de los modelos, reduce el sesgo y mejora la generalización.

Pasos del preprocesamiento para Modelado:

a) Codificar variables categóricas

Las variables categóricas son aquellas que contienen valores no numéricos (por ejemplo, "rojo", "azul", "verde" para un color). Dado que los algoritmos de machine learning requieren entradas numéricas, es necesario convertir estas variables categóricas en un formato numérico. 

Existen varias técnicas de codificación:

One-Hot Encoding: Convierte cada categoría en una columna binaria (0 o 1). Es útil cuando las categorías no tienen un orden inherente y no deben influir en el modelo por su valor numérico.

Label Encoding: Asigna un número entero a cada categoría. Se utiliza cuando las categorías tienen un orden natural, pero puede introducir una jerarquía no deseada en los datos.

• Cuándo usarlo: Utiliza la codificación de variables categóricas cuando tienes variables no numéricas que necesitas incluir en un modelo de machine learning.

b) Normalizar o estandarizar variables numéricas

Normalización (Min-Max Scaling): Escala las características para que estén en un rango de 0 a 1. Es útil cuando se desea que los datos conserven su forma original pero en una escala más pequeña.

Estandarización (Z-score Scaling): Transforma los datos para que tengan una media de 0 y una desviación estándar de 1. Es útil cuando se requiere que los datos sigan una ditribución normal estándar.

• Cuándo usarlo: Aplica normalización o estandarización cuando las variables numéricas tienen rangos muy diferentes y el algoritmo de machine learning es sensible a las escalas de las características.

El paso final en cualquier análisis de datos es la documentación y resumen de hallazgos. Este proceso es crucial para garantizar la reproducibildiad del análisis y para comunicar lo resultados de manera clara y concisa a otros interasados. 

La documentación también sirve como un registro detallado del proceso analítico, lo que facilita futuras investigaciones y permite que otros repliquen o construyan sobre tu trabajo.

a) Documentar los pasos realizados y las decisiones tomadas

Es importante mantener un registro detallado de cada paso del análisis, incluyendo los métodos utilizados, las transformaciones aplicadas, y las razones detrás de cada decisión tomada. Esto incluye documentar cómo se manejaron los outliers, qué técnicas de preprocesamiento se aplicaron, qué modelos se probaron, y cualquier ajuste realizado durante el análisis. 

La documentación no solo mejora la reproducibilidad, sino que también ayuda a reflexionar sobre el proceso y facilita la identificación de posibles errores o áreas de mejora.

• Cuándo usarlo: Documenta cada paso a lo largo del proceso de análisis para asegurar que todas las acciones y decisiones estén bien registradas y puedan ser revisadas o replicadas en el futuro.

• Ejemplo en práctica: En un Jupyter Notebook o en Google Colab, podrías usar celadas de Markdown para describir cada paso del análisis, incluyendo por qué elegiste eliminar ciertos outliers o por qué seleccionaste una técnica de modelado específica.

b) Resumir los principales hallazgos y conclusiones

Al final del análisis, es esencial resumir los resultados más impotantes y las conclusiones a las que se ha llegado. Esto incluye destacar los patrones identificados, las relaciones significativas entre variables, los segmentos descubiertos a través del clustering, y cualquier resultado relevante del modelado predictivo. El resumen debe ser claro, conciso, y enfocado en los insights que son más relevantes para el objetivo del análisis.

• Cuándo usarlo: Al concluir el análisis, realiza un resumen que capture los puntos clave del estudio para comunicar efectivamente los resultados a otros interesados.

• Ejemplo en práctica: En la sección final de nuestro Jupyter Notebook/Google Colab o informe, incluye un esumen de 2-3 párrafos que describa los hallazgos más importantes y cómo estos pueden influir en decisiones futuras.

La comunicación de resultados es el último, pero crucial, paso en el análisis de datos. Involucra no solo la presentación de los hallazgos, sino también la adaptación del mensaje a la audiencia para asegurar que las conclusiones se entiendan y se actúe en consecuencia. 

A través de visualizaciones efectivas, informes bien estructurados, y una presentacioón adaptada a la audiencia, puedes garantizar que nuestro análisis tenga el impacto deseado y conduzca a decisiones informadas.

a) Preparar visualizaciones claras y concisas

Las visualizaciones son herramientas poderosas para comunicar resultados de manera visual, haciendo que los datos complejos sean más comprensibles. 

Es importante elegir el tipo de gráfico adecuando para los datos que se desean presentar (gráficoas de barras, gráficos de líneas, histogramas, diagramas de dispersión, etc.). 

Además, las visualizaciones deben ser claras, con etiquetas y leyendas adecuadas, y deben enforcarse en resaltar los hallazgos clave sin sobrecargar al espectador con detalles innecesarios.

• Cuándo usarlo: Utiliza visualizaciones cuando necesites resumir grandes cantidades de datos o explicar relaciones complejas de una manera qeu sea fácilmente digerible para  la audiencia.

• Ejemplo en práctica: Si estás presentando tendencias a lo largo del tiempo, un gráfico de lineas bien etiquetado y con un título claro puede comunicar efectivamente lso cambios y patrones en los datos.

b) Elaborar un informe o presentación de los hallazgos clave

Informe o presentación: El siguiente paso es crear un informe escrito o una presentación que resuma los hallazgos clave del análisis. 

Este documento debe estructurarse de manera lógica, comenzando con un resumen ejecutivo que destaque las conclusiones principales, seguido por secciones maś detalladas que expliquen el contexto, los métodos utilizados, los resultados y sus implicaciones. 

En una presentación, es fundamental ser conciso, enfocándose en los puntos más importantes y usando visualizaciones para complementar la narrativa.

• Cuándo usarlo: Prepara un informe o presentación cuando necesites comunicar los resultados a colegas, directivos, o clientes, asegurando que la información esté organizada y sea fácilmente accesible.

• Ejemplo en práctica: Un informe podría incluir secciones como "Resumen Ejecutivo", "Metodología", "Resultados", "Conclusiones", y "Recomendaciones", con gráficos insertados en las secciones relevantes para apoyar los puntos discutidos.

c) Adaptar la presentación a la audiencia objetivo

La forma en que se comunican los resultados debe adaptarse al conocimiento y las expectativas de la audiencia. Para un público técnico, puedes incluir detalles sobre la metodología y los algoritmos utilizados, mientras que para un público no técnico, es mejor enfocarse en las conclusiones y cómo se aplican a decisiones empresariales o problemas específicos. La clave es hacer que la presentación sea relevante y accesible para quienes la recibirán.

• Cuándo usarlo: Adapta la presentación cuando estés comunicando los resultados a diferentes tipos de audiencias, como directivos, equipos técnicos o clientes externos, para asegurarte de que el mensaje sea comprendido correctamente.

• Ejemplo en práctica: En una presentación a ejecutivos, podrías enfocarte en el impacto comercial de los hallazgos, mientras que en una reunión con un equipo técnico, podrías profundizar en los detalles metodológicos y los desafíos encontrados.