Dataset de Vibraciones: Dimitri Data

Este repositorio contiene datos de vibraciones de alta frecuencia capturados mediante dispositivos IMU para el análisis de modos de falla mecánica. El dataset ha sido procesado para optimizar el entrenamiento de modelos de Machine Learning y la interacción con agentes de IA.

Estructura del Repositorio

• data/: Contiene los archivos originales en formato .csv.
• processed/: Contiene los archivos transformados en formato .parquet (comprimidos y tipados).
• scripts/: Scripts de procesamiento ETL.
• metadata_index.parquet / metadata_index.csv: Índice maestro con metadatos y estadísticas de cada experimento.

Proceso de Transformación (ETL)

Los datos originales en CSV contenían metadatos en comentarios de encabezado. Se ejecutó un proceso ETL (scripts/etl_vibration_data.py) que realizó lo siguiente:

1. Conversión a Parquet: Los datos se migraron de CSV a Parquet para reducir el tamaño en disco y acelerar la lectura por un factor de >10x.
2. Estandarización: Se renombraron las columnas específicas de cada eje (e.g., z_raw, z_m_s2) a nombres genéricos (accel_raw, accel_ms2) para facilitar el procesamiento por lotes.
3. Inyección de Metadatos: El Modo de Falla, Frecuencia y Dispositivo se incluyeron como columnas dentro de cada archivo procesado.
4. Extracción de Features: Se calcularon estadísticas descriptivas para cada experimento (RMS, Kurtosis, Skewness, Peak-to-Peak).

Uso del Índice de Metadatos

El archivo metadata_index.parquet es el punto de entrada recomendado para cualquier análisis. Permite filtrar el dataset completo sin tener que leer todos los archivos individuales.

Columnas Clave en el Índice:

• file_id: Identificador único del experimento.
• device: ID del dispositivo capturador.
• mode: Modo de falla (0 para normal, >0 para fallas específicas).
• freq_hz: Frecuencia de excitación del experimento.
• rms: Valor Root Mean Square de la señal (energía).
• kurtosis: Medida de los picos en la señal (útil para detectar impactos/fallas).

---

Instrucciones para Agentes de IA

Si eres una IA trabajando en este repositorio:

1. No listes la carpeta processed/ completa: Hay cientos de archivos. Usa metadata_index.parquet para encontrar los archivos que necesitas.
2. Filtrado Eficiente: Carga el índice con Pandas o Polars y filtra por mode o freq_hz.
3. Carga de Datos: Usa la columna path del índice para obtener la ruta relativa al archivo Parquet que deseas analizar.

Ejemplo de consulta rápida (Python):

import pandas as pd
index = pd.read_parquet('metadata_index.parquet')
# Buscar experimentos de falla modo 6 con alta energía
falla_6_alta_energia = index[(index['mode'] == 6) & (index['rms'] > 5.0)]