Existen diferentes técnicas y metodologías que, según el área de negocio y las necesidades, pueden aplicarse para el análisis de datos en sus diferentes formas; estas se basan tanto en aspectos matemático-estadísticos como visuales. Algunas de ellas existen desde hace mucho tiempo, mientras que otras han tomado el relevo principalmente en la última década gracias a una importante mejora de la tecnología y las herramientas disponibles. Hoy en día no hay ningún ámbito de aplicación en el que no se utilice el análisis de datos día tras día, para proporcionar información significativa y apoyar/guiar al personal de todos los niveles de la empresa para tomar decisiones basadas en datos y hechos. En algunos contextos este análisis ya está consolidado y ha pasado a formar parte de los mecanismos organizativos, mientras que en otros todavía hay aspectos éticos y culturales que deben madurar para que sea plenamente aceptado.
Índice de temas
¿Qué es el análisis de datos?
El análisis de datos es el proceso de examinar, limpiar, transformar y modelar un conjunto de datos con el objetivo de descubrir información útil, extraer conocimientos y tomar decisiones informadas. Implica la aplicación de técnicas y herramientas estadísticas, matemáticas y de visualización para identificar patrones, tendencias y relaciones en conjuntos de datos. El análisis de datos permite revelar insights, responder preguntas y resolver problemas, ayudando a las organizaciones y personas a comprender mejor el mundo que les rodea, optimizar procesos y tomar acciones basadas en evidencia.
Orígenes del análisis de datos
Los primeros indicios de lo que podemos considerar un proceso de análisis de datos surgieron entre los siglos XVIII y XIX, cuando los economistas Charles Joseph Minard y William Playfair emplearon datos sobre la importación-exportación de alimentos del Reino Unido, el algodón en Europa y la campaña de Napoleón en Rusia para crear análisis cuantitativos de comparaciones y visualizaciones de información numérica, respectivamente.
Llegando a tiempos más recientes, el uso de las matemáticas y la estadística, junto con la creciente potencia computacional del hardware, principalmente en la nube, ha contribuido a la difusión de metodologías que pretenden replicar la inteligencia humana para extraer información útil en el análisis de datos. Por lo tanto, podemos decir en general que se aprovechan todos los conocimientos lógicos y tecnológicos para apoyar eficazmente las decisiones futuras y comprender mejor lo que ocurrió en el pasado.
¿Qué es la matriz de análisis de datos?
La matriz de análisis de datos es una herramienta que se utiliza en el proceso de análisis de datos para organizar y estructurar la información de manera visual y sistemática. Consiste en una tabla o cuadrícula donde se colocan los datos relevantes para su posterior evaluación y estudio. En la matriz, las filas representan las variables o elementos que se están analizando, mientras que las columnas representan las diferentes características, atributos o métricas asociadas a dichas variables.
La matriz de análisis de datos permite una visión general de los datos recopilados y facilita la comparación y el examen de las relaciones entre las variables. A través de la matriz, se pueden identificar patrones, tendencias y correlaciones, lo que ayuda a comprender mejor la información y a tomar decisiones fundamentadas.
Además, la matriz de análisis de datos puede incluir cálculos, fórmulas y resúmenes estadísticos para obtener medidas de desempeño, promedios, totales, entre otros. Esto proporciona una forma estructurada y sistemática de analizar y sintetizar la información, lo que facilita la interpretación de datos y la extracción de conclusiones significativas a partir de los mismos.
¿Cómo realizar un análisis de datos? Paso a paso
Hay una multitud de pasos y actividades que, en conjunto, conforman todo el proceso de análisis de datos. Algunas de ellas a veces solo se llevan a cabo parcialmente, mientras que otras son más importantes y requieren más tiempo en algunas técnicas y contextos que en otros; las principales se enumeran a continuación:
1. Recopilación de requisitos
La fase primordial del proceso de análisis de datos no puede separarse de una definición cuidadosa y clara del problema, de la necesidad, del objetivo del propio análisis. Identificar los desiderata y el valor que el análisis debe aportar a la empresa, ayuda a guiar las fases posteriores; cómo elegir las fuentes de datos correctas (o partes de ellas) que debemos considerar, qué debemos medir dentro de este perímetro de información y cómo se comunicarán luego los resultados de forma adecuada. Este primer paso también ayuda a orientar la elección de la mejor metodología y las herramientas a utilizar.
2. Recolección de datos
A partir de lo que resulta de una primera fase de análisis de requisitos, se pasa a la recogida de los datos necesarios para poder satisfacer las necesidades finales, los comportamientos a evaluar y los aspectos a medir. Los datos se recogen de diversas fuentes (BD, ERP, sensores, alimentación de sitios web,…) que contienen información estructurada y no estructurada. A menudo, en este contexto, es necesario emprender acciones técnicas/comerciales para recuperar cierta información que aún no está presente en los sistemas de referencia.
3. Procesamiento de datos
Tras recoger los datos de las fuentes, hay que procesarlos y organizarlos adecuadamente para utilizarlos en el análisis. En este momento, se aplican medidas como la comprobación de la integridad referencial o la conversión de los datos a un formato útil para su posterior procesamiento.
4. Limpieza de datos
Una vez organizados y procesados, los datos pueden estar incompletos, contener duplicados o errores. Para garantizar que los resultados generados por los análisis que se preparan son coherentes y fiables, es importante contar con iniciativas de limpieza de datos que puedan proporcionar un nivel adecuado de calidad de los mismos. A menudo, esta fase, junto con la anterior, es la que más tiempo consume, dada la variedad y el volumen de datos que implican los procesos de análisis.
5. Análisis/Comunicación
Limpiados y organizados, los datos están listos para la fase de análisis propiamente dicha. Dependiendo de las técnicas elegidas, este paso puede abordarse de formas muy diferentes. Sin embargo, lo que tienen en común estas diferentes formas de enfocar el problema es la comunicación hacia las partes interesadas o que han encargado directamente el análisis de los datos en cuestión: la información puede presentarse en diferentes formatos para satisfacer los requisitos iniciales. Para ello, se suelen aplicar diferentes metodologías de visualización de datos que guían la comunicación de los mensajes clave contenidos en la información analizada.
Los usuarios finales, basándose en todo el proceso, pueden decidir tomar las medidas oportunas y aportar comentarios sobre el análisis generado, lo que generará nuevos análisis, dando lugar a un proceso analítico iterativo.
Metodologías y tipos de análisis de datos actuales
Las diferentes técnicas de análisi de datos que pueden utilizarse se dividen generalmente en dos macrogrupos: los análisis cuantitativos y los cualitativos. Los análisis cuantitativos son aquellos en los que la información se expresa numéricamente, puede utilizarse en consecuencia en cálculos de distinta naturaleza y puede representarse visualmente mediante tablas o gráficos. Por lo tanto, proporcionan indicaciones sobre cómo clasificar las posibles causas de los problemas o cuantificar su impacto, pero no nos dicen directamente cómo y qué problema abordar primero. El segundo macrogrupo de análisis responde a las preguntas “cómo, por qué, qué” en forma de texto y ofrece la posibilidad de definir un problema y las acciones para abordarlo.
1. Análisis descriptivo
Entre las metodologías más populares, el análisis descriptivo o estadístico aplica todos los pasos mencionados anteriormente para ofrecer una imagen global de lo que ha ocurrido en la historia de los datos recogidos. Este tipo de análisis proporciona una visión clara de lo que ha sucedido en el pasado, aportando así los elementos necesarios para respaldar las decisiones que suelen basarse en la experiencia del usuario. El siguiente paso en el análisis descriptivo es el llamado análisis de diagnóstico, que proporciona un análisis más profundo de las razones por las que se produjeron los acontecimientos del pasado.
2. Análisis predictivo
Utilizar las observaciones obtenidas para derivar predicciones sobre cómo podría ser el comportamiento futuro es lo que se conoce como metodología de análisis predictivo. La identificación de tendencias, patrones, clusters o relaciones causa-efecto, realizada de manera ingenieril gracias a la aplicación de algoritmos de Machine Learning, asegura que la cantidad de datos disponibles se aproveche al máximo para no dejar las acciones a tomar enteramente a la experiencia del decisor, a su instinto: por lo tanto, proporciona una ayuda válida hacia un verdadero enfoque basado en datos.
Esta metodología no se limita a predecir o describir lo que ha sucedido (o es probable que suceda); también sugiere cuál es el curso de acción y las posibles implicaciones que pueden tener, con el objetivo de generar recomendaciones o decisiones automatizadas. Requiere un perímetro bien definido y algoritmos específicos para proporcionar las indicaciones correctas.
3. Análisis exploratorio
El análisis exploratorio se realiza para descubrir información oculta en los datos y generar hipótesis. Se utilizan técnicas como la minería de datos, visualización interactiva y técnicas estadísticas avanzadas para identificar relaciones y patrones inesperados.
4. Análisis prescriptivo
El análisis prescriptivo utiliza datos históricos, modelos predictivos y reglas de negocio para recomendar acciones o decisiones específicas. Ayuda a optimizar procesos y maximizar resultados al proporcionar recomendaciones basadas en datos y objetivos predefinidos.
4. Análisis de redes
Se enfoca en analizar y comprender las interconexiones y relaciones entre diferentes entidades o elementos. Se utiliza para estudiar redes sociales, redes de transporte, relaciones comerciales, entre otros, y visualizar la estructura y dinámica de las conexiones.
5. Análisis espacial
Este tipo de análisis se centra en la ubicación geográfica de los datos. Se utiliza para entender patrones espaciales, relaciones y tendencias en datos geográficos, como mapas, imágenes satelitales y datos de localización.
Técnicas de procesamiento y análisis de datos
Las metodologías descritas anteriormente pueden aplicarse utilizando diferentes técnicas y tecnologías. Tratando de generalizar, podemos clasificar el análisis de datos en tres técnicas principales (hay que tener en cuenta que al ser el análisis de datos una materia que no tiene límites claros entre los diferentes objetivos que pretende alcanzar, es habitual que determinadas técnicas pretendan satisfacer varias necesidades a través de diferentes metodologías, de forma combinada): Business Intelligence, Data Mining y Data Visualization.
1. Inteligencia empresarial (BI)
Business Intelligence (BI) y Analytics en un sentido más amplio es la principal técnica que se ha utilizado y se utiliza actualmente para el análisis de datos. Se basa en la estructuración de los datos empresariales procedentes de diferentes fuentes y en la definición de un modelo semántico de metadatos en el que se aplican reglas de lógica empresarial y de contexto empresarial para convertir los datos brutos en información real de valor. Los sistemas de BI se han convertido en un producto básico en todas las empresas, en todos los sectores, y permiten el apoyo a la toma de decisiones descriptivas y de diagnóstico dentro de una organización.
La ventaja de estas técnicas es la ya conocida de los sistemas de BI que tienen un fuerte componente de conocimiento y gobierno centralizado, utilizable por todos los niveles de la organización. Por otro lado, la falta de puntualidad en los nuevos desarrollos, la limitación de los conocimientos y los elevados costes de gestión han hecho que a lo largo de los años se hayan evaluado alternativas para el análisis de datos.
1. Minería de datos
El nombre de Minería de Datos se interpreta a veces de forma errónea, ya que el objetivo de esta técnica es la extracción de patrones y conocimientos de los datos y no la extracción de datos en sí. Representa el proceso que combina la estadística, el aprendizaje automático y la tecnología para el descubrimiento automático o semiautomático de patrones, correlaciones, clusters, clasificaciones, perfiles y regresiones de grandes volúmenes de datos. Podemos decir, simplificando, que las técnicas de Minería de Datos son las centrales en las iniciativas modernas de Ciencia de Datos e Inteligencia Artificial, proporcionando la posibilidad de ir más allá de una metodología de análisis meramente descriptiva, aportando conocimiento adicional y apoyando a los analistas de forma aún más precisa, ayudándoles a entender cuál puede ser el comportamiento futuro.
La gran ventaja es ver una verdadera extracción de conocimientos, realmente procesables para aportar valor a la empresa. Sin embargo, las organizaciones no siempre cuentan con las competencias adecuadas a nivel interno para lograrlo: recurrir a figuras externas y formar técnicamente a los empleados no siempre es posible debido a las limitaciones de tiempo y presupuesto.
2. Visualización y exploración de datos
Como corolario de las técnicas mencionadas, hay un mundo de tecnologías que se están haciendo cada vez más populares y que responden a la creciente necesidad de pasar de una cultura centrada en las TI a un enfoque mixto, en el que las figuras empresariales también entran en el proceso de modelización real del análisis de datos; este conjunto de técnicas incluye la visualización de datos, la exploración de datos y el descubrimiento de datos. En estas técnicas, el mayor esfuerzo no está en la fase de procesamiento y modelización de los datos, sino en su interpretación mediante la representación gráfica para poder identificar situaciones anómalas o potenciales oportunidades explotando visualizaciones avanzadas. Este tipo de técnica hace uso de herramientas que se basan en una fuerte predisposición a analizar los datos en modo autoservicio, donde son directamente los profesionales con actitudes más orientadas al proceso y menos técnicas los que aplican sus conocimientos y experiencia para tratar de extraer información útil.
Estas tecnologías se han extendido tanto que algunas ya integran pequeñas funcionalidades derivadas del mundo estadístico, como la integración de líneas de tendencia, la detección de valores atípicos o la agrupación.
Gracias a este tipo de técnicas, no estamos atados al tiempo técnico del departamento de informática, podemos crear un fuerte compromiso empresarial y no dependemos de las competencias técnicas, aprovechando así los conocimientos internos. Por otro lado, estos enfoques, a largo plazo, acaban sufriendo la falta de una “estructura” subyacente para diseñar los resultados obtenidos dentro de la cadena de valor de la empresa y es poco probable que se amplíen a un uso más amplio.
3. Método científico
Esta es una metodología ampliamente utilizada en la investigación científica. Incluye la formulación de una hipótesis, la recopilación de datos relevantes, el análisis de los datos mediante técnicas estadísticas y la interpretación de los resultados para obtener conclusiones.
4. Análisis de series temporales
Esta metodología se utiliza para analizar datos que están organizados en secuencias de tiempo. Se busca identificar patrones, tendencias y estacionalidad en los datos a lo largo del tiempo, lo que puede ayudar en la predicción de futuros eventos.
5. Análisis de regresión
El análisis de regresión es una metodología utilizada para examinar la relación entre una variable dependiente y una o más variables independientes. Se utiliza para comprender cómo las variables independientes afectan o predicen el valor de la variable dependiente. Esta metodología es especialmente útil cuando se busca predecir o estimar valores futuros basados en datos históricos.
El análisis de regresión utiliza modelos matemáticos y estadísticos para establecer una relación entre las variables. El modelo de regresión puede ser lineal o no lineal, dependiendo de la naturaleza de los datos y la relación esperada entre las variables. El objetivo es encontrar una función o ecuación que represente la relación entre las variables de manera adecuada.
Mediante el análisis de regresión, es posible identificar el impacto o la contribución relativa de cada variable independiente en la variable dependiente. Además, se pueden obtener estimaciones de los valores futuros de la variable dependiente en función de los valores conocidos de las variables independientes.
El análisis de regresión es ampliamente utilizado en diversos campos, como la economía, la psicología, la investigación de mercados y la ciencia de datos. Proporciona información valiosa sobre las relaciones y tendencias presentes en los datos, lo que puede ayudar en la toma de decisiones, la planificación y la predicción de resultados futuros
6. Análisis de conglomerados
El análisis de conglomerados, también conocido como análisis de clúster, es una metodología que se utiliza para agrupar objetos o casos similares en categorías o grupos. Su objetivo principal es identificar patrones o estructuras subyacentes en los datos. Se basa en la similitud entre los casos y utiliza técnicas estadísticas para agruparlos de manera eficiente.
El análisis de conglomerados puede ser aplicado en diversos campos, como el marketing, la biología, la genética, la segmentación de clientes, entre otros. Para llevar a cabo este análisis, se utilizan algoritmos que consideran la distancia o similitud entre los objetos en función de sus atributos o características. Los objetos que son más similares entre sí se agrupan en el mismo clúster, mientras que los objetos que son diferentes se agrupan en clústeres separados.
Este enfoque permite descubrir estructuras ocultas en los datos, identificar grupos homogéneos y heterogéneos, y comprender mejor las relaciones y patrones entre los casos. El resultado del análisis de conglomerados es la creación de diferentes grupos o clústeres, lo que puede facilitar la toma de decisiones y la generación de conocimiento a partir de los datos.
7. Análisis de redes sociales
Esta metodología se utiliza para analizar las relaciones y conexiones en una red social. Permite identificar la estructura de la red, los nodos clave y la difusión de información dentro de la red.
Ámbitos de aplicación
Hoy en día, es difícil imaginar contextos en los que no se aplique el análisis de datos, aunque sea de forma no exhaustiva. Desde las pequeñas empresas que quieren controlar su inventario y su tesorería, hasta las grandes organizaciones que quieren ofrecer automáticamente el artículo que mejor se adapte a los gustos de sus usuarios, el análisis de datos se ha convertido en una parte integral de la cadena de valor de las organizaciones, como un proceso que apoya las actividades principales.
Hay infinidad de ejemplos de las distintas técnicas y metodologías descritas; a continuación trataremos de generalizarlas por aplicación, considerando las más interesantes:
Marketing: Las tecnologías y los algoritmos de extracción de datos se han consolidado como un enfoque para dirigirse a los clientes con campañas publicitarias ad hoc. Entre otras muchas, Coca Cola ha emprendido fuertes iniciativas de análisis para apoyar sus operaciones con datos de sus clientes.
Fabricación: la analítica avanzada, gracias a las técnicas de Aprendizaje Automático e Inteligencia Artificial, está impulsando la transición hacia la Industria 4.0, donde el alto nivel de conectividad entre máquinas y componentes puede ayudar a optimizar los procesos de producción y aplicar iniciativas de mantenimiento predictivo para evitar paros y fallos en la producción (normalmente también se requieren componentes prescriptivos y automatizados para sustituir la intervención humana en determinadas situaciones). Bayer y Rold son casos italianos de excelencia en este contexto, tanto que han sido invitados al Foro Económico Mundial en 2019.
Finanzas: este ámbito se presta a diversas aplicaciones, como la explotación del BI descriptivo para proporcionar indicaciones resumidas y significativas de las principales tendencias para comparar el rendimiento de diferentes instrumentos financieros, hasta técnicas más avanzadas para predecir las tendencias del mercado o detectar el fraude con antelación y actuar en consecuencia.
Logística: la analítica también es especialmente eficaz en el apoyo a las operaciones para optimizar el almacenamiento de mercancías entre los centros de distribución centrales y los más pequeños del territorio para reducir los costes de envío. Aplicando algoritmos de asociación de productos para entender qué productos menos populares tienden a ser comprados por los más populares, es posible clasificar mejor los almacenes, en línea con la política de ahorro de costes y mejora de los tiempos de envío. Ni que decir tiene que Amazon está a la vanguardia, entre otros, en lo que respecta al aprovisionamiento “inteligente” de sus centros de distribución.
Ciberseguridad: Luxottica y Enel son sólo las últimas de una larga lista de empresas que han sufrido un ataque de ransomware a sus sistemas de información, con daños potenciales muy elevados. El análisis estadístico avanzado de los datos de la red de la propia empresa (junto con una formación adecuada del personal en esta materia) y la supervisión de los dispositivos que se comunican con el exterior son pasos fundamentales para identificar anomalías y predecir posibles intrusiones.
Gestión de activos: los productos de Business Intelligence, especialmente los visuales, de síntesis y geoespaciales, permiten supervisar el estado y los KPI asociados a los distintos activos (puentes, tuberías, vías, por ejemplo) para organizar los ciclos de mantenimiento y las zonas de intervención. Trenitalia, por ejemplo, ha puesto en marcha su proyecto de gestión dinámica del mantenimiento para gestionar de forma inteligente los trenes y las vías y reducir los costes de explotación.
Los tipos de análisis descriptivos, poco mencionados hasta ahora, deben considerarse sin embargo como el mínimo común denominador entre las diferentes realidades. Aunque no generen nuevos conocimientos, su linealidad y sencillez (en comparación con otras técnicas), han sido el punto de partida para la creación de una cultura de Análisis de Datos en la empresa y siguen siendo las más extendidas y utilizadas incluso en realidades que hacen de la analítica avanzada el principal motor de su negocio.
Propósito del análisis de datos
Desde el momento en que las empresas vieron los flujos de datos y los depósitos de información como un activo estratégico, su análisis se convirtió en una actividad totalmente integrada en el tejido organizativo. A medida que la tecnología ha mejorado y el volumen de datos disponibles ha aumentado, las técnicas y metodologías aplicadas también han evolucionado en consecuencia (y seguirán haciéndolo). Estos, así como las herramientas y los diversos pasos que sustentan el proceso, se fusionan, se cruzan y a veces se retroalimentan en la complejidad y heterogeneidad de la multitud de análisis de datos existentes.
Tanto si se trata de orientar mejor a sus clientes, como de anticiparse a una avería en la cadena de producción, de comprender qué rendimiento de la inversión se ha obtenido con la última campaña de marketing o de evaluar el rendimiento de su fuerza de ventas, el análisis de datos (y la analítica en el sentido más amplio) le ayuda a tomar las decisiones que con mayor probabilidad le permitirán alcanzar los objetivos que se ha fijado, de forma objetiva.
Herramientas para el análisis de datos datos cualitativos
- R and Python
- Microsoft Excel
- Tableau
- RapidMiner
- KNIME
- Power BI
- Apache Spark
- QlikView
- Talend
- Splunk
Análisis de datos e inteligencia artificial
El análisis de datos e inteligencia artificial son dos disciplinas interconectadas que están revolucionando la forma en que las empresas y organizaciones aprovechan la información para tomar decisiones más inteligentes y estratégicas.
La combinación del análisis de datos e inteligencia artificial permite una amplia gama de aplicaciones y beneficios. Primero, el análisis de datos proporciona la materia prima necesaria para alimentar los modelos de inteligencia artificial. Los algoritmos de aprendizaje automático y la inteligencia artificial dependen de datos de alta calidad y bien estructurados para aprender patrones y hacer predicciones precisas. El análisis de datos se encarga de preparar y preprocesar estos datos para que sean utilizables por los algoritmos de inteligencia artificial.
Además, la inteligencia artificial potencia el análisis de datos al permitir el descubrimiento de conocimientos más profundos y sofisticados. Los algoritmos de aprendizaje profundo y las técnicas de inteligencia artificial pueden analizar grandes volúmenes de datos de manera rápida y eficiente, encontrando relaciones complejas y realizando predicciones precisas que pueden ayudar a las organizaciones a tomar decisiones más informadas.
Otro aspecto importante es la automatización de tareas repetitivas y rutinarias. La inteligencia artificial puede realizar tareas de análisis de datos a gran escala de manera automática, liberando tiempo y recursos para que los profesionales se centren en tareas más estratégicas y de mayor valor agregado.
La combinación del análisis de datos e inteligencia artificial también tiene un impacto significativo en sectores como la salud, la seguridad, el marketing y las finanzas. Por ejemplo, en la atención médica, la inteligencia artificial puede analizar grandes cantidades de datos de pacientes para detectar patrones y señalar posibles diagnósticos o tratamientos. En marketing, la inteligencia artificial puede analizar datos de clientes y comportamiento en línea para ofrecer recomendaciones personalizadas y campañas de marketing más efectivas.
Futuro laboral de los expertos en análisis de datos
El Informe sobre el futuro de los trabajos del Foro Económico Mundial 2020 enumeró a los analistas de datos y científicos como el principal trabajo emergente, seguido inmediatamente por los especialistas en inteligencia artificial y aprendizaje automático, y los especialistas en big data.
Artículo publicado originalmente en 07 Sep 2022
