Qué es la minería de datos en big data

En el post de hoy vamos a hablar sobre la minería de datos y su relación con el Big Data, son dos términos que está muy relacionados entre sí y tienen fines muy parecidos, pero no exactamente iguales.

Hay muchas definiciones de minería de datos así como profesionales trabajando en este tema y la principal pregunta que todos se formulan es, qué es la minería de datos y para qué la necesitamos?

La Minería de Datos es conocida también como Data Mining o exploración de datos, consiste en el proceso de detectar información que se pueda procesar en conjuntos de grandes cantidades de datos. Es el conjunto de técnicas que se utilizan para la extracción de datos “válidos” dentro de estos conjuntos de grandes cantidades y que se aplican para el posterior análisis de la información estructurada, su exploración y clasificación con el objetivo de realizar una búsqueda de patrones en clave de Big Data.

El uso del Data Mining surge de la necesidad de técnicas y herramientas más potentes para la gestión de grandes cantidades de datos, ya que las existentes hasta el momento se han quedado obsoletas.

Debemos tener clara la diferencia entre Big Data y Data Mining, aunque ambas están relacionadas con la gestión de grandes cantidades de datos tienen finalidades diferentes. Veamos a continuación en que se centra cada una de estas dos herramientas para entender sus diferencias y tener la capacidad de escoger la herramienta más adecuada para cada situación.

El Big Data se centra en analizar los grandes volúmenes de datos que superan la capacidad de los procesamientos informáticos habituales. Su objetivo es el de analizar en el menor tiempo posible y de forma eficaz toda la información. Es por ese motivo que hace uso de software que le permite definir las características a nivel cliente y usuario.

En cambio, la minería de datos o Data Mining analiza los grandes volúmenes de datos. Sintetiza e identifica y agrupa patrones de comportamiento entre los datos. Generalmente los datos que analiza pertenecen a clientes y consumidores. Como ejemplo para el uso de Data Mining, podría aplicarse al caso de necesitar patrones de conducta de clientes, periodos de contratación de un servicio determinado o periodos de compra, fuga a otras compañías, o incluso riesgos de estafas a partir de patrones sospechosos o inusuales.

En resumen, lo comentado anteriormente, significa que Data Mining consiste en el conjunto de técnicas para la extracción de la información y que Big Data es la tecnología capaz de capturar, gestionar y procesar en un tiempo razonable y de forma veraz estos datos

Integración de la minería de datos con Big Data 

Data Mining requiere de Big Data para agilizar su procesamiento y gestión de los datos y, a la vez, Big Data requiere de Data Mining para el análisis predictivo de datos y poder detectar tendencias. Podríamos decir que hay una integración mutua entre técnica y herramienta.

La tecnología Big Data es capaz de capturar, almacenar, gestionar y procesar de forma rápida y veraz grandes cantidades de datos sacándole partido de ellos. Fundamentalmente, se enfoca al análisis predictivo y a detectar tendencias, sirviéndose de distintas técnicas, entre ellas las de minería de datos. A través de la definición de modelos y el uso de las diferentes tecnologías se busca convertir los datos en un activo de gran valor.

Sirviéndonos de esta tecnología conseguimos identificar patrones comunes que pueden servir para encontrar nuevos nichos de mercado, definir características claves sobre los clientes actuales o futuros, generar parámetros, métricas o procesos.

Consiste en una transformación en la forma de hacer negocios, aumentando en muchos casos la rentabilidad y productividad de las compañías.

El Data Mining es versátil y de la misma forma que nos puede servir para realizar un análisis convencional, es un buen recurso para extraer valor del Big Data. La combinación de los dos hace que ambas herramientas tengan aún mayor potencial.

Etapas de la minería de datos

Como hemos explicado la minería de datos es un conjunto de técnicas que se aplican para la extracción de la información. Veamos las etapas de esta técnica:

• Comprensión de lo buscado y del problema a resolver. 
• Determinación, captación y limpieza de los datos necesitados.
• Creación de los modelos matemáticos
• Validación y comunicación de los resultados.
• Integración de los anteriores resultados una vez validados y comunicados

Ejemplos de aplicación de data mining y Big Data

Debido a que Big Data y Data Mining tienen funciones diferentes y, por tanto, se aplican para diferentes contextos, vamos a ver algunos ejemplos de su ámbito de aplicación.