Machine Learning y el Big Data inteligente

Aunque el concepto de Machine Learning lleva existiendo desde los años 50, lo cierto es que todavía hay mucha gente que no tiene claro a qué hace referencias y es habitual que se confunda con el Big Data, como si fuesen lo mismo. Sin embargo, no son dos conceptos sinónimos, aunque sí están muy relacionados. En esta entrada vamos a explicar qué es el Machine Learning, así como su relación con el Big Data.

¿Qué es Machine Learning?

El Machine Learning, también llamado aprendizaje automático, es una técnica de IA (inteligencia artificial) que se encarga de crear algoritmos y programas de ordenador capaces de aprender por sí mismos, a base de recibir grandes volúmenes de datos y analizarlos en busca de patrones que les permitan hacer predicciones y presentar soluciones a problemas.

El Machine Learning además permite que los sistemas mejoren sin ayuda externa, puesto que son capaces de crear sus propios modelos para descubrir tendencias, como puede ser las horas del día cuando más compras online se hacen. Esto lo hacen basando su funcionamiento en un conocimiento previo que orienta su toma de decisiones y respuestas, los grandes volúmenes de datos que obtienen del Big Data.

Aunque el Machine Learning permite crear modelos para poder analizar esas grandes cantidades de datos y funcionan de forma automática, siguen necesitando de un humano para supervisar y guiar su trabajo, como puede ser el Big Data Architect.

Tipos de Machine Learning

En el Machine Learning podemos hablar de la existencia de tres tipos deiferentes:

• Aprendizaje supervisado: en este tipo es necesario suministrar datos previamente etiquetados a la máquina (es decir, datos identificados) para que aprenda a realizar su trabajo, como una suerte de entrenamiento a base de enseñarle datos resueltos de los que va a aprendiendo para resolver esos problemas en el futuro. Son ejemplos los filtros de spam, los sistemas de reconocimiento de voz, etc.
• Aprendizaje no supervisado: Aquí ya no se suministran datos etiquetados, aunque sí se dan ciertas indicaciones previas, para que la máquina comprenda y analice la información suministrada. En este caso, es el propio sistema el que observa las características o comportamientos de los datos en busca de similitudes y patrones.
• Reforzamiento de aprendizaje: En ese caso, la máquina refuerza sus conocimientos a través de procesos de acierto y error, es decir, basa su aprendizaje en la tasa de éxito que obtengan sus resultados para resolver los problemas que se le presentan. Ha dado lugar al denominado Deep Learning o aprendizaje profundo.

Diferencias entre Big Data y Machine Learning

Ya dijimos al comienzo de esta entrada que es habitual confundir como sinónimos Big Data y Machine Learning, pero no son conceptos intercambiables, por lo tanto, ¿en qué diferencian?

Por un lado el Big Data se encargar de extraer y procesar grandes volúmenes de datos muy complejos para poder organizarlos con posterioridad, de manera que puedan consultarse de forma «sencilla» por parte de personas y programas. El Big Data, por tanto, no se ocupa de analizar esos datos, solo de recogerlos, procesarlos y organizarlos.

Por otro lado, los algoritmos de Machine Learning se encargan de realizar análisis inteligentes sobre los datos recopilados en busca de patrones y tendencias que puedan ayudar en las tomas de decisiones. Es decir, el Machine Learning no recoge, ni extrae los datos, sino que recibe estos del Big Data.

De manera que no podemos decir que exista un enfrentamiento de Big Data vs Machine Learning, puesto que ambos trabajan de forma conjunta; el primero se ocupa de las fuentes y la naturaleza de los datos y el segundo de los análisis de esos datos, a través de los cuáles puede aprender. Y es de esta relación de la que surge la figura del Big Data Analyst, es decir, el análisis inteligente de estos grandes volúmenes de datos.

Ejemplos de Machine Learning aplicado al Big Data

Ahora que ya sabemos qué relación hay entre Big Data y Machine Learning, vamos a ver algunos ejemplos del segundo aplicado al primero, puesto que, como ya hemos dicho, ambas técnicas se utilizan actualmente de forma complementaria para extraer información de interés tanto para empresas como para entidades públicas.

Todos estos ejemplos se basan en algún tipo de algoritmo, que es lo que permite ejecutar el modelo de Machine Learning, sea este supervisado, no supervisado de aprendizaje reforzado. Algoritmos hay muchos, en función de aquello para lo que hayan sido creados.

Clasificación de datos

El Machine Learning se puede emplear para clasificar una serie de datos concretos, para lo que se dota de un valor discreto a cada dato, de manera que el sistema puede predecir una clase o categoría en función de un conjunto predeterminado de características a través de un índice probabilístico.

Este tipo de algoritmo es el que se emplea para diferenciar el correo spam del resto emails, por ejemplo.

Clustering

El clustering o agrupación emplea algoritmos para sistemas de aprendizaje no supervisado, puesto que se emplea para crear y descubrir patrones desconocidos hasta el momento. Estos algoritmos pueden descubrir grupos o agrupar determinadas características que se correlacionan entre sí, pero que «a simple vista» no son detectables.

Estos algoritmos realizan búsquedas de grupos dentro de los datos representados por una variable y de manera iterativa asigna cada punto de datos a uno de los grupos representados en la variable, para lo que toma como base las características establecidas como predeterminadas.

Por ejemplo, se emplea para encontrar patrones de comportamiento entre los usuarios de una web o una red social.

Regresiones

El Machine Learning es capaz de hacer predicciones bastante fiables a través del análisis de datos, llevando a cabo estimaciones sobre ellos, de manera que pueda comprender las relaciones existentes entre las variables que se estudian (una de las variables será dependiente, mientras que las otras variables serán independientes).

Las regresiones se utilizan, pues, para predecir los valores que se pueden obtener de un conjunto de datos de entrada, pero cuyo resultado es desconocido. Es habitual usarlo para predecir la probabilidad de que ocurran un evento en concreto, el precio de la vivienda en el futuro o la cotización que puede alcanzar un criptomonedas.

Detección de anomalías

El Machine Learning también se emplea en los procesos de producción para asegurar la calidad de los productos, puesto que a través del análisis de datos es capaz de detectar anomalías, pudiendo predecir, por ejemplo, posibles fallos en una máquina o en la red de suministro de energía.

Frameworks y herramientas Machine Learning para la gestión de grandes cantidades de datos

El desarrollo del Big Data con el Machine Learning ha dado lugar a la aparición de frameworks y herramientas destinadas a la gestión de grandes cantidades de datos, que emplean diferentes tipos de algoritmos de forma rápida para poder resolver los problemas planteados, extraer análisis e información relevante de los datos recogidos.

Algunas de estos frameworks y herramientas de Machine Learning son:

• Machine Learning Studio de Microsoft Azure, que ofrece, entre otras características, la posibilidad de crear modelos de aprendizaje automático de forma sencilla de forma visual, si necesidad de tener grandes conocimientos de lenguaje de programación.
• Google Cloud Machine Learning Engine permite desarrollar proyectos completos de Machine Learning y escalar la preparación de modelos complejos en un entorno sin servidores.
• PyBrain es una librería modular de Machine Learning para Python, que cuenta con diferentes escenarios predefinidos en los que se pueden testear y comparar los algoritmos de Machine Learning creados.
• DataGym es una plataforma de datos de entrenamiento para IA, que cuenta con herramientas de anotación asistida para reducir el esfuerzo de etiquetado manual.

En conclusión, podemos decir que sin el Machine Learning, el Big Data no sería más que una colección enorme de datos, pero de los que no podemos extraer ningún tipo de análisis, correlación o patrones que nos pudieran servir para obtener información relevante y aplicable a los procesos de toma decisiones estratégicas. Es gracias a los algoritmos de Machine Learning que tenemos la capacidad para sacar todo el valor posible a los datos masivos.