Forem: juanMoyano100

Comparación entre aprendizaje no supervisado y supervisado.

juanMoyano100 — Thu, 22 Oct 2020 17:01:49 +0000

Se ha realizado una comparación entre el aprendizaje no supervisado y el supervisado aplicado al mismo problema, en este caso, clasificar vinos en distintas categorías mediante los atributos obtenidos en un análisis químico. Gracias a que es un problema de reconocimiento de patrones se utilizan redes neuronales. Para aprendizaje supervisado se utiliza el modelo de perceptrón multicapa o Multi-layer Perceptron (MLP) y para el aprendizaje no supervisado se utiliza un mapa autoorganizado o Self-Organizing MapsM (SOM), al final se realiza una comparación de los resultados.

Introducción

El razonamiento cognitivo en una computadora convencional puede resolver problemas mapeando, algunos ejemplos de estos podrían ser: el reconocimiento de patrones, la clasificación, el pronóstico, entre otros. Las redes neuronales artificiales proporcionan este tipo de modelos. Entre estos, gran parte del esfuerzo de investigación en redes neuronales se ha centrado en la clasificación de patrones. Las redes neuronales artificiales realizan tareas de clasificación de forma obvia y eficiente debido a su diseño estructural y sus métodos de aprendizaje.

No existe un algoritmo único para diseñar y entrenar modelos de redes neuronales porque, el algoritmo de aprendizaje difiere entre sí en su capacidad de aprendizaje y grado de inferencia. Por lo tanto, en esta ocasión, se trata de evaluar las reglas de aprendizaje supervisadas y no supervisadas y su eficiencia de clasificación utilizando ejemplos específicos.
Para el aprendizaje supervisado se utilizará el MultiLayer Perceptron (MLP), y para el no supervisado de utilizaran Self-Organization Maps (SOM).

Desarrollo

Este ejemplo ilustra cómo una red neuronal supervisada y no supervisada de reconocimiento de patrones puede clasificar los vinos por bodega en función de sus características químicas.

Información del Dataset

El dataset a usar fue obtenido de UCI Machine Learning Repository. Según el repositorio, estos datos son el resultado de un análisis químico de vinos cultivados en la misma región en Italia, pero derivados de tres variedades diferentes. El análisis determinó las cantidades de 13 componentes encontrados en cada uno de los tres tipos de vinos. El primer atributo es el identificador de clase (1–3). El problema planteado consiste en clasificar los vinos.

Se intenta construir una red neuronal que pueda clasificar los vinos por trece atributos:

Alcohol
Ácido málico
Ceniza
Alcalinidad de cenizas
Magnesio
Fenoles totales
Flavonoides
Fenoles no flavonoides
Proantocianidinas
Intensidad de color
Matiz
OD280 / OD315 de vinos diluidos
Prolina

Este es un ejemplo de un problema de reconocimiento de patrones, donde las entradas están asociadas con diferentes clases, y se quiere crear una red neuronal que no solo clasifique los vinos conocidos correctamente, sino que pueda generalizar para clasificar con precisión los vinos que no se utilizaron para diseñar la solución.

Hay tres "categorías" de vino diferentes y el objetivo será clasificar un vino sin etiquetar de acuerdo con sus características, como el contenido de alcohol, el sabor, el matiz, etc.

Modelo

Las redes neuronales son muy buenas en problemas de reconocimiento de patrones. Una red neuronal con suficientes elementos (llamados neuronas) puede clasificar cualquier información con precisión arbitraria. Son particularmente adecuados para problemas complejos de límites de decisión sobre muchas variables. Por lo tanto, las redes neuronales son un buen candidato para resolver el problema de clasificación del vino.

Los trece atributos de vecindad actuarán como entradas a una red neuronal, y el objetivo respectivo para cada uno será un vector de clase de 3 elementos con un número en la posición de la bodega asociada, # 1, # 2 o # 3.

La red se diseñará utilizando los atributos de los vecindarios para entrenar a la red para producir las clases objetivo correctas.

Aprendizaje supervisado

El aprendizaje supervisado se basa en entrenar una muestra de datos de la fuente de datos con la clasificación correcta ya asignada. Para este ejemplo se utilizará MultiLayer Perceptron (MLP). Por lo tanto, se debe conocer que tres distintivos característicos:

Una o más capas de neuronas ocultas que no forman parte de las capas de entrada o salida de la red que permiten a la red aprender y resolver problemas complejos.
La no linealidad reflejada en la actividad neuronal es diferenciable y,
El modelo de interconexión de la red presenta un alto grado de conectividad.

El algoritmo de aprendizaje de corrección de errores entrena la red en base a las muestras de entrada-salida y encuentra la señal de error.

El paradigma de aprendizaje supervisado es eficiente y encuentra soluciones a varios problemas lineales y no lineales, tales como clasificación, control de plantas, pronóstico, predicción, robótica, etc.

Aprendizaje no supervisado

Las redes neuronales autoorganizadas aprenden utilizando un algoritmo de aprendizaje no supervisado para identificar patrones ocultos en datos de entrada no etiquetados. Esto sin supervisión se refiere a la capacidad de aprender y organizar información sin proporcionar una señal de error para evaluar la solución potencial.

Las características principales de los Mapas autoorganizados (SOM) son:

Transforma un patrón de señal entrante de dimensiones arbitrarias en un mapa bidimensional y realizar esta transformación de forma adaptativa.
La red representa la estructura de avance con una sola capa computacional que consiste en neuronas dispuestas en filas y columnas.
En cada etapa de representación, cada señal de entrada se mantiene en su contexto adecuado y,
Las neuronas que tratan con piezas de información estrechamente relacionadas están juntas y se comunican a través de conexiones sinápticas.

El algoritmo no supervisado en SOM funciona en tres fases: Fase de competencia, fase cooperativa y fase adaptativa.

El modelo autoorganizado representa naturalmente el comportamiento neurobiológico y, por lo tanto, se utiliza en muchas aplicaciones del mundo real, como la agrupación, el reconocimiento de voz, la segmentación de texturas, la codificación de vectores, etc.

Comparación entre aprendizaje supervisado y no supervisado.

Tabla 1. Comparación entre aprendizaje supervisado y no supervisado.

Como se puede ver en la tabla 1, existen semejanzas y diferencias entre estos dos aprendizajes, por ejemplo, en el aprendizaje supervisado, el "supervisor" actúa como una guía para enseñarle al algoritmo qué conclusiones o predicciones debería llegar.

En el aprendizaje no supervisado, no hay una respuesta correcta, no hay un maestro, los algoritmos se dejan solos.

El modelo de aprendizaje supervisado utilizará los datos de capacitación para aprender un vínculo entre la entrada y las salidas. El aprendizaje no supervisado no utiliza datos de salida. En el aprendizaje no supervisado, no habrá ningún conocimiento previo etiquetado, mientras que en el aprendizaje supervisado tendrá acceso a las etiquetas y tendrá conocimiento previo sobre los conjuntos de datos. La idea del aprendizaje supervisado es que la capacitación se pueda generalizar y que el modelo se pueda utilizar en nuevos datos con cierta precisión.

EXPERIMENTACIÓN

Se utiliza la plataforma de Orange para realizar el las redes neuronales de aprendizaje supervisado y no supervisado.

Se puede observar que todos los atributos del dataset son numéricos, (o así lo interpreta Orange), para este caso se puede cambiar el atributo "Class" a Categorical, para así poder clasificar los vinos por su categoría. Cabe recalcar que aun, en numéricos también funcionan los modelos planteados.
Figura 1. Atributos del dataset.Aprendizaje supervisado (MLP).

Como se puede observar en la figura 1, todos los atributos están colocados como feature, los cuales serán los pesos o entradas, para los modelos. Para el caso del aprendizaje no supervisado, es necesario una variable objetivo, posteriormente se elegirá a el atributo "Class label" como variable objetivo.
Figura 2. Modelo utilizado para aprendizaje supervisado.

Para realizar las predicciones se utilizó el perceptrón multicapa representado como "Neutral Network" en la figura 2. Posteriormente, se realizaron las respectivas representaciones y evaluaciones de las predicciones.
Figura 3. Predicciones modelo MLP

En la figura 3, se pueden observar los valores predichos por la red neuronal, y se puede verificar que los valores en la mayoría de los casos son similares a los valores de la variable objetivo. Esto se debe a que el modelo tiene los siguientes parámetros obtenidos en la evaluación.
Figura 4. Resultados de evaluación modelo MLP.

En la figura 4, se muestran los valores obtenidos en la evaluación, cada uno representa lo siguiente:

El área bajo ROC(AUC) es el área bajo la curva de operación del receptor.
La precisión de clasificación es la proporción de ejemplos correctamente clasificados.
F-1 es una media armónica ponderada de precisión y recuperación.
La precisión es la proporción de verdaderos positivos entre las instancias clasificadas como positivas, p.
La recuperación es la proporción de verdaderos positivos entre todas las instancias positivas en los datos, p.

Y por último en la figura 5, se representa la matriz de confusión obtenida de los valores que el modelo predijo con respecto a los ingresados como datos de entrada y la variable objetivo.
Figura 5. Matriz de confusión.

Se puede observar que todos los valores fueron clasificados correctamente, esto quiere decir que el modelo planteado funciona correctamente y los valores, esto quiere decir que se ha generado un modelo para predecir el tipo de vino dependiendo de sus atributos químicos, es decir, si se ingresara un nuevo conjunto de datos diferente a los ya ingresados se puede hacer una predicción del tipo de vino.

Aprendizaje no supervisado (SOM)

Gracias a Orange el proceso para realizar este modelo es bastante sencillo, solo basta con unir los datos con el mapa auto organizado y Orange se encarga del resto como se muestra en la figura 6.
Figura 6. Modelo utilizado aprendizaje no supervisado.

Todo lo utilizado en el modelo anteriormente mencionado, es necesario para representar gráficamente los datos y revisar que valores son los que a obtenido con el aprendizaje.
Figura 7. Mapa auto organizado completo.

En la figura anterior, se ven representadas las categorías por un color, al momento de ingresar los datos, solo se enviaron los datos de entrada, mas no la función objetivo, al final de todas las variables enviadas, se puede seleccionar una para representarla en el mapa, y en este caso se seleccionó la clase para poder comparar con el modelo utilizado anteriormente.
Figura 8. Selección de categorías por grupo.

Para poder verificar que los valores generados con los mapas autoorganizados son correctos, seleccionamos manualmente por grupos para posteriormente compararlos con los que se muestran en los de entrada en el atributo "Class".
Figura 9. Predicciones modelo SOM.

Se puede confirmar que en su gran mayoría los datos clasificados por el mapa autoorganizado son los mismos o bastante parecidos.

A continuación, se comprarán gráficamente los resultados de los datos ingresados, los obtenidos por el aprendizaje supervisado y por el no supervisado.
Figura 10. Grafica atributo de clasificación (a) Datos "Class label" (b)MLP (c)SOM

En la figura 10a están representados por colores los valores de clasificación, estos son los mismos que se utilizarán como variable objetivo en el aprendizaje supervisado MLP, para realizar las predicciones.

Al realizar las predicciones se clasificaron de manera similar como se puede observar en la figura 10b, en la cual están graficados los valores predichos por el modelo multicapa, se puede apreciar que la tendencia grafica es prácticamente la misma, con unas pequeñas variaciones, y por último en la figura 10c, en la cual se representan los grupos generados por el mapa autoorganizado, donde también se puede apreciar la misma tendencia de los grupos con respecto a la variable de clasificación.

CONCLUSIONES

La elección de utilizar un algoritmo de aprendizaje automático supervisado o no supervisado generalmente depende de factores relacionados con la estructura y el volumen de sus datos y el caso de uso. En realidad, la mayoría de las veces, los científicos de datos utilizan juntos los enfoques de Aprendizaje supervisado y Aprendizaje no supervisado para resolver el caso de uso.

Para el correcto funcionamiento de los dos modelos es necesario un buen planteamiento, debido a que, gracias a esto, se podría realizar el aprendizaje de cualquier tipo de problema que se desee. En ambos casos el resultado fue similar, lo que quiere decir que, simplemente depende de como se plantee el problema, cabe recalcar que no todos los problemas van a ser adaptables al igual que este ejemplo, en algunos casos será mas eficaz aplicar un supervisado y en otros el aprendizaje no supervisado.

General approach to cloud computing

juanMoyano100 — Tue, 31 Mar 2020 22:10:47 +0000

Lately, the term cloud computing has become popular in the computing community, especially when it comes to distributed systems. It can generally be defined as a paradigm that provides the ability to offer computational services (usually on demand) over a network. Providers and analysts have defined cloud computing as an enhanced/updated version of virtual servers available over the Internet.

Some of the most popular cloud service providers are Microsoft Azure, Google Cloud Services, Amazon Web Services (AWS), Salesforce CRM system, and so on. All are examples of "public cloud" and offer the ability to run functionality remotely, i.e. all processing will be done in the infrastructure of commercial vendors.
There are two models by which services, service model, and deployment model are offered. The following is detailed;

Cloud service model

Software as a Service

In this service model, providers offer a single application hosted in the provider's infrastructure to thousands of users, who can access through a web browser regardless of the operating system. The user usually has no control over the software, but in some cases there is the possibility to configure certain features. In most SaaS software is licensed per subscription.

In addition, the vendor manages the infrastructure where the system is hosted, provides maintenance, security, and also handles hardware and software support costs. The most popular SaaS apps can be found in Google Apps (Gmail, Google Drive), Microsoft Office 365 for Office Tools, and Salesforce Sales Cloud for customer relationship management.

Infrastructure as a Service

Also known as Hardware as a Service (HaaS), it involves delivering virtualized architecture and infrastructure services over the network. In this model, the customer can install and configure their software without worrying about infrastructure maintenance. It is the most basic form of cloud service.

Providers offer pay-as-you-go processing and storage services, so in a work environment where high performance is required on a large system, it's very useful. HaaS providers include Amazon Web Services: EC2 (Elastic Cloud Computing), Cisco Metapod, Microsoft Azure, Google Compute Engine, Heroku, DigitalOcean, and Rackspace.

Plataform as a Service

This model provides the user with a development platform with tools with which they can deploy and control their own applications, but the infrastructure cannot be controlled. It is specifically targeted for developers, as these platforms allow you to control shared processes and APIs to accelerate development and testing. In addition, they can be specialized in any particular area, such as content management.

PaaS services allow great flexibility, but can be restricted or limited by the capabilities available through the provider. Microsoft Azure, Microsoft's platform, allows the user to develop applications in various programming languages; Heroku and Salesforce Force.com are popular offerings for CRM integration; Google App Engine, to develop software from Google's own infrastructure.

Cloud deployment model

Public cloud

In this type of cloud, data and processes are managed by third-party vendors in a publicly accessible cloud. Everything stored by different clients is running on the same server, storage systems or infrastructure; but it's transparent to all users who contain apps in the same cloud.

One of the main advantages of public clouds is the cost that you can have using one, because they are mostly free to some extent, and are subsequently paid depending on the use you have of it, so they are scalable.

Its main disadvantage is that the data is not entirely secure as it could be in a private cloud, however, the implementation has been improved so it can become as secure as a private cloud

Private Nuble

As its name says a private cloud offers it services over a private network, where access can be limited. If high data protection is required it is an excellent option, because they offer a higher level of security and privacy, thanks to the accommodation being done locally, the data and processes are inaccessible to other providers.

Its main advantage is that it provides the possibility to maintain the privacy of the information and can unify access to the applications. On the other hand, one of its main disadvantages is the cost of cloud management.

Hybrid cloud

You can combine public and private cloud models to create a hybrid cloud to take advantage of both models. A user can own some parts and others share them in a controlled way, allowing IT services to be scaled through external providers, on demand.

This model is more flexible because of its public cloud scalability feature and offers greater control over critical private cloud workloads, saving costs because you pay only for what you use. In addition, hybrid cloud management relies heavily on the services the provider offers, such as public cloud provider security and infrastructure support (if not supported, it can incur extra costs).

Final reflection

Today, cloud computing is a trend in the tech world, due to the impact it has to generate profits for users and businesses. We can also say that cloud computing will be the future of our society. This concept will allow to generate new applications in the field of Artificial Intelligence, Business Intelligence for decision-making within a company, for industrial processes, in the educational field, among others.

Enfoque general de la computación en la nube

juanMoyano100 — Tue, 31 Mar 2020 21:33:40 +0000

Últimamente, el término computación en la nube se ha hecho popular en la comunidad informática, especialmente cuando se habla de sistemas distribuidos. De manera general se puede definir como un paradigma que brinda la posibilidad de ofrecer servicios computacionales (generalmente bajo demanda) por medio de una red. Proveedores y analistas han definido la computación en la nube como una versión mejorada/actualizada de servidores virtuales disponibles por internet.
Algunos de los proveedores más populares de servicios en la nube son Microsoft Azure, Google Cloud Services, Amazon Web Services (AWS), el sistema CRM de Salesforce, etc. Todos son ejemplos de "nube pública" y ofrecen la posibilidad de ejecutar funcionalidades de forma remota, es decir, todo el procesamiento se hará en la infraestructura de los proveedores comerciales.
Existen dos modelos por los cuales se ofrece servicios, modelo de servicio y modelo de implementación. A continuación se detalla;

Modelo de servicio en la nube

Software as a Service
En este modelo de servicio, los proveedores ofrecen una sola aplicación alojada en la infraestructura del proveedor a miles de usuarios, los cuales pueden acceder a través de un navegador web sin importar el sistema operativo. El usuario generalmente no tiene control del software, pero en algunos casos existe la posibilidad de configurar ciertas características. En la mayoría de SaaS el software se licencia por suscripción.

Además, el proveedor administra la infraestructura en donde se aloja el sistema, le brinda mantenimiento, seguridad y además se encarga de los costos de soporte tanto de hardware como de software. Las aplicaciones SaaS más populares se pueden encontrar en Google Apps (Gmail, Google Drive), Office 365 de Microsoft para herramientas Office y Sales Cloud de Salesforce para administración de relación con el cliente.

Infrastructure as a Service
También es conocido como Hardware as a service (HaaS), consiste en entregar servicios virtualizados de arquitectura e infraestructura a través de la red. En este modelo, el cliente puede instalar y configurar su software sin preocuparse por el mantenimiento de la infraestructura. Es la forma más básica de servicio en la nube.

Los proveedores ofrecen servicios de procesamiento y almacenamiento en función de pago por uso, por lo que en un entorno de trabajo donde se requiera alto rendimiento en un sistema amplio es muy útil. Algunos proveedores de HaaS son Amazon Web Services: EC2 (Elastic Cloud Computing), Cisco Metapod, Microsoft Azure, Google Compute Engine, Heroku, DigitalOcean y Rackspace.

Plataform as a Service
Este modelo le proporciona al usuario una plataforma de desarrollo con herramientas con las cuales se pueden implementar propias aplicaciones y controlar la misma, pero no se puede controlar la infraestructura. Está dirigida específicamente para desarrolladores, ya que estas plataformas permiten controlar procesos y APIs compartidos para acelerar el desarrollo y las pruebas. Además, pueden estar especializadas en cualquier área en particular, tal como la administración del contenido.

Los servicios PaaS permiten gran flexibilidad, pero puede ser restringida o limitantes por las capacidades disponibles a través del proveedor. Microsoft Azure, plataforma de Microsoft, le permite al usuario desarrollar aplicaciones en varios lenguajes de programación; Heroku y Force.com de Salesforce son ofertas populares para integración CRM; Google App Engine, para desarrollar software de la propia infraestructura de Google.

Modelo de implementación en la nube

Nube pública
En este tipo de nube los datos y procesos son gestionados por proveedores externos en una nube de acceso público. Todo lo almacenado por distintos clientes se encuentra corriendo en el mismo servidor, sistemas de almacenamiento o infraestructura; pero es transparente para todos los usuarios que contengan aplicaciones en la misma nube.

Una de las ventajas principales de las nubles públicas es el costo que puede tener utilizar una, debido a que en su mayoría son gratuitas hasta cierto punto, y posteriormente se paga desentendiendo del uso que se tenga de la misma, por lo que son escalables.

Su principal desventaja es que los datos no están del todo seguro como podrían estar en una nube privada, sin embargo, se ha mejorado la implementación por lo que puede llegar a ser tan segura como una nube privada

Nuble privada
Como su nombre lo dice una nube privada ofrece servicios informáticos a través de una red privada, en donde se puede limitar el acceso. Si se requiere alta protección de datos es una excelente opción, debido a que, ofrecen un mayor nivel de seguridad y privacidad, gracias a que el alojamiento se hace a nivel local, los datos y procesos son inaccesibles para otros proveedores.

Su ventaja principal es que brinda la posibilidad mantener la privacidad de la información y se puede unificar el acceso a las aplicaciones. Por otro lado, una de sus desventajas principales es el costo de la administración de la nube.

Nube hibrida
Se pueden combinar los modelos de nubes públicas y privadas para crear una nube hibrida, para aprovechar las ventajas que ofrecen ambos modelos. Un usuario puede ser propietario de unas partes y otras las comparte de una manera controlada, lo que permite escalar los servicios informáticos mediante proveedores externos, bajo demanda.

Este modelo es más flexible por su característica de escalabilidad en nube pública y ofrece mayor control de cargas de trabajo críticas en nube privada, se ahorran costes, debido a que se paga solo por lo utilizado. Además, la administración de la nube híbrida depende bastante de los servicios que el proveedor ofrece, tal como la seguridad del proveedor de la nube pública y la compatibilidad entre las infraestructuras (si no son compatibles puede generar costos extras).

Reflexión final

En la actualidad, la computación en la nube es tendencia en el mundo tecnológico, debido al impacto que tiene al generar beneficios para usuarios y empresas. Asimismo, podemos afirmar que la computación en la nube será el futuro de nuestra sociedad. Este concepto permitirá generar nuevas aplicaciones en el ámbito de la Inteligencia Artificial, Inteligencia de Negocios para la toma de decisiones dentro de una empresa, para procesos industriales, en el ámbito educativo, entre otros más.