Forem: AWS UG ML Latam

Modelos sobreajustados (overfitting), desajustados (underfitting) y generalizados

Max Zeballos — Thu, 29 Sep 2022 14:11:28 +0000

Motivación

El objetivo principal de un modelo es lograr el resultado correcto para la mayor cantidad de datos nuevos. En el presente post se pretende explicar algunos detalles a tener en cuenta para lograrlo

Introducción

Despues que un modelo a sido entrenado, se desea que pueda predecir la mejor respuesta para la mayor cantidad de datos. Lograr este resultado puede ser complicado dependiendo del conjunto de datos que utilicemos para entrenar el modelo.

Modelo desajustado (underfitting)

Un modelo se encuentra desajustado cuando es demasiado simple y no se puede adaptar a la complejidad del conjunto de datos de entrenamiento.

Para resolver el problema podemos:

Incrementar la complejidad del modelo
Entrenar el modelo por un periodo mas largo de tiempo, (incrementar las épocas) para reducir el error

Modelo sobreajustado (overfitting)

Un modelo se encuentra sobreajustado cuando memoriza detalles específicos de la data de entrenamiento y no logra generalizar sus predicciones.

Los modelos sobreajustados funcionan bien con el conjunto de datos de entrenamiento, pero falla con datos nuevos (datos de prueba)

Generalizado

Un modelo que realiza buenas predicciones durante el entrenamiento y las pruebas (conjuntos de datos que no ha visto antes) es considerado un buen modelo.

El objetivo es lograr modelos generalizados.

¿Como prevenir el sobreajustamiento (overfitting)?

1.- Realizar para temprana (early stopping)

Deje de entrenar el modelo cuando observe que la pérdida de validación (validation loss) aumenta mientras que la pérdida de entrenamiento (training loss) disminuye.

2.- Hacer regularizacion

La regularización mejora la capacidad de generalización del modelo. Por ejemplo utilizar Regularizacion L1 (Lasso regression) o Regularizacion L2 (Ridge regression).

3.- Agregar mas conjuntos de datos

Si incrementa el conjunto de datos de entreamiento el modelo podria generalizar mejor

4.- Realizar seleccion de caracteristicas

Eliminar las caracteristicas de poco interes podria mejorar la capacidad de generalizacion del modelo

5.- Utilizar boosting y bagging (ensemble learning)

Al combinar la votación de muchos modelos diferentes a través de bagging y boosting, mejorará la generalización del modelo.

6.- Agregar mas ruido

Agregar ruido podría permitir que el modelo generalice mejor

7.- Usar la tecnica de expulsion (dropout technique)

En el entrenamiento de redes neuronales artificiales, la eliminación de algunas neuronas mediante la técnica Dropout mejora la capacidad de generalización de las redes.

Conclusión

La generalización es la característica mas importante a lograr en nuestro modelo, para lograrlo también es muy importante la cantidad y calidad de nuestros.

Evaluación de rendimiento de un modelo de machine learning

Max Zeballos — Fri, 08 Jul 2022 17:06:06 +0000

Motivación

Es importante evaluar un modelo para determinar el rendimiento de sus predicciones en nuevos datos. Dado que las futuras predicciones retornaran un valor aun desconocido, se debe evaluar con métricas el rendimiento de un modelo en un conjunto de datos de los cuales conocemos la respuesta. Utilizaremos esta evaluación de rendimiento para decidir si el modelo es enviado o no a un ambiente de producción.

Introducción

Una herramienta muy útil para realizar la evaluación de rendimiento de un modelo es la matris de confusión, que presentare a continuación.

Ahora vamos describir el significado de cada cuadrante dentro de la matris:

True positives (TP): Es el caso en el que el clasificador predijo verdadero y es la respuesta correcta (Por ejemplo predecir que un paciente tiene una enfermedad)
True negatives (TN): Es el caso en el que el clasificador predijo falso y es la respuesta correcta (Por ejemplo predecir que un paciente no tiene una enfermedad)
False positives (FP) (Type I error): Es el caso en el que el clasificador predijo verdadero, pero no es la respuesta correcta (El paciente no tiene la enfermedad)
False negatives (FN) (Type II error): Es el caso en el que el clasificador predijo como falso, pero no es la respuesta correcta (El paciente tiene la enfermedad)

En los casos revisados con anterioridad el error Tipo II es el mas grave. El paciente puede creer que esta sano cuando realmente no lo esta y no tomara ninguna acción respectiva. En el caso del error Tipo I el paciente se someterá a mas exámenes y descubrirá que la predicción del modelo fue un error y que realmente esta sano.

Indicadores clave de rendimiento (KPI)

Exactitud (Accuracy): (TP + TN) / (TP + TN + FP + FN)
Taza de error (Misclassification rate): (FP + FN) / (TP + TN + FP + FN)
Precisión: TP/ (TP+FP) (Cuando el modelo predice Verdadero, ¿Con que frecuencia lo hace bien?)
Exhaustividad (Recall): TP/ (TP+FN) (Cuando la predicción fue realmente verdadera ¿Con que frecuencia el clasificador acertó? )

Precisión vs Exhaustividad (Recall):

Ahora vamos a ver un ejemplo para entender el objetivo de precisión y exhaustividad:

Información del dataset a evaluar:

100 es el total de pacientes
91 pacientes están sanos
9 pacientes tienen cáncer

Despues de entrenar nuestro modelo y hacer predicciones con el dataset de prueba, construimos la siguiente matris de confusión.

Esto significa que:

TP: El modelo predijo correctamente que 1 persona esta enferma
TN: El modelo predijo correctamente que 90 personas no están enfermas
FP: El modelo predijo incorrectamente que 1 persona esta enferma
FN: El modelo predijo incorrectamente que 8 personas están sanas

Ahora vamos a calcular las métricas:

Exactitud = (TP+TN) / (TP + TN + FP + FN) = (1 + 90) / (1 + 1 + 8 + 90 ) = 0.91 -> 91%
Presicion = TP / (TP + FP) = 1 / (1 + 1) = 0.5 -> 50%
Exhaustividad = = TP / (TP + FN) = 1 / (1 + 8) = 1/9 -> 11%

De las métricas de rendimiento extraemos que:

La exactitud es generalmente engañosa y no es suficiente para evaluar el rendimiento de un clasificador.
La exhaustividad (recall) es un KPI importante en situaciones en las que:
- El conjunto de datos está muy desequilibrado; casos en los que los pacientes con cáncer son mucho menor a comparación con los pacientes sanos.

Precisión

En el ejemplo tenemos: TP / (TP + FP) = 1 / (1 + 1) = 50%

La precisión es una medida de Positivos Correctos, en el ejemplo, el modelo predijo que dos pacientes eran positivos (tiene cáncer), pero sólo uno de los dos era correcto.
La precisión es una métrica importante cuando los falsos positivos son importantes (cuántas veces un modelo dice que hay algo cuando realmente no hay nada alli)

Exhaustividad (Recall)

En el ejemplo tenemos: TP / (TP + FN) = 1 / (1 + 8) = 11%

La exhaustividad también se denomina tasa de verdaderos positivos o sensibilidad.
En este ejemplo, se tuvo 9 pacientes con cáncer pero el modelo solo detectó 1 de ellos
Esta métrica es importante cuando nos preocupamos por los falsos negativos
Otro buen ejemplo del uso de la métrica seria la detección de fraudes

F1 SCORE

F1 Score = (2 * (presicion * recall) ) / (presicion + recall)

o también

F1 Score = (2 * TP) / (2 * TP + FP + FN)

F1 Score es una medida general de la precisión de un modelo que combina precisión y exhaustividad(recall). Es la media armónica de precisión y exhaustividad.

¿Cuál es la diferencia entre F1 Score y exactitud?

En conjuntos de datos desequilibrados, si tenemos una gran cantidad de verdaderos negativos (pacientes sanos), la exactitud podría ser engañosa. Por lo tanto, la puntuación F1 podría ser un mejor KPI para usar, ya que proporciona un equilibrio entre exhaustividad (Recall) y precisión en presencia de conjuntos de datos desequilibrados.

Conclusión

Todas estas métricas de rendimientos nos ayudaran a determinar que tan bueno es el trabajo de nuestro modelo. Es importante entender los resultados del modelo para saber si podemos enviarlo a un ambiente productivo o iterar con un nuevo conjunto de datos o usar otro algoritmo de entrenamiento.

Acelera tu carrera en AWS

Max Zeballos — Wed, 06 Jul 2022 19:27:35 +0000

Motivación

Las oportunidades para trabajar en cloud computing son cada vez mayores, así como rentables. Las ofertas laborales se ven incrementadas día a día y en muchos países no se puede cubrir las vacantes disponibles. En este post te voy a compartir algunos recursos para empezar tu carrera sobre AWS y llevarla al siguiente nivel.

Introducción

Actualmente AWS es la empresa mas grande en cloud computing, posee la mayor cantidad de servicios a comparacion de otros proveedores de nube, esto permite resolver una amplia gama de problemas de manera sencilla y rápida.

En AWS existen varias certificaciones que se alinean a diferentes lineas de carrera dentro de la industria. Teniendo las siguientes certificaciones:

Cloud Practitioner (Nivel: FOUNDATIONAL)
Solution architect (Nivel: ASSOCIATE)
Developer (Nivel: ASSOCIATE)
Sysops administrator (Nivel: ASSOCIATE)
Solution architect (Nivel: PROFESSIONAL)
DevOps engineer (Nivel: PROFESSIONAL)
Advanced networking (Nivel: SPECIALTY)
Data analytics (Nivel: SPECIALTY)
Database (Nivel: SPECIALTY)
Machine Learning (Nivel: SPECIALTY)
Security (Nivel: SPECIALTY)
Sap on AWS (Nivel: SPECIALTY)

Empieza tu camino

La mejor forma de trabajar tu crecimiento profesional es fijarte en metas a corto y largo plazo que estén relacionadas. Supongamos que deseas convertirte en un experto en bases de datos, entonces podrías fijarte los siguientes objetivos a corto y largo plazo:

Experto en SQL (20 días de estudio)
- Aprender a realizar consultas SQL (5 días)
- Realizar diagramas de diseño de bases de datos (5 días)
- Trabajar con vistas materializadas, triggers y funciones (5 días)
- Aprender a administrar usuarios, roles y accesos (5 días)
Experto en RDS (20 días de estudio)
- Trabajar con RDS Postgres (crear cluster, alta disponibilidad, replicas de lectura, respaldos, etc) (5 días)
- Trabajar con RDS Mysql (crear cluster, alta disponibilidad, replicas de lectura, respaldos, etc) (5 días)
- Trabajar con Aurora Postgres y Aurora Mysql (10 días)
Experto en NoSQL (MongoDB)
- Aprender a realizar consultas
- Diseño de tablas
- Administración de cluster DocumentDB
Experto en NoSQL (DocumentDB) (20 días)
- ...
Experto en bases de datos columnares (Redshift) (20 días)
- ...

Los puntos 1, 2, 3, 4, 5 son objetivos a largo plazo y cada uno de sus items es un objetivo a corto plazo, cada objetivo a corto plazo te ayuda a lograr tu objetivo a largo plazo y al haber terminado tu plan habrás logrado convertirte en un experto en bases de datos. Esta es una forma sencilla de trabajar una meta, existen metodologías mas detalladas para trabajar con objetivos por ejemplo la técnica SMART.

Ahora que ha quedado claro la importancia de empezar a trabajar con objetivos, podríamos empezar a trazarnos metas como por ejemplo obtener tu primera certificación en AWS. Si desear convertirte en un experto en Devops, podríamos tener el siguiente plan:

1 Obtener la certificación AWS Cloud Practitioner
2 Obtener la certificación AWS Developer Associate
3 Obtener la certificación AWS DevOps Profesional

No es necesario tener certificaciones para ser un experto como DevOps en AWS, pero en el camino de preparación para una certificación te vas a encontrar muchos retos que estaras obligado a superar para lograr el objetivo establecido, te enfocaras en ese objetivo y esto hará que tu dominio sobre la plataforma se vea incrementado.

Recursos utiles

Actualmente hay muchos recursos gratuitos y con precios bajos en internet.

Stephane Maarek ha creado varios cursos en Udemy para lograr diferentes certificaciones en AWS y las ofrece a un bajo precio. Ver aquí
Los AWS Workshops son varios talleres que ayudan a entender el uso de los diferentes servicios de AWS. Ver aquí
AWS también tiene una serie de blogs que son escritos y revisados por expertos. Ver aquí
Si quieres enterarte de las novedades lanzadas día a día en AWS te recomiendo revisar el apartado de news. Ver aquí
Los AWS Community builder son personas que han postulado a este programa en AWS y han sido aceptados, ellos contribuyen difundiendo material sobre AWS y los puedes encontrar en dev.to. Ver aquí
AWS Heroe es el titulo que AWS otorga a personas resaltantes en la comunidad por sus aportes, en dev.to existe una comunidad donde escriben posts constantemente. Ver aquí

Conclusión

Si llegaste hasta aquí es por que tienes la motivación, empieza a crear tus objetivos a corto y largo plaza y divertirte aprendiendo. Éxitos!

Amazon Comprehend: Guía rápida

Max Zeballos — Wed, 06 Jul 2022 16:43:54 +0000

Motivación

En la actualidad las aplicaciones necesitan una mayor velocidad de desarrollo. La inclusión de funcionalidades que implican el uso de machine learning se ha vuelto cada vez mayor.

Amazon Web Services a desarrollado un conjunto de servicios que te permiten rápidamente agregar características de machine learning a tus aplicaciones.

Amazon Comprehend es un servicio de procesamiento de lenguaje natural (NLP) que utiliza machine learning para extraer información de datos en formato de texto.

Introducción

Amazon Comprehend provee de un conjunto de APIs con las que podemos interactuar y obtener resultados sobre el análisis de textos. Estas APIs retornan como respuesta la inferencia que realiza sobre los datos que le enviamos a modelos entrenados por los expertos que trabajan en AWS.

Características

En esta sección vamos a revisar las capacidades del servicio y su uso a través de Python. Para los siguientes ejemplos utilizaremos el siguiente texto:

sample_text = '''
Hello Zhang Wei. Your AnyCompany Financial Services, LLC credit card account 1111-0000-1111-0000 has a minimum payment of $24.53 that is due by July 31st. Based on your autopay settings, we will withdraw your payment on the due date from your bank account XXXXXX1111 with the routing number XXXXX0000. 
Your latest statement was mailed to 100 Main Street, Anytown, WA 98121. 
After your payment is received, you will receive a confirmation text message at 206-555-0100. 
If you have questions about your bill, AnyCompany Customer Service is available by phone at 206-555-0199 or email at support@anycompany.com.
'''

1 Detección del idioma dominante

Con esta API podemos examinar el texto y determinar el idioma dominante, debido a que un texto puede contener palabras o frases en diferentes idiomas. A continuación presentare el código en Python

comprehend = boto3.client('comprehend')

detected_language = comprehend.detect_dominant_language(
   Text=sample_text
)

En la variable detected_language tendremos la respuesta a la API, si imprimíos el contenido de la variable veremos el siguiente resultado:

{
    "Languages": [
        {
            "LanguageCode": "en",
            "Score": 0.9913273453712463
        }
    ],
    "ResponseMetadata": {
        "HTTPHeaders": {
            "content-length": "64",
            "content-type": "application/x-amz-json-1.1",
            "date": "Wed, 06 Jul 2022 03:38:30 GMT",
            "x-amzn-requestid": "38e68cdc-c3a3-4b1c-897d-c86f9c5f0f63"
        },
        "HTTPStatusCode": 200,
        "RequestId": "38e68cdc-c3a3-4b1c-897d-c86f9c5f0f63",
        "RetryAttempts": 0
    }
}

Observamos que el lenguaje detectado fue ingles(en) con un puntaje de 99.1%

2 Detección de entidades

Con la API de detección de entidades podemos extraer los siguientes tipos de entidades:

Tipo	Descripción
COMMERCIAL_ITEM	Un producto de marca
FECHA	Una fecha completa (por ejemplo, 25/11/2017), día (martes), mes (mayo) u hora (8:30 a.m.).
EVENT	Un evento, como un festival, un concierto, una elección, etc.
LOCATION	Una ubicación específica, como un país, una ciudad, un lago, un edificio, etc.
ORGANIZACIÓN	Organizaciones grandes, como un gobierno, una empresa, una religión, un equipo deportivo, etc.
OTHER	Entidades que no encajan en ninguna de las otra categorías.
PERSON	Individuos, grupos de personas, apodos, personajes ficticios.
QUANTITY	Importe cuantificado, como moneda, porcentajes, números, bytes, etc.
TITLE	Nombre oficial dado a cualquier creación o obra creativa, como películas, libros, canciones, etc.

Ahora vamos a revisar el código en python

comprehend = boto3.client('comprehend')

detected_entities = comprehend.detect_entities(
   Text=sample_text,
   LanguageCode='en'
)

En la variable detected_entities tenemos la respuesta de la API si revisamos el contenido de la variable tendremos el siguiente contenido:

{
    "Entities": [
        {
            "BeginOffset": 7,
            "EndOffset": 16,
            "Score": 0.9993807077407837,
            "Text": "Zhang Wei",
            "Type": "PERSON"
        },
        {
            "BeginOffset": 23,
            "EndOffset": 57,
            "Score": 0.9996546506881714,
            "Text": "AnyCompany Financial Services, LLC",
            "Type": "ORGANIZATION"
        },
        {
            "BeginOffset": 78,
            "EndOffset": 97,
            "Score": 0.9905166029930115,
            "Text": "1111-0000-1111-0000",
            "Type": "OTHER"
        },
        ...
    ],
    "ResponseMetadata": {
        "HTTPHeaders": {
            "content-length": "1276",
            "content-type": "application/x-amz-json-1.1",
            "date": "Wed, 06 Jul 2022 03:14:41 GMT",
            "x-amzn-requestid": "0c7eefa0-c332-4f82-a93c-ab18cd47a15f"
        },
        "HTTPStatusCode": 200,
        "RequestId": "0c7eefa0-c332-4f82-a93c-ab18cd47a15f",
        "RetryAttempts": 0
    }
}

Dentro de Entities tenemos cada una de las entidades detectadas. Cada entidad tiene los siguientes atributos:

BeginOffset: Posición donde inicia la palabra en el texto
EndOffset: Posición donde termina la palabra en el texto
Score: Puntaje de certeza de detección de entidad
Text: El nombre de la entidad
Type: El tipo de entidad

3 Deteccion de frases clave

Puedes utilizar esta API para buscar frases clave en el documento. Por lo general, consiste en un sustantivo y los modificadores que lo distinguen. Por ejemplo, "día" es un sustantivo; "un día hermoso" es una frase sustantiva que incluye un artículo ("un") y un adjetivo ("hermoso").

A continuación revisaremos el código en python

comprehend = boto3.client('comprehend')

detected_key_phrases = comprehend.detect_key_phrases(
   Text=sample_text, 
   LanguageCode='en'
)

Revisando la variable detected_key_phrases tendremos la siguiente respuesta:

{
    "KeyPhrases": [
        {
            "BeginOffset": 1,
            "EndOffset": 16,
            "Score": 0.8426344990730286,
            "Text": "Hello Zhang Wei"
        },
        {
            "BeginOffset": 18,
            "EndOffset": 52,
            "Score": 0.9881375432014465,
            "Text": "Your AnyCompany Financial Services"
        },
        {
            "BeginOffset": 54,
            "EndOffset": 97,
            "Score": 0.8444651961326599,
            "Text": "LLC credit card account 1111-0000-1111-0000"
        },
        {
            "BeginOffset": 102,
            "EndOffset": 119,
            "Score": 0.9999476075172424,
            "Text": "a minimum payment"
        },
        ...
    ],
    "ResponseMetadata": {
        "HTTPHeaders": {
            "content-length": "2096",
            "content-type": "application/x-amz-json-1.1",
            "date": "Wed, 06 Jul 2022 04:19:43 GMT",
            "x-amzn-requestid": "d772098b-c82d-49b8-b4fe-029ac108b375"
        },
        "HTTPStatusCode": 200,
        "RequestId": "d772098b-c82d-49b8-b4fe-029ac108b375",
        "RetryAttempts": 0
    }
}

Como se observa en la respuesta, la API nos retorna todas las frases clave.

4 Determinar el sentimiento

Con esta API podemos determinar si el sentimiento es positivo, negativo, neutral o mixto. Por ejemplo, se puede utilizar el análisis de sentimientos para analizar los comentarios en un blog y saber si a los lectores les gusto la publicación.

Ahora revisaremos el código en python

comprehend = boto3.client('comprehend')

detected_sentiment = comprehend.detect_sentiment(
   Text=sample_text, 
   LanguageCode='en'
)

Si revelamos el contenido de la variable detected_sentiment tendremos:

{
    "ResponseMetadata": {
        "HTTPHeaders": {
            "content-length": "163",
            "content-type": "application/x-amz-json-1.1",
            "date": "Wed, 06 Jul 2022 04:27:42 GMT",
            "x-amzn-requestid": "ca289ed1-65f4-4e6f-87e4-468b5a88ae60"
        },
        "HTTPStatusCode": 200,
        "RequestId": "ca289ed1-65f4-4e6f-87e4-468b5a88ae60",
        "RetryAttempts": 0
    },
    "Sentiment": "NEUTRAL",
    "SentimentScore": {
        "Mixed": 9.69591928878799e-06,
        "Negative": 0.016147520393133163,
        "Neutral": 0.9832557439804077,
        "Positive": 0.0005869901506230235
    }
}

En Sentiment tenemos el sentimiento detectado y en SentimentScore tendremos el puntaje de las otras opciones.

5 Analisis de la sintaxis

Con esta API podemos identificar los sustantivos, verbos, adjetivos, etc. en el documento. Amazon Comprehend puede identificar 17 tipos de Tokens.

Token	Parte del discurso
ADJ	Adjetivo
ADP	Adposición
ADV	Adverbio
AUX	Auxiliary
CONJ	Coordinación de la conjunción
DET	Determinador
INTJ	Interjección
SUSTANTIVO	Nombre
NUM	Numérico
O	Otros
PART	Partícula
PRON	Pronombre
PROPÓN	Nombre adecuado
PUNTAR	Puntuación
SCONJ	conjunción subordinante
SYM	Símbolo
VERB	Verbo

A continuación presento el código en python

comprehend = boto3.client('comprehend')

detected_syntax = comprehend.detect_syntax(
   Text=sample_text, 
   LanguageCode='en'
)

Revelando el contenido de la variable detected_syntax tendremos:

{
    "ResponseMetadata": {
        "HTTPHeaders": {
            "content-length": "12896",
            "content-type": "application/x-amz-json-1.1",
            "date": "Wed, 06 Jul 2022 04:31:16 GMT",
            "x-amzn-requestid": "21f94838-5820-4223-a015-9685a31902cf"
        },
        "HTTPStatusCode": 200,
        "RequestId": "21f94838-5820-4223-a015-9685a31902cf",
        "RetryAttempts": 0
    },
    "SyntaxTokens": [
        {
            "BeginOffset": 1,
            "EndOffset": 6,
            "PartOfSpeech": {
                "Score": 0.9888805150985718,
                "Tag": "INTJ"
            },
            "Text": "Hello",
            "TokenId": 1
        },
        {
            "BeginOffset": 7,
            "EndOffset": 12,
            "PartOfSpeech": {
                "Score": 0.9991546273231506,
                "Tag": "PROPN"
            },
            "Text": "Zhang",
            "TokenId": 2
        },
        {
            "BeginOffset": 13,
            "EndOffset": 16,
            "PartOfSpeech": {
                "Score": 0.9982988238334656,
                "Tag": "PROPN"
            },
            "Text": "Wei",
            "TokenId": 3
        },
        ...
    ]
}

En la respuesta observamos que para cada una de las palabras se ha identificado su respectiva Etiqueta.

6 Detección de información de identificación personal (PII)

Con esta API podemos detectar entidades en el texto que contienen información de identificación personal (PII). Una entidad PII es una referencia textual a datos personales que podrían utilizarse para identificar a una persona, como una dirección, un número de cuenta bancaria o un número de teléfono.

Amazon Comprehend reconoce los siguientes tipos de entidades:

ADDRESS
AGE
AWS_ACCESS_KEY
AWS_SECRET_KEY
BANK_ACCOUNT_NUMBER
BANK_ROUTING
CREDIT_DEBIT_CVV
CREDIT_DEBIT_EXPIRY
CREDIT_DEBIT_NUMBER
DATE_TIME
DRIVER_ID
EMAIL
IP_ADDRESS
MAC_ADDRESS
NAME
PASSPORT_NUMBER
PASSWORD
PHONE
PIN
SSN
URL
USERNAME

Para trabajar con la API usamos el siguiente código en python

comprehend = boto3.client('comprehend')

detected_pii_labels = comprehend.contains_pii_entities(
   Text=sample_text, 
   LanguageCode='en'
)

Ahora revisamos el contenido de la variable detected_pii_labels

{
    "Labels": [
        {
            "Name": "EMAIL",
            "Score": 1.0
        },
        {
            "Name": "DATE_TIME",
            "Score": 1.0
        },
        {
            "Name": "BANK_ROUTING",
            "Score": 0.8962613940238953
        },
        {
            "Name": "NAME",
            "Score": 0.7186043858528137
        },
        {
            "Name": "PHONE",
            "Score": 1.0
        }
    ],
    "ResponseMetadata": {
        "HTTPHeaders": {
            "content-length": "197",
            "content-type": "application/x-amz-json-1.1",
            "date": "Wed, 06 Jul 2022 04:51:25 GMT",
            "x-amzn-requestid": "f13ed239-eb0c-428d-b7ea-4d26f2568309"
        },
        "HTTPStatusCode": 200,
        "RequestId": "f13ed239-eb0c-428d-b7ea-4d26f2568309",
        "RetryAttempts": 0
    }
}

En la respuesta observamos cada una de las PII encontradas en el texto

Conclusión

Amazon Comprehend permite acelerar el desarrollo de aplicaciones donde es necesario el uso de análisis de textos. El uso de esta herramienta no requiere una curva de aprendizaje elevada, solamente requiere leer un poco de documentación y revisar algunos ejemplos. No hay necesidad de tener conocimientos en inteligencia artificial para su uso.

Este blog es parte de una serie: Ir al menu

Amazon Rekognition: Guía rápida

Max Zeballos — Tue, 05 Jul 2022 18:17:44 +0000

Motivación

En la actualidad las aplicaciones necesitan una mayor velocidad de desarrollo. La inclusión de funcionalidades que implican el uso de machine learning se ha vuelto cada vez mayor.

Amazon Web Services a desarrollado un conjunto de servicios que te permiten rápidamente agregar características de machine learning a tus aplicaciones.

Con Amazon Rekognition puedes integrar de manera sencilla y rápida el análisis de imágenes y video a tus aplicaciones. Este servicio utiliza deep learning para el entrenamiento de sus algoritmos, pero no requiere conocimientos en inteligencia artificial para su uso.

Introducción

Amazon Rekognition provee de un conjunto de APIs con las que podemos interactuar y obtener resultados sobre el análisis de imágenes y videos. Estas APIs retornan como respuesta la inferencia que realiza sobre los datos que le enviamos a modelos entrenados por los expertos que trabajan en AWS.

Características

En esta sección vamos a revisar las capacidades del servicio y su uso a través de Python

1 Detección de objetos

A través de esta api podemos obtener información acerca de los objetos dentro de imagenes y videos, así como también los limites cartesianos dentro de los cuales se encuentra contenido el objeto en la imagen, los llamados bounding box.

A continuación presentare un ejemplo:

Para lograr este resultado tenemos que enviar la imagen original a la api de Rekognition especificado su localización en Amazon S3, a continuación presentare el código en python haciendo uso de boto3 (la librería oficial para trabajar con python)



rekognition = boto3.client('rekognition')

detectLabelsResponse = rekognition.detect_labels(
    Image={
        'S3Object': {
            'Bucket': bucketName,
            'Name': imageName,
        }
    }
)

En la variable detectLabelsResponse tendremos la respuesta de la API, con las etiquetas correspondientes y las coordenadas de los bounding box correspondientes. Con la información de los bounding box y el uso de una librería de python como PIL podemos dibujar los cuadrados sobre la imagen y tener la imagen del ejemplo.

2 Moderación de contenido

Con la api de moderación de contenido podemos detectar el contenido no seguro o inapropiado, a través de las etiquetas que retorna el API junto a un porcentaje de confiabilidad. Dentro de las categorías principales tenemos las siguientes etiquetas: Explicit Nudity, Suggestive, Violence, Visually Disturbing, Rude Gestures, Drugs, Tobacco, Alcohol, Gambling, Hate Symbols.

Para invocar esta api utilizaremos el siguiente codigo en Python:



rekognition = boto3.client('rekognition')

detectModerationLabelsResponse = rekognition.detect_moderation_labels(
   Image={
       'S3Object': {
           'Bucket': bucketName,
           'Name': imageName,
       }
   }
)

En la variable detectModerationLabelsResponse tendremos la respuesta a la API que contendrá las etiquetas principales mencionadas con anterioridad con algunas etiquetas secundarias y su porcentaje de confiabilidad.

3 Reconocimiento de celebridades

Con la API de reconocimiento de celebridades puede rápidamente identificar personas famosas en imágenes y video. La API tiene la capacidad de detectar a una o varias celebridades dentro de una imagen o frame de video. Por ejemplo podría enviarle al API la siguiente imagen

La API me retornara como resultado el nombre del famoso, en este caso sera Dwayne Johnson, mas conocido como "La roca". A continuación presentare el código en python.



rekognition = boto3.client('rekognition')

recognizeCelebritiesResponse = rekognition.recognize_celebrities(
    Image={
        'S3Object': {
            'Bucket': bucketName,
            'Name': imageName,
        }
    }
)

En la variable recognizeCelebritiesResponse obtendremos el nombre del famoso junto con un porcentaje de confianza, en esta caso sera: Dwayne Johnson (99.1% confidence).

4 Busquedas de rostros

La Busqueda de rostros te permite reconocer personas dentro de una colección de rostros preestablecido. Esta colección de rostros debe ser creado antes de realizar el llamado a la API. Para que la api de una respuesta correcta el nuevo rostro a reconocer debe pertenecer al de una persona que se encuentra en nuestra colección de rostros, teniendo en cuenta que la imagen a reconocer no necesariamente tiene que ser una existente en nuestra colección de rostros.

La api puede reconocer uno o mas rostros dentro de una imagen como en el ejemplo a continuación donde mostramos los rostros reconocidos dentro de un bounding box.

Para trabajar con esta api es necesario primero crear una colección de rostros, es recomendable tener como mínimo 3 rostros por persona.

Para crear una colección usaremos el siguiente código en python:



rekognition = boto3.client('rekognition')

rekognition.create_collection(
    CollectionId='face-collection'
)

Para agregar rostros a nuestra coleccion:



rekognition.index_faces(
    CollectionId='face-collection',
    Image={
        'S3Object': {
            'Bucket': bucketName,
            'Name': imageName,
        }
    },
    ExternalImageId=personId,
    DetectionAttributes=[
        'DEFAULT',
        ],
    MaxFaces=1,
    QualityFilter='AUTO'
)

Todos los rostros de la misma persona deben tener el mismo ExternalImageId, MaxFaces es el numero máximo de rostros que se va indexar, QualityFilter es el valor de calidad de la imagen, en caso el valor sea AUTO entonces Rekognition decidira si utiliza o no la imagen, DetectionAttributes son los atributos que deseas que se retornen en la API. Puedes encontrar el detalle de estos parametros aqui

Finalmente para realizar un reconocimiento facial en una nueva imagen utilizamos el siguiente código:



searchFacesResponse = rekognition.search_faces_by_image(
    CollectionId='face-collection',
    Image={
        'S3Object': {
            'Bucket': bucketName,
            'Name': imageName,
        }
    },
    MaxFaces=2,
    FaceMatchThreshold=95
)

En searchFacesResponse tendremos la respuesta de la API con un máximo de 2 rostros reconocidos a un 95% de confiabilidad.

5 Detección de texto

Las imágenes y videos pueden venir acompañados de texto, poder convertir el texto de una imagen o video en caracteres de texto puede ser muy útil en muchas aplicaciones, como por ejemplo detectar imágenes con textos que tengan contenido explicito, otra aplicación es reconocer valores dentro de un texto como vouchers de pago o números de recibos, etc.

Por ejemplo en la siguiente imagen se ha podido reconocer una serie de palabras a través de la API de rekognition.

Para utilizar la API de Rekognition usaremos el siguiente código:



rekognition = boto3.client('rekognition')

detectTextResponse = rekognition.detect_text(
    Image={
        'S3Object': {
            'Bucket': bucketName,
            'Name': imageName,
        }
      },
      Filters={
        'WordFilter': {
            'MinConfidence': 90
        }
      }
)

En la variable detectTextResponse tendremos los textos encontrados con una confiabilidad superior al 90%.

6 Detección de equipo de protección personal

En muchas industrias el tema de la seguridad es importante, llevar el equipo de protección adecuado puede salvar vidas. Otro uso importante que se le dio a esta característica es llevar el equipo de protección necesario para evitar el contagio del COVID-19. Esto demuestra como la tecnología nos puede ayudar al cuidado y protección de la salud.

Aquí les muestro un ejemplo de la detección de equipos de protección:

Para usar la api utilizaremos el siguiente código:



detectPPEResponse = rekognition.detect_protective_equipment(
        Image={
            'S3Object': {
                'Bucket': bucketName,
                'Name': imageName
            }
        },
        SummarizationAttributes={
            'MinConfidence': 90,
            'RequiredEquipmentTypes': [
                'FACE_COVER',
                'HEAD_COVER',
                'HAND_COVER',
            ]
        }
    )

En la variable detectPPEResponse tendremos el resultado a la API, en la imagen se buscara si el rostro, cabeza y manos están cubiertas con un 90% de confiabilidad.

Conclusión

Amazon Rekognition permite acelerar el desarrollo de aplicaciones donde es necesario el uso de análisis sobre imágenes y videos. El uso de esta herramienta no requiere una curva de aprendizaje elevada, solamente requiere leer un poco de documentación y revisar algunos ejemplos. No hay necesidad de tener conocimientos en inteligencia artificial para su uso.

Este blog es parte de una serie: Ir al menu