Forem: Orawan Juprapattasri

Make it easy from converting Java/.Net to Container application

Orawan Juprapattasri — Tue, 14 Sep 2021 10:44:10 +0000

สำหรับใครกำลังมองหาวิธีการเอา application ที่ถูกพัฒนาโดยภาษา Java หรือ .Net ขึ้นไปบน Cloud แต่อยากจะเปลี่ยนให้เป็น application ในลักษณะ Container แทน AWS มี solution ที่ชื่อ App2Container มาช่วยตรงนี้ได้

App2Container (A2C) คืออะไร App2Containerเป็นเครื่องมือ หรือ Command line ที่ใช้ในการปรับปรุงแอปพลิเคชัน .NET และ Java ให้เป็นแอปพลิเคชันคอนเทนเนอร์ โดยไม่จำเป็นต้องแก้ code ใดๆ

App2Container เน้นอะไรบ้างและให้ประโยชน์อะไร

Portability : ด้วยคุณสมบัติของ Container ทำให้เราสามารถจะ deploy ไปที่ไหนก็ได้ ด้วยตัวของ Container เองจะมีการ pack runtime, deployed code และ libraries ต่างๆ รวมกันทำให้สามารถมีคุณสมบัติ portability
Developer Productivity : Container สามารถช่วยในเรื่องการเริ่มต้นพัฒนาที่ง่ายและรวดเร็ว โดยตัดในเรื่องของความซับซ้อนของ Application และการติดตั้ง dependencies ต่างๆลง จึงทำให้ developer ได้มีมุ่งพัฒนา application และทำให้ภาพรวมเกิดความเร็วในการพัฒนา Application
IT Infrastructure Reduction : Container สามารถช่วยลดในเรื่องการใช้ resource ที่สูง Container สามารถเริ่มต้นได้ตั้งแต่หลัก MB
Standardization of CI/CD : เมื่อเราพูดถึง CI/CD application ที่มีลักษณะ legacy สามารถทำตรงนี้ได้ และ Container จะเหมาะในการทำ CI/CD ได้ดีกว่า legacy application ปรกติ

แหล่งที่มา https://aws.amazon.com/app2container/faqs/

เริ่มอยากจะเห็นแล้วใช่ไหม ว่าการใช้งาน App2Container เป็นอย่างไร :D
พอดีมีคู่มือดีๆ อยู่ จาก link นี้ https://app2container.workshop.aws/
คราวนี้จะมารีวิวในแต่ละขั้นตอน และสรุปให้ฟังในตอนท้าย

เครื่องมือ

AWS CloudFormation
AWS Database Migration Service (DMS)
AWS App2Container command line
AWS Relational Database Service (RDS)
AWS Elastic Container Registry
AWS Elastic Container Service
AWS S3

ขั้นตอนแรก ใน lab เค้าให้กด CloudFormation template ซึ่งจะไป provision resource ต่างๆ ที่ us-west-2 region ซึ่ง CloudFormation Provision อะไรให้เรา CloudFormation จะทำการ deploy VPC, subnet ของฝั่ง Source และ Target รวมไปถึง source ที่เป็นเครื่อง เช่น EC2 ที่มี app และ EC2 ที่มี database อยู่ เพราะเราไม่มี datacenter on premise นะ CloudFormation เลยจำลองให้

ถัดมา lab ให้ไปทำ PostgreSQL migration จาก vm เครื่องหนึ่งที่ run ด้วย ubuntu แล้ว migrate ไปเป็น AWS RDS PostgreSQL ซึ่งขั้นตอนนี้ BLOG นี้ไม่ได้เน้นนะ เราเน้นตรงที่ใช้ App2Container ส่วนเครื่องมือที่ใช้ในการ migrate DB ของ AWS คือ AWS DMS ถ้าใครสนใจสามารถเข้าไปทำ lab ใน part นี้ได้จาก link นี้
https://app2container.workshop.aws/en/java-migrate-your-db.html

Output ที่ได้จาก lab part นี้คือ การ migrate DB จากเครื่องVM เครื่องนึง (ซึ่งในที่นี้ จำลองโดยใช้ EC2) ไปยัง AWS RDS จากรูปเป็นการ snapshot มาจาก AWS DMS ซึ่งได้ทำการ Configure Source machine (EC2 - PostgreSQL) และ Target (AWS RDS PostgreSQL) ไว้ จากนั้นกด run task

ทีนี้มาถึง part พระเอกของเราแล้ว นั่นคือ App2Container โดยใน lab ให้เราเข้าไปในเครื่อง Source Web Java เราต้องเข้าไปโดยวิธี Session Manager ต่อมาทำตาม step ข้างล่างเลย

$ sudo su
$ aws configure

$ curl -o AWSApp2Container-installer-linux.tar.gz https://app2container-release-us-east-1.s3.us-east-
1.amazonaws.com/latest/linux/AWSApp2Container-installer-linux.tar.gz

$ tar xvf AWSApp2Container-installer-linux.tar.gz

$ ./install.sh

$ app2container help
ทดสอบการติดตั้ง app2container command line

ตอนนี้เราได้ลง App2Container ที่เครื่อง Source และ initialize เรียบร้อยแล้ว

$ app2container inventory
Run command นี้ เพื่อให้ App2Container ทำการ discovery แล้วก็ list Java application ที่ run อยู่บนเครื่อง VM นี้ออกมา

$ app2container analyze --application-id
Run command นี้เพื่อ analyse Java Application และทำการสร้าง artifact ออกมาที่ folder พร้อม deploy เป็น container

$ app2container containerize --application-id
Run command นี้เพื่อ build Java application เป็น docker image

$ docker images
Run command นี้เพื่อ list docker images ออกมาทั้งหมด จะเห็นว่าเรามี java-tomcat-xxxx images ด้วย ที่ถูกสร้างขึ้นมาโดย App2Container

$ nano /root/app2container//deployment.json
แก้ไข file deployment.json และแก้ไข value ของ parameter vpcId ซึ่งอยู่ข้างใน reuseResources parameter อีกที โดยเอา VPCTarget id มาแปะ

$ app2container generate app-deployment --application-id
Push docker image ไปที่ AWS ECR และสร้าง ECS Task

ต่อมา เราเข้ามาดูที่ AWS ECR จะมี docker images ถูก push ขึ้นมาโดย App2Container

App2Container จะไปสร้าง task definition ที่ ECS ด้วย

App2Container ได้นำพวก Artifact ต่างๆ ไปเก็บไว้ที่ s3 เช่น yaml file ที่จะถูก Cloudformation นำไป deploy

$ aws cloudformation deploy --template-file /root/app2container//EcsDeployment/ecs-master.yml --capabilities CAPABILITY_NAMED_IAM --stack-name a2c--ECS
ต่อมา Run command ในการ deploy yaml file ที่ CloudFormation service

หลังจาก deploy stack เสร็จเรียบร้อย จะมีหน้าตาตามรูปข้างล่าง

ไปตรวจที่ AWS ECS กันว่ามีการสร้าง Cluster ขึ้นมารึเปล่า

กดไปที่ link target group หลังจากนั้นให้เรา copy load balance DNS name มา

ทดสอบ load balancer DNS name ที่เรา copy มาจาก ECS

เย้!!! ในที่สุดก็ได้ webpage สวยงามมา ซึ่งได้มาจากผลงาน App2Container

!!!บทสรุปของ BLOG นี้คืออะไร!!!
เราค้นพบว่า App2Container สามารถช่วยทำให้เราเปลี่ยนจาก Java (หรือ .NET) ไปเป็นในรูปแบบ Container ซึ่งไป run บน AWS Container Service อีกที การใช้งานค่อนข้างจะง่าย สะดวกและรวดเร็ว

เรามองหาอะไรต่อจากนี้ App2Container ไม่ได้ทำ refactoring อันนี้เราต้องเข้าใจตรงกันนิดนึง App2Container ไม่ได้แปลงจาก Monolith application ไปเป็น Mocroservice ให้ แต่ถ้าเรามีการเขียนแยกย่อย function อยู่แล้วใน Java หรือ .NET ก็จะง่ายและตรง microservice concept มากกว่าในการนำ App2Container convert app ขึ้น AWS Cloud Container Service.

สุดท้ายนี้ อยากให้ลอง App2Container กัน สามารถเข้าไปดู tutorial เพิ่มเติมได้ รวมทั้ง link download มาลองกันอีกด้วย
https://docs.aws.amazon.com/app2container/latest/UserGuide/start-intro.html

Detect photo label by using Amazon Rekognition - part 1

Orawan Juprapattasri — Tue, 14 Sep 2021 10:43:28 +0000

ปัจจุบัน e-conmmerce เฟื่องฟูมาก และผู้ที่ให้บริการจำหน่ายสินค้าผ่านช่องทาง online ต่างต้องการพัฒนา และปรับปรุงช่องทางของตนเองให้ตอบโจท์ลูกค้ามากขึ้น
อย่างเช่น ในหน้าค้นหาสินค้าเป็นต้น ถ้าลูกค้าต้องการจะค้นหาสินค้าโดยการ upload รูปสินค้าขึ้นไปที่หน้าเวปผู้ให้บริการ เราจะตอบโจทย์ตรงนี้อย่างไร

AWS ได้ให้บริการ AI service ชื่อ Amazon Rekognition ที่สามารถจะให้บริการการ detect object หรือ ใบหน้าของคน แล้วระบุว่า เป็นสินค้าอะไร, ใบหน้าของคนๆ เป็นชายหรือหญิง และมีความมั่นใจกี่ % ซึ่งตรงนี้เอง เราสามารถนำ service นี้มาใช้ในงานลักษณะแบบนี้ได้

การพัฒนา solution นี้ สามารถแบ่งออกเป็น 2 เฟส ได้แก่

การนำเข้ารูปภาพสินค้าทั้งหมดเข้าระบบ เพื่อให้ Amazon Rekognition detect ข้อมูลต่างๆในรูป และทำการจัดเก็บข้อมูลดังกล่าวในฐานข้อมูล
การนำรูปตัวอย่าง มาทำการค้นหาข้อมูลจากฐานข้อมูล และแสดงผลการค้นหาสินค้าที่คล้ายกัน หรือตรงกัน

สำหรับเนื้อหาในโพสนี้ จะมาทำเฟสแรกให้ดูกัน ไปกันเลยยยย...

Host machine : Mac BigSur 11.5.2
eclipse : Eclipse IDE for Enterprise Java and Web Developers Version: 2021-06 (4.20.0)
eclipse plugin : Amazon developer toolkit [optional]
AWS service : S3, Lambda, Rekognition and Elasticsearch

หมายเหตุ AWS developer toolkit จะ compatible อย่างสมบูรณ์ กับ eclipse ที่ใช้ java runtime 1.8

ขั้นตอนการทำ

Provision Amazon elasticsearch service

AWS Console -> Elasticsearch (ES)
ใส่ชื่อ cluster และเลือก dev mode จากนั้นเลือก internet access และเลือกโหมด authen ให้ใส่ username และ password

หลังจาก provision เสร็จเรียบร้อยแล้ว ให้ copy ES endpoint เพื่อไปแปะที่ source code

ทดสอบการใช้งานเบื้องต้นโดย browse ไปยัง endpoint ที่เรา copy มา จากนั้นใส่ username และ password ตอนที่เรา provision cluster

Create lambda function

ไปที่ฝั่ง lambda บ้าง เราต้องไปสร้าง lambda function ขึ้นมา แล้วเอา java far file ไป deploy

AWS Console -> Lambda -> create function

ใส่ชื่อ function lambda และ เลือก runtime เป็น Java 8

เพิ่มตัว trigger lambda คือ s3 ไว้ข้างหน้า function และเพิ่ม SNS alert ด้านหลัง function เราจะได้ไปดู error message ที่ email ได้ หรือเราไปดู error ผ่าน Cloudwatch log ก็ได้นะ

Configure lambda role ให้เรียบร้อย โดย role ต้องสามารถเข้าถึง S3 และ elasticsearch ได้

Develop Lambda function by using eclipse

เรามาเข้าสู่โหมด dev กัน ขั้นแรกเราต้องมีเครื่องมือในการเขียน lambda ก่อน lambda ที่เราจะเขียนนี้ จะถูกเรียกให้ทำงานโดยการถูก trigger โดย S3 กรณีที่มีการ upload รูปภาพขึ้นไป S3
lambda รองรับหลากหลายภาษา และหนึ่งในนั้นคือ java เพราะฉะนั้นเลยเลือกที่จะใช้ eclipse เป็น IDE tool

Download eclipse tool : https://www.eclipse.org/downloads/packages/

[Optional]จากนั้นลง Amazon developer toolkit plugin เข้าไปเพิ่มที่ eclipse วิธีลงตาม link ที่แปะให้เลย
https://aws.amazon.com/eclipse/

เมื่อลง aws plugin เรียบร้อยจะได้ ui จาก AWS ตามรูป

Download Source Code จาก Github
Download ตัวอย่าง source code จาก github แล้ว import Maven project ลงไปที่ eclipse
https://github.com/aomjk/rekognition-demo-orawanj

เปิด file LambdaFunctionHandler.java ให้แก้ ค่า value ของ aesEndpoint ให้ชี้ไปที่ ES endpoint ของเรา จากนั้นให้ save file

Build และ pack compile code เป็น jar fomat โดยไปที่ eclipse กด click ขวาที่ project -> เลือก Run As -> Maven build
Maven build configuration

หลังจากกด build โดยใช้ Maven tool แล้ว เราจะได้ jar file ออกมา
jar file ตัวนี้จะถูกนำไป deploy ลงบน lambda

Deploy java jar file ไปที่ function จะด้วยวิธีการ upload ตรงขึ้นไป หรือ ไปฝากไว้ที่ s3 ขึ้นอยู่ขนาดความใหญ่ของ file

[Optional]หรือสามารถใช้การ click ขวาที่ file folder แล้วเลือก Amazon Web Services และ Upload Function to lambda

Let's testing our solution

ตัวอย่างรูปภาพ

แหล่งที่มา Amazon.com

ต่อไปเรา upload รูปภาพนี้ลงไปที่ S3
และเราสามารถดู debugging เบื้องต้นได้จาก CloudWatch Log

จะเห็นได้ว่า Amazon Rekognition สามารถจำแนกรูปภาพได้ว่า เป็นเก้าอี้ เฟอร์นิเจอร์ และเป็นเก้าอี้ที่มีที่พักแขน และความมั่นใจกี่เปอร์ในแต่ละหัวข้อ

สุดท้ายเราสามารถไปดูข้อมูลที่ถูก insert เข้าไปที่ ES ได้ตามรูปข้างล่างเลย

ในบทสรุปของการทำ solution นี้คือ ความสามารถในการบันทึกข้อมูลที่ได้จากการใช้ Amazon Rekognition detecting label มาวิเคราะห์รูปภาพ โดยที่ข้อมูลที่ได้เป็นลักษณะ label ต่างๆ เช่น เก้าอี้ เฟอร์นิเจอร์ และความมั่นใจเป็นเปอร์เซ็นต์ที่คิดว่าเป็น เก้าอี้ และเฟอร์นิเจอร์กี่เปอร์เซ็นต์ ลงบันทึกลงใน Amazon Elasticsearch เพื่อใช้ในการค้นหาต่อไปได้