Forem: Pedro Stéfano

Minio + Traefik + TSL/SSL

Pedro Stéfano — Wed, 31 Aug 2022 18:45:32 +0000

Hoje vamos abordar um pouco sobre hospedagem de arquivos.
Atualmente no mercado temos a AWS s3 sendo um das principais ferramentas para armazenamento de arquivo em nuvem no merco, para não dizer a principal. Suas especificações de API meio que se tornou um padrão implícito para esse tipo de serviço na web. Contudo por motivos diversos podemos ter casos em que é necessário ter um serviço similar em nossa própria infra seja por motivos técnicos ou outros.
Para atender essa necessidade vamos utilizar o Minio ele funcionar como um serviço s3 sendo em suas especificações muito parecido com o mesmo e podendo ate mesmo usar a S3 ou serviços similares como um tier de armazenamento, além de serviço de cache, servidores com multi região e etc. Farei uma abordagem de instalação básica.

Para começarmos é necessário ter o Traefik já instalado.
O pulo do gato esta em extrair do acme.json. As chaves publicas e privadas necessárias para que possamos estabelecer conexão segura com o servidor do min.io . Para isso é necessário utilizar um serviço para extrair as mesmas. No docker-compose adonaremos o seguinte serviço.

  traefik-certs-dumper:
    container_name: "traefik-dumpcerts"
    restart: "always"
    image: ldez/traefik-certs-dumper:v2.8.1
    entrypoint: sh -c '
      apk add jq
      ; while ! [ -e /acme.json ]
      || ! [ `jq ".[] | .Certificates | length" /acme.json` != 0 ]; do
      sleep 1
      ; done
      && traefik-certs-dumper file --version v2 --watch
      --source /acme.json --dest /data'
    volumes:
      - "/opt/traefik/acme.json:/acme.json"
      - "/opt/traefik/data:/data"

Com isso, ele vai extrair as chaves .crt e .key dos domínios contidos em acme.json
Feito isso vamos subir o serviço do min.io, para maiores informações consulte a documentação oficial. Nesse exemplo vamos subir um onico contêiner com dois discos para armazenamento dos dados sendo considerado data1-1 e data1-2 montado na raiz do mesmo. link do arquivo para consulta.

version: '3.7'

networks:
  traefik:
    name: traefik
    external: true

volumes:
  data1-1:
     name: data1-1
     driver: local
  data1-2:
     name: data1-2
     driver: local

services:
   minio1:
    restart: always
    image: quay.io/minio/minio
    container_name: minio
    command: server  --console-address ":80" http://minio/data{1...2}

    volumes:
      - data1-1:/data1
      - data1-2:/data2
      - "/opt/traefik/data/private:/.minio/certs:ro"
    environment:

       MINIO_DOMAIN: DOMINIO.COM.BR
       MINIO_SERVER_URL: https://s3.DOMINIO.COM.BR
       MINIO_BROWSER_REDIRECT_URL: http://console.s3.DOMINIO.COM.BR
       CONSOLE_SECURE_TLS_REDIRECT: off
       MINIO_ROOT_USER: minioadmin
       MINIO_ROOT_PASSWORD: minioadmin

    labels:

    # console
      - "traefik.http.routers.minio.rule=Host(`console.s3.DOMINIO.COM.BR`)"
      - "traefik.http.routers.minio.entrypoints=websecure"
      - "traefik.http.routers.minio.tls=true"
      - "traefik.http.routers.minio.tls.certresolver=letsencrypt"
      - "traefik.http.services.minio.loadbalancer.server.port=80"
      - "traefik.http.routers.minio.service=minio"

    # Api
      - "traefik.http.routers.minio-api.rule=Host(`s3.DOMINIO.COM.BR`)"
      - "traefik.http.routers.minio-api.entrypoints=websecure"
      - "traefik.http.routers.minio-api.tls=true"
      - "traefik.http.routers.minio-api.tls.certresolver=letsencrypt"
      - "traefik.http.services.minio-api.loadbalancer.server.port=9000"
      - "traefik.http.routers.minio-api.service=minio-api"


      - "traefik.frontend.passHostHeader=true"
      - "traefik.enable=true"


    networks:
      - traefik

Algumas observações.

Verifique as variáveis de usuário inicial. Apos o primeiro login, recomendo a criação de um novo usuário e a rotação do nome e senha do usuário.

MINIO_ROOT_USER: minioadmin MINIO_ROOT_PASSWORD: minioadmin

O serviço possui dois domínios, um para fornecimento dos arquivos e outro para acesso ao console de administração.
Caso não esteja conseguindo acessar o console (usuário e senha invalido) desative o redirecionamento do TLS.

`
MINIO_DOMAIN: DOMINIO.COM.BR
MINIO_SERVER_URL: https://s3.DOMINIO.COM.BR
MINIO_BROWSER_REDIRECT_URL: http://console.s3.DOMINIO.COM.BR
CONSOLE_SECURE_TLS_REDIRECT: off

Docker IPV6 - Guia definitivo

Pedro Stéfano — Thu, 14 Jul 2022 02:54:24 +0000

É de conhecimento de todos que o ipv4 se esgotou, existe alguns blocos ainda disponíveis mas já não se pode contar com eles para novos provedores e etc. Dessa forma cada vez mais esta sendo adotado o IPV6 porém, nem todas as aplicações estão preparadas 100% para o uso do mesmo. Em alguns casos já existe o suporte porém, pode ser necessário alguns ajustes a mais, o docker é um desses.

Contudo para habilitar a conexão via ipv6 basta editarmos o arquivo daemon.json com algumas informações. Será habilitado via nat, utilizando o ipv6 do host para comunicação. Caso queria usar seu bloco de ipv6 para pegar um IP real direto no container, faça o ajuste no endereçamento do mesmo.

# Editar o arquivo de configuração
nano /etc/docker/daemon.json 

# Conteúdo a ser incluído no mesmo.
{
    "ipv6": true,
    "fixed-cidr-v6": "fd00:dead:beef:c0::/80",
    "experimental": true,
    "ip6tables": true
}

Após realizar a configuração precisamos reiniciar os serviços do docker


# Reiniciar o serviço docker 
systemctl restart docker.service

Feito isso nossos containers conectado a rede bridge do docker tem acesso via ipv6/nat a internet, como se pode observar na imagem baixo conseguimos pingar o google normalmente.

Links Úteis:

https://github.com/mailcow/mailcow-dockerized/blob/1a05101f5031bcda864bc9e10d49cc52d26de2e5/update.sh

https://discuss.hashicorp.com/t/no-assigned-ipv6-address-for-docker-containers-nomad-consul-connect/41391

https://www.reddit.com/r/kasmweb/comments/sg6tv9/guide_enabling_ipv6_on_your_kasmweb_server/

https://github.com/mailcow/mailcow-dockerized/blob/3d538d4f144d31b2e0df1b71708735979e1027ed/docker-compose.yml

FVM - Múltiplos SDKs Flutter na mesma maquina

Pedro Stéfano — Tue, 12 Jul 2022 02:06:59 +0000

Como desenvolvedor você já deve ter passado pela situação de ser necessário possuir múltiplas verões de um determinado SDK em sua maquina. Em algumas tecnologias ( exemplo o .net) basta instalar os SDKs que eles coexistem sem grandes conflitos, porém, o flutter não permite isso. Contudo, o famoso jeitinho brasileiro deu um jeito, alguns desenvolvedores criaram a ferramenta FVM - Flutter Version Management, que em miúdos uma ferramenta cli que permite executar diversas versões do SDK do Flutter. Com extrema facilidade de alternar entre os sdk.
Em alguns casos isso pode ocorrer de forma automática se configurado tudo certinho. Em explicação simples, ele baixa as versões em uma determinada pasta e a medida que for solicitado, ele alterna um link global simbólico apontando para a versão do SDKs que precisa executar.

Vamos a mão na massa.

Ele é disponibilizado como um pacote global do pub.dev, para proceder a sua instalação primeiro será necessário instalar o dart.
Aqui a abordagem será usada no Linux

Vamos importar e configurar o repositório do Dart

sudo apt-get update

sudo apt-get install apt-transport-https

wget -qO- https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo gpg --dearmor -o /usr/share/keyrings/dart.gpg

echo 'deb [signed-by=/usr/share/keyrings/dart.gpg arch=amd64] https://storage.googleapis.com/download.dartlang.org/linux/debian stable main' | sudo tee /etc/apt/sources.list.d/dart_stable.list

Em seguida vamos atualizar os repositórios e fazer a instalação do dart

sudo apt-get update

sudo apt-get install dart

Para maiores informações sobre como proceder a instalação do dar consulte a documentação oficial.

Feito isso, vamos a instalação do FVM

dart pub global activate fvm

Pode ser necessário configurar o PATCH no Ubuntu para que os comandos seja reconhecidos, caso seja necessário edite o arquivo .profile na pasta home com o conteúdo abaixo no final do arquivo

# abrir o arquivo 
nano ~/.profile

# Conteúdo a ser adicionado no final do arquivo
export PATH="$PATH":"$HOME/fvm/default/bin"

Agora vamos a instalação e configuração do SDK que será usado por padrão pelo sistema, neste caso recomendo a versão estável do flutter.

 fvm install stable

 fvm global stable

após instalado, podemos usar o flutter normalmente usando chamando diretamente ou através do comando do FVM, para uma lista de comando mais detalhadas consulte a documentação.

Caso para instalar versões especificas do SDK do flutter, basta utilizar o comando acima subsistido stable pela versão que deseja. Para ver as verões disponíveis utilize o comando abaixo.

 fvm releases

Para alternar as versões de uso do SDK basta utilizar o comando abaixo.

 fvm use XXX

Obs: lembrado que quando instalar uma versão anterior, não rode o comando de atualização do SDK do flutter. Isso fará com que quebre o funcionamento do FVM.

Traefik HUB

Pedro Stéfano — Sat, 02 Jul 2022 01:43:22 +0000

Quem é desenvolvedor, principalmente se estiver começando na carreira por vezes precisa realizar testes com chamada externa. Seja para homologar alguma funcionalidade ou teste de segurança. Contudo nem sempre possuímos recursos, entenda por um nome de domínio, para poder deixar nossos aplicativos exposto na internet por meio de um domínio. Nesse artigo vou lhes apresentar a nova ferramenta lançada pela equipe do Traefik que vem dar ajuda nesse quesito com a nova ferramenta Traefik Hub. Ela permite expor entry points de forma fácil na internet e com SSL. Quem quiser consultar o lançamento pode dar uma olhada no anuncio através desse link.

Funcionamento

Antes de colocarmos a mão na massa, vamos a um pequeno resumo de como ele funciona.

En nossa host de container, rodará um agente que fará uma espécie de rede na nuvem entre a nossa infraestrutura e o Traefik. Dessa forma ele atuará como uma espécie de HUB. Os servidores atuará como proxy fornecendo uma URL de conexão para os entry points. Após a configuração, toda a configuração e gerenciado é realizado pelo site da plataforma. Além disso, é possível configurar autenticação para acesso as url utilizadas para acesso, permitindo adicionar uma proteção para testes que não é interessante ficar exposto a internet livremente.

Mão na massa.

Não vou entrar em detalhes sobre instalação e configuração do docker e docker compose.

Vamos criar um 'docker-compose.yml' com o conteúdo abaixo, lembrando de informar seu token de conexão com o HUB.
Para pegar seu token, acesse esse link

version: "3"

services:
  # Start the agent with the latest version
  hub-agent:
    image: ghcr.io/traefik/hub-agent-traefik:v0.7.2
    container_name: hub-agent
    restart: "on-failure"
    command:
      - run
      - --hub.token=TOKEN_TRAEFIKHUB
      - --auth-server.advertise-url=http://hub-agent
      - --traefik.host=traefik
      - --traefik.tls.insecure=true
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    depends_on:
      - traefik

  # Start Traefik with the latest version
  traefik:
    image: traefik:v2.7
    container_name: traefik
    command:
      # Enable Hub communication (open the port 9900 and 9901 by default)
      - --experimental.hub=true
      - --hub.tls.insecure=true
      - --metrics.prometheus.addrouterslabels=true

vamos dar start no agente e no traefik

'docker-compose up -d'

Uma vez que o agente esta funcionamento podemos acessar o site do Traefik HUB e publicar nossos containers na internet. Uma vez listado nossos containers vamos acessar um deles para gerar a URL de acesso

Vamos confirmar a porta de entrada do container, se necessário a política de acesso, e publicar nosso container na web.

Uma vez publicado, será disponibilizado a url para acesso ao container já com o SSL configurado. Mas alegria de pobre dura pouco. O serviço possui duas limitações, limite de 1G de trafego, o que é muita coisa se considerar o uso para apis e você pode publicar somente 10 servidos/containers.

Bom, como pudemos ver, em menos de 5 minutos é possível publicar sua api/aplicação na web se forma segura. Claro que no momento (06/2022) não é recomendar o uso em produção visto que o recuso esta em beta, mas o propósito desse novo recuso vem facilitar muito a vida dos desenvolvedores.

Links úteis:

https://traefik.io/blog/publish-and-secure-applications-with-traefik-hub/

SEO
Como publicar container com SSL
Disponibilizar API com SSL
configurar container com SSL
configurar letsencrypt Trafefik

Keycloak instalação - P03

Pedro Stéfano — Tue, 10 Aug 2021 01:13:45 +0000

Bom, como mencionado na parte 02, estamos com o servidor pronto para execução. Entretanto, por medida de segurança, para a criação do usuário administrador da aplicação é necessário acessar a aplicação usando o endereço localhost, e ao menos que esteja executando um servidor com ambiente gráfico, não será tão simples o acesso.

Vamos fazer uma execução inicial e ver se a aplicação esta apta para produção/configuração inicial.
Vamos acessar a pasta bin e iniciar o script standalone.sh.
Caso seja executado sem a passagem do parâmetro -b=0.0.0.0, não será possível acessar a aplicação pelo endereço externo do servidor.

./standalone.sh -b=0.0.0.0

Apos o sistema criar a base de dados inicial, fazer algumas migrações e etc, já conseguimos acessar a interface de gerenciamento do keycloak. Entretendo, podemos observar que somos orientado a acessar a mesma via endereço localhost para a criação do usuário administrador.

Uma forma de contornar isso é realizar um redirecionamento de porta por meio de um túnel sobre ssh. Dessa forma ao tentar acessar uma porta no computador local, as solicitações serão feitas para o servidor remoto a qual estamos conectados.
Contudo, existe um script para a criação e associação de usuários aos realms da aplicação.

./add-user-keycloak.sh -r master -u pedrostefanogv -p testekeycloak

Uma vez que o usuário inicial está criado, podemos acessar ao painel administrador do Keycloak, lembrando que devemos iniciar o servidor novamente. Como podemos verificar na imagem abaixo, agora está disponível a opção de realizar login.

No próximo artigo, vou abordar como configurá-lo para rodar como serviço no Ubuntu. Dessa forma, garantimos que ao reiniciar o servidor ou caso a sessão do usuário seja encerada, a aplicação continue em execução.

Keycloak instalação - P02

Pedro Stéfano — Tue, 27 Jul 2021 20:02:58 +0000

Com a nossa maquina virtual preparada, vamos proceder com a instalação do JDK para rodar o Keycloak e a instalação inicial do mesmo.

vamos verificar se possuímos o java instalado, caso contraŕio, instalaremos a versão default do mesmo, uma vez que é necessário para rodar o Keycloak.

java -version

Como podemos ver, não possuímos o java instalado, procederemos com a instalação da versão padrão

sudo apt-get install default-jdk -y

Apos instalado, vamos verificar se esta tudo ok

java -version

Agora vamos baixar e extrair os arquivos do keycloak
*No momento que escrevo esse artigo a versão mais recente é a 14.0

wget https://github.com/keycloak/keycloak/releases/download/14.0.0/keycloak-14.0.0.tar.gz

sudo tar -xvzf keycloak-14.0.0.tar.gz

Para uma melhor organização vamos criar uma pasta em /opt para rodar o keycloak

sudo tar -xvzf keycloak-14.0.0.tar.gz

Vamos verificar se os arquivos estão no local correto

ls /opt/keycloak/

Nesse ponto estamos com o servidor pronto para execução inicial. No próximo artigo vou mostrar como executar de forma standalone, ou seja, de forma autônoma sem depender de terceiros. Além disso os passos necessários para a configuração inicial. Como o servidor não possui interface gráfica, será necessário realizar um redirecionamento de porta via ssh em uma maquina com navegador para criar o usuário administrador.

Keycloak instalação - P01

Pedro Stéfano — Fri, 23 Jul 2021 01:05:06 +0000

Nessa serie de artigos vou abordar como realizar a instalação e configuração inicial do Keycloak. Ele é uma ferramenta gratuita mantida pela RedHat para gerenciamento identidade e permissões.

Parte 01 - Preparando ambiente

Irei utilizar uma maquina com o Ubuntu server 21.04. Não vou abordar a instalação do SO, segui o padrão. No meu caso o sistema esta em inglês, com isso precisamos mudar o locale para pt-BR para o sistema identifique corretamente a língua usada e não gere conflitos de acentuação e quebra de carácter invalido.

Aqui podemos ver o idioma configurado

locale -a

Idioma definida como padrão

locale

Instalando e definindo o português como padrão, selecionamos as duas opções disponíveis e definimos como padrão a opção com UTF8

sudo dpkg-reconfigure locales

Após reiniciar, podemos confirmar que o idioma foi alterado.

Nos temos um homelab

Pedro Stéfano — Tue, 15 Jun 2021 14:54:38 +0000

Parafraseando um pouco a missão Apolo da NASA,"Houston, we have a problem"; Nos temos um homelab.

Sempre tive a vontade de escrever alguns artigos para a internet, talvez como uma forma de retribuir um pouco o que aprendi pesquisando um pouco pelo google a fora, acredito que tenha chegado a hora.

Depois de algumas tentativas, montei um pequeno homelab, é singelo em suas configurações, uma única maquina, I3 16G DDR4 e alguns HDs, mas acredito que vá dar oportunidade de brincar com muitas tecnologias que tenho vontade. Pertento falar um pouco de tudo, de questões de infra a programação. Não elaborei como será conduzido mas espero poder compartilhar o que aprendi e ate mesmo para servir de cola em algum momento. Num próximo artigo espero falar sobre o Proxmox que vou utilizar para virtualização, instalação dicas e algumas dificuldades que tive para configura-lo.