Forem: Mayron Ceccon

Instalar extensões do vscode no vscodium

Mayron Ceccon — Mon, 15 Mar 2021 23:51:08 +0000

Existem diversas extensões disponíveis para o vscode, mas nem todas são listadas no vscodium.

Para instalar estas extensões, primeiramente devemos acessar o site de extensões do vscode.

No campo de pesquisa buscamos pela extensão desejada e acessamos a página específica da extensão.

Na página da extensão, procure por Resources (fica no lado direto da página) e faça o download clicando em Download Extension

Após o termino do download, navegue até a pasta onde um arquivo vsix foi salvo.

Execute o comando abaixo trocando o extension-name.vsix pelo arquivo baixado, assim a extensão será instalada no seu vscodium.

codium --install-extension extension-name.vsix

Após reiniciar seu vscodium a extensão estará disponível para utilização.

Deadlock e Livelock

Mayron Ceccon — Wed, 22 Jul 2020 11:40:34 +0000

Deadlock

É quando um (se esse processo utiliza threads) ou mais processos esperam a liberação de um recurso para prosseguir, mas esse recurso nunca é liberado, pois o processo/thread A depende de um recurso que deve ser liberado pelo processo/thread B, e o processo/thread B depende de um recurso que deve ser liberado pelo processo/thread A.

Livelock

Quando o estado de dois processos mudam constantemente, mas ao mudar os estados ambos os processos continuam se bloqueando.

Um exemplo real de livelock ocorre quando duas pessoas se encontram em um corredor estreito, e cada uma tenta ser educada movendo-se para o lado para deixar o outro passar, mas elas acabam balançando de um lado para o outro sem progredir, porque ambas se movem repetidamente da mesma maneira ao mesmo tempo.

Input e Output (I/O)

Mayron Ceccon — Tue, 21 Jul 2020 00:32:57 +0000

Input é a entrada de dados em uma unidade de processamento. Estas entradas podem ser feitas por meio físico (hardware) ou lógico (software), esses dispositivos de entrada podem ser, teclados, mouses, webcam, microfones, softwares, entre outros.

Output é a saída dos dados que foram inseridos, após serem processados. Temos diversos tipos de dispositivos de saída, monitor, impressora, caixas de som, arquivos gerados por um sistema, etc.

Esses dados são trocados entre dispositivo de entrada, local de processamento e o dispositivo de saída em formato binário (0 e 1).

O fluxo de input e output de maneira simplória é o seguinte:

Ao digitar uma letra no teclado (exemplo a letra a), esta letra será convertida para o formato binário (01100001), o dispositivo de processamento irá receber esta informação e armazenará em sua memória, quando o CPU estiver livre este código binário será direcionado para o seu processamento (por exemplo converter para maiúscula), com o processamento realizado, este dado binário (01000001) será enviado novamente para a memória, que fará o direcionamento para o dispositivo de saída apropriado.

Alguns links interessantes:

Comparar similaridade de strings com PHP

Mayron Ceccon — Mon, 01 Jun 2020 11:58:13 +0000

Para você que necessita comparar duas strings e verificar o quão parecidas estas são, no PHP temos a função similar_text.

Esta função compara duas strings e pode retornar a quantidade de caracteres similares ou a porcentagem de similaridade das strings.

Abaixo segue um modelo de utilização!

Pub/Sub messaging

Mayron Ceccon — Sat, 23 May 2020 21:39:46 +0000

Publish/subscribe messaging ou pub/sub messaging, é uma forma de comunicação assíncrona service-to-service, utilizada em arquiteturas serverless e de micro-serviços.

O pub/sub permite uma comunicação segura e altamente disponível entre aplicativos criados de modo independente.

Em um modelo pub/sub, qualquer mensagem publicada para um tópico é imediatamente recebida por todos os subscribers deste tópico.

Conceitos

Mensagem: é a combinação de dados e atributos (opcionais) que um editor envia a um tópico e que é entregue aos assinantes.

Tópico: É um recurso nomeado para onde são enviadas as mensagens.

Publish: É quem envia a mensagem para um tópico.

Subscribe: É aquele que esta assinando determinada fila, e recebe as mensagens.

Na prática

Como exemplo criei um projeto, onde, tenho seis subscribers, que estão desenvolvidos em diferentes linguagens, Python, Go, Node, PHP. O publisher foi feito com Python.

Os subscribers estão "assinados" ao tópico topic_create_file.

A responsabilidade de cada subscriber é converter uma mensagem em JSON, para um outro tipo de arquivo, csv, html, xml, xls.

mayronceccon / pub-sub-example

Pub/Sub

Ambiente utilizado

Versão
ubuntu	18.04
docker	19.03.9
docker-compose	1.25.4
python	3.8.3
php	7.4.6
node	12.16.3
npm	6.14.4
go	1.14.3

Redis

docker-compose up --build

Instalação

Python

python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

Node

npm install

Go

go get github.com/gomodule/redigo/redis

PHP

composer install

Execução dos Subscribes

Python

python subscribes/service_csv.py
python subscribes/service_excel.py
python subscribes/service_html.py

Node

node subscribes/service_xml.js

Go

go run subscribes/service_csv.go

PHP

php subscribes/service_csv.php

Execução do Publisher

python publisher.py

View on GitHub

Referências

https://cloud.google.com/pubsub/docs/overview?hl=pt-br
https://aws.amazon.com/pub-sub-messaging/

Utilizar "environment variables" no React fazendo build com Travis

Mayron Ceccon — Thu, 23 Jan 2020 12:26:27 +0000

Quando estiver utilizando environment variables (.env) em seu projeto React e o build estiver sendo feito através do Travis, o arquivo .env não funcionará diretamente no servidor.

Para resolvermos esse problema devemos configurar em nosso Travis as "environment variables".

Primeiro devemos adicionar os dados que vamos usar no arquivo .travis.yml, como exemplo iremos adicionar REACT_APP_URL_API, onde, esta será a URL de consultas de nossa API.

OBS: É obrigatório que a constante tenha o prefixo REACT_APP_

env:
    REACT_APP_URL_API=${url_api}

Agora precisamos referenciar a variável ${url_api} no Travis.

Devemos entre no Travis, selecionar o repositório do projeto, encontrar o menu More options e clicar em Settings.

Vá até a seção Environment Variables e insira a mesma descrição que prencheu no parâmetro acima, no nosso caso "url_api".

Após isso é somente fazer o build e direcionar para o servidor.

Para utilizar em nosso projeto utilizamos process.env.REACT_APP_URL_API

import axios from 'axios';

const api = axios.create({
  baseURL: process.env.REACT_APP_URL_API
});

export default api;

Postgresql com Backup Incremental — parte 4— Restore da base de dados

Mayron Ceccon — Thu, 23 Jan 2020 12:15:42 +0000

Para esta etapa, devemos ter o Postgresql instalado na máquina onde o restore será feito.

Devemos copiar o arquivo base.tar.gz criado a partir do comando pg_basebackup no servidor principal e os arquivos incrementais que estão sendo salvos na pasta /var/lib/postgresql/pg_log_archive.

O aconselhável é sempre fazer a transferência destes arquivos para outro lugar, se ocorrer um problema físico na máquina principal, não será possível acessar estes arquivos e o backup não terá utilidade. Podemos utilizar scp, rsync, ou qualquer outro programa para a transferência.

Devemos parar o serviço do Postgresql da máquina onde será feito o restore.

/etc/init.d/postgresql stop

Dentro da pasta /var/lib/pgsql temos a pasta data, esta pasta é onde encontramos os dados referentes ao Postgresql, como vamos fazer o restore do banco de outra máquina, devemos renomear a pasta data para tmp (ou qualquer outro nome)

mv /var/lib/pgsql/data /var/lib/pgsql/tmp

Agora vamos descompactar o arquivo de backup feito no servidor principal. Se as versões do Linux forem as mesmas, a pasta será criada diretamente dentro de /var/lib/pgsql, se atentar onde a pasta data será criada.

tar xvfP /var/lib/pgsql/base.tar.gz

Ao listar as pastas, você verá que foi criada novamente a pasta data, onde está é a cópia do servidor principal.

Depois desta etapa devemos remover os logs antigos da pasta pg_xlog do arquivo descompactado, para evitar problemas com dados antigos

rm -rf /var/lib/pgsql/data/pg_xlog/*.*

No servidor master "Principal" temos os logs que ainda não foram salvos no arquivo incremental, estes logs estão dentro da pasta pg_xlog. Se não for possível recuperar estes logs, o restore de dados será feito somente a partir do último arquivo incremental.

Se for possível acessar o servidor principal então devemos copiar os arquivos da pasta pg_xlog, para a pasta pg_xlog do servidor onde será feito o restore.

Agora devemos criar um arquivo chamado recovery.conf dentro da pasta /var/lib/pgsql/data/, neste arquivo colocaremos a linha abaixo:

restore_command = 'cp /var/lib/pgsql/pg_log_archive/%f %p'

Onde o caminho /var/lib/pgsql/pg_log_archive/ são os logs incrementais que buscamos do servidor principal.

Devemos também dar permissão ao postgres executar o arquivo

chown postgres.postgres recovery.conf

Após estes passos devemos iniciar o Postgresql novamente, para a importação dos logs

/etc/init.d/postgresql start

Com isso a rotina de backup e restore incremental esta concluída.

Postgresql com Backup Incremental — parte 3 — Fazendo a limpeza de logs (pg_archivecleanup)

Mayron Ceccon — Thu, 23 Jan 2020 12:15:22 +0000

Para a limpeza dos logs antigos usaremos o comando pg_archivecleanup.

O pg_archivecleanup foi projetado para ser utilizado no archive_cleanup_command, após o recovery de um banco secundário. Mas como não estamos trabalhando com replicação, utilizamos de outra forma este comando, para facilitar criei um arquivo bash, onde verifico o último arquivo ".backup" da pasta de logs, e faço a exclusão a partir dele.

Os arquivos .backup contém os dados referentes aos processos do pg_basebackup, informando quais são os logs anteriores a execução.

O arquivo bash ficou com as seguintes linhas de comando:

DIR_LOGS='/var/lib/postgresql/pg_log_archive'
LAST_LOG=$(cd ${DIR_LOGS} ; ls -rt *.backup | tail -1)
/usr/lib/postgresql/9.3/bin/pg_archivecleanup "${DIR_LOGS}" "${LAST_LOG}"

onde,

DIR_LOGS é o local onde os logs (Wal) estão sendo gravados, e o LAST_LOG é o último arquivo .backup salvo, após o processo de pg_basebackup.

Ao executar o pg_archivecleanup, somente os logs (Wal), posteriores ao último basebackup continuam na pasta, com isso evitamos o acumulo de logs.

Em um banco onde se tem muitas transações, sem o devido cuidado com a exclusão dos logs, podemos ficar sem espaço em disco em pouco tempo, por isso é de grande importância esta rotina.

Postgresql com Backup Incremental — parte 2 — Fazendo backup do sistema de arquivos (pg_basebackup)

Mayron Ceccon — Thu, 23 Jan 2020 12:15:02 +0000

Continuando os procedimentos para realizar o Backup Incremental no Postgresql, neste post faremos o backup dos dados do servidor principal, onde este backup será usado posteriormente para o restore.

No servidor principal, vamos utilizar o comando pg_basebackup, onde este comando faz o backup do cluster total do servidor principal, não sendo possível fazer o backup de somente um banco específico.

Executamos o comando abaixo:

pg_basebackup -h127.0.0.1 -U user_replication -D backup -Ft -z -P

os parâmetros utilizados pode sem verificados no site do Postgresql.

Após a execução e conclusão, você pode verificar que foi criada uma pasta chamada backup a partir do diretório onde você executou o comando e dentro desta o arquivo base.tar.gz.

Postgresql com Backup Incremental — parte 1 — Configurando o registro de Logs (Wal)

Mayron Ceccon — Thu, 23 Jan 2020 12:14:40 +0000

Para realizar o backup incremental do Postgresql, utilizaremos o "Continuous Archiving", está técnica permite utilizar o PITR (Point-in-Time Recovery), onde assim é possível realizar a cópia do WAL (Write Ahead Log) do PostgreSQL e utilizar estes logs para atualização de uma base de dados.

Para este tutorial estou utilizando o SO Ubuntu 14.04.

Primeiramente devemos alterar o arquivo postgresql.conf, adicionando os comandos abaixo:

wal_level = hot_standby
archive_mode = on
archive_command = 'test ! -f /var/lib/postgresql/pg_log_archive/%f && cp %p /var/lib/postgresql/pg_log_archive/%f'
max_wal_senders = 2

Após as modificações acima, devemos criar a pasta onde os logs serão salvos e dar permissão ao postgres para acesso da pasta.

mkdir /var/lib/postgresql/pg_log_archive 
chown -R postgres.postgres /var/lib/postgresql/pg_log_archive
chmod 700 /var/lib/postgresql/pg_log_archive/

Agora criaremos um usuário com privilégio de replicação:

su - postgres
psql -c "CREATE ROLE user_replication REPLICATION LOGIN PASSWORD '123';"

Após a criação do usuário "user_replication" devemos alterar o pg_hba.conf, adicionando a regra abaixo, assim, habilitando e permitindo a conexão para a replicação.

host replication user_replication 127.0.0.1/32 trust

Após as configurações, devemos fazer o restart do Postgresql.

/etc/init.d/postgresql restart

Agora seu servidor já esta configurado com o Continuous Archiving.

Releases PHP (PHP museum)

Mayron Ceccon — Sat, 18 Jan 2020 15:38:15 +0000

Para os que gostam de relembrar o passado, o PHP tem um repositório com todas as versões lançadas. Do PHP 1 ao PHP...(último lançamento).

O link é PHP museum

Instalar extensões PHP através do PECL

Mayron Ceccon — Fri, 17 Jan 2020 17:55:20 +0000

PECL

Algumas vezes necessitamos instalar pacotes para que nosso PHP se comporte de uma forma esperada. Para certas situações podemos usar o PECL.

O que é o PECL

É um repositório de extensões PHP

Ambiente

Os testes foram feitos no ambiente:

Fedora 31 - 5.4.8-200.fc31.x86_64
PHP 7.3.13 (cli) (built: Dec 17 2019 10:29:15) ( NTS )

Instalação

O PECL necessita do PEAR instalado, assim, devemos prosseguir com,

dnf install php-pear php-devel

Extensões

Vocẽ pode encontrar diversas extensões no próprio site do PECL https://pecl.php.net/packages.php

Outra opção é utilizar o terminal para a pesquisa de extensões. Suponhamos que necessitamos instalar a extensão "memcache". No seu terminal digite:

pecl search memcache

para a pesquisa realizada teremos o retorno,

Instalação

Depois de encontrar a extensão, devemos fazer a instalação, para isso, utilizaremos o comando:

pecl install memcache

o próximo passo será habilitar a extensão em nosso PHP, o pecl já nos informa o parâmetro a ser adicionado no php.ini

Build process completed successfully

Installing '/usr/lib64/php/modules/memcache.so'
install ok: channel://pecl.php.net/memcache-4.0.5.2

configuration option "php_ini" is not set to php.ini location
You should add "extension=memcache.so" to php.ini

Configuração

Podemos inserir o parãmetro "extension=memcache.so" diretamente no php.ini, ou criar um novo arquivo, exemplo memcache.ini, na pasta de pacotes do php, no meu caso em /etc/php.d/

Agora é somente reiniciar o serviço

systemctl restart php-fpm.service

e utilizar o recurso instalado.