Forem: Renato Assis

Como agendar execução de consultas e comandos pelo PostgreSQL no RDS

Renato Assis — Mon, 07 Feb 2022 13:46:36 +0000

Introdução

PostgreSQL é um banco de dados incrível e que tem crescido nos últimos anos. Possui uma arquitetura modular e de fácil extensibilidade, existem no mercado diversos produtos baseado nele. Um dos recursos mais legais do Postgres são suas extensões. Essas extensões dão a possibilidade ao usuário de estender suas funcionalidades através da instalação de módulos adicionais. Neste artigo abordaremos a utilização da extensão pg_cron disponível no aws rds. O RDS é um serviço de banco de dados gerenciado da Amazon Web Services.

Extensão pg_cron

A extensão pg_cron é um agendador de tarefas simples baseado no cron para PostgreSQL(10 ou superior) que é executado dentro do banco de dados como uma extensão. Ele usa a mesma sintaxe do cron comum, mas permite agendar comandos do PostgreSQL diretamente. A extensão foi desenvolvida pela Citus Data(comprada pela Microsoft). Para mais detalhes veja no link https://github.com/citusdata/pg_cron

Habilitando a extensão no RDS

Neste artigo consideraremos a versão 13 do Postgres. Para habilitar a extensão, primeiramente precisaremos criar um Parameter group. No console da AWS vá em RDS no menu do lado esquerdo clique em Parameter group, conforme imagem abaixo:

Em seguida clique em "create parameter group" no canto superior direito, veja a imagem abaixo:

Em Parameter group family, selecione "postgres 13", em Type deixe o valor como está(DB Parameter Group), no campo Group name coloque um identificador apropriado, em Description coloque um valor apropriado e clique no botão "create", conforme a imagem abaixo:

Na listagem dos Parameters Group procure o parameter group definido no passo anterior, conforme a imagem:

Na caixa de busca pesquise por "shared", conforme a imagem:

Em seguida selecione o parâmetro shared_preload_libraries e clique no botão superior direito "Edit parameter", conforme imagem:

Coloque separado por vírgula a extensão pg_cron e clique em "Save Changes", conforme a imagem:

shared_preload_libraries: pg_stat_statements,pg_cron

Habilitando a extensão em uma instância

Você pode habilitar a extensão em dois momentos, no momento da criação de uma instância ou em uma já criada. Neste artigo vou mostrar como habilitar em uma instância já criada.

No menu do RDS clique em "Databases"

Selecione a instância desejada e clique em "Modify", conforme a imagem a seguir:

Navegue até a opção, Additional configuration > Database options > DB parameter group selecione o parameter group criado nos passos anteriores e em seguida salve a modificação

Feito isso reinicie a instância.

Pronto!!!! Agora precisamos habilitar a extensão dentro da instância do PostgreSQL.

Habilitando a extensão no PostgreSQL

Os metadados para pg_cron são todos mantidos no banco de dados padrão PostgreSQL chamado postgres. Você pode agendar um trabalho em qualquer um dos seus bancos de dados dentro da instância de banco de dados do PostgreSQL.

Conecte no banco padrão chamado postgres e habilite a extensão pg_cron com o seguinte comando:

CREATE EXTENSION IF NOT EXISTS pg_cron;

Feito isso você terá acesso as funções e objetos do pg_cron.

Realizando agendamentos com a pg_cron

Para agendar um comando existem duas opções:

1. Usando a função cron.schedule

SELECT cron.schedule('0 0 * * *', $$DELETE 
    FROM logs
    WHERE end_time < now() – interval '7 days'$$);

Neste caso você deve alterar o banco de dados com um update, pelo fato que o default é o banco padrão postgres

Você pode usar o https://crontab.guru/ para auxiliar na sintaxe do cron

UPDATE cron.job SET database = 'database1' WHERE jobid = 1;

2. Fazendo um insert direto na tabela cron.job

INSERT INTO cron.job (schedule, command, nodename, nodeport, database, username, active,jobname)
    VALUES ('0 0 * * *',$$DELETE 
    FROM logs
    WHERE end_time < now() – interval '7 days'$$, 'localhost', 5432, 'database1','postgres', true, 'clear-log

Você só pode agendar para banco de dados somente dentro da instância, então valor da coluna nodename deve ser sempre localhost

Para consultar a execução dos agendamentos use:

SELECT * FROM cron.job_run_details;

Para remover um agendamento use:

SELECT * FROM cron.job WHERE jobname = 'clear-log';
SELECT cron.unschedule(1);

Lembre-se que sempre que precisar realizar manutenção ou verificar o status dos agendamento vocẽ deve sempre conectar no banco padrão postgres.

Referências

Para configurações adicionais consulte a documentação oficial:

https://docs.aws.amazon.com/pt_br/AmazonRDS/latest/UserGuide/PostgreSQL_pg_cron.html

Para detalhes adicionais da extensão:

https://github.com/citusdata/pg_cron

Extras

Caso queira testar a extensão pg_cron localmente, você pode usar esse dockerfile de exemplo https://github.com/renatoassis01/docker-pg-cron

Opções do Bash

Renato Assis — Mon, 30 Sep 2019 16:58:46 +0000

Escrever shell script para realizar tarefas rotineiras de desenvolvimento pode ser muito útil, porém as vezes nos deparamos com alguns comportamentos inesperados do bash. Neste artigo você aprenderá algumas opções que alteram o comportamento do shell e ou do script e evitam efeitos indesejáveis e que são muito úteis. Use com moderação!

Aqui vai algumas dessas opções:

Abreviação	Nome	Efeito
-e	errexit	Abortar script no primeiro erro, quando um comando sair com status diferente de zero (exceto em for ou while loops, if-tests, list constructs )
-x	xtrace	Semelhante a -v, mas expande os comandos
-v	verbose	Imprima cada comando para stdout antes de executá-lo
-u	nounset	Verifica variáveis indefinidas e força a saída
-o pipefail	-o pipefail	Faz com que um pipeline retorne o status de saída do último comando que retornou um valor de retorno diferente de zero.

Para mais detalhes consulte Tabela 33-1. Opções do bash

Para usar essas opções dentro do script, use o comando set nas seguintes formas: set -o nome-da-opção ou, na forma abreviada, set -opção-abrev. Essas duas maneiras são equivalentes.

Exemplos:

#!/bin/bash
set -v 
...

...
set -o verbose 
...

Para desabilitar uma opção dentro de um script, use set +o nome-da-opção ou set +opção-abrev .

Exemplos:

...
set +o verbose

...
set +v
...

opção -e(errexit)

Essa opção encerra a execução do script no primeiro erro encontrado.

Considere o conteúdo do arquivo script.sh

#! /bin/bash
cat logs.txt
mkdir p
file p

Ao executar o script note que o arquivo logs.txt não existe, porém mkdir é executado

$ ./script.sh  
cat: logs.txt: No such file or directory
p: directory

Adicionando a opção set -e no arquivo script.sh garantirá que ao primeiro erro a execução seja abortada.

#!/bin/bash
set -e
cat logs.txt
mkdir p
file p

$ ./script.sh  
cat: logs.txt: No such file or directory

Observe que o comando mkdir não é processado

opção -x(xtrace)

Considerando o arquivo script.sh

#!/bin/bash
set -x
for x in 1 2 3 4 5
do
   echo "$x"
done
echo 'olá' 
mkdir -p g

Sua saída será:

./script.sh
+ for x in 1 2 3 4 5
+ echo 1
1
+ for x in 1 2 3 4 5
+ echo 2
2
+ for x in 1 2 3 4 5
+ echo 3
3
+ for x in 1 2 3 4 5
+ echo 4
4
+ for x in 1 2 3 4 5
+ echo 5
5
+ echo olá
olá
+ mkdir -p g

opção -v(verbose)

Em comparação com flag set -v

./script.sh   
for x in 1 2 3 4 5
do
   echo "$x"
done
1
2
3
4
5
echo 'olá' 
olá
mkdir -p g

A diferença de x para a opção v é que na opção x é mostrada a execução passo à passo

opção -u(nounset)

Considerando o arquivo script.sh

#!/bin/bash
set  -e

echo "world"
echo "$a"
echo "hello"

Saída:

./script.sh   
world

hello

Note que variável $a não existe, mas o script foi executado mesmo com a opção set -e habilitada.

Com a opção set -eu o comportamento é totalmente diferente.


/script.sh   
world
./script.sh: line 5: a: unbound variable

O bash não executará, pois com a opção -u habilitada ele verifica se todas as variáveis tem algum valor atribuído.

opção -o(pipefail)

Normalmente, o bash apenas consulta o último código de saída de um comando no pipeline de execução. Esse comportamento não é ideal, pois faz com que a opção -e só considere a saída do último comando executado.É aqui que o -o pipefail entra. Essa opção define que o bash verifique o código de saída do comando mais à direita.

Confuso?

Vamos novamente com o script script.sh

#!/bin/bash
set  -e 
bar | echo "O mundo é um redemoinho"
echo "world"
echo "hello"

Saída:

./script.sh   
./script.sh: line 3: bar: command not found
O mundo é um redemoinho
world
hello

As seguinte linhas foram executadas mesmo com a opção set -e definida.

Isso acontece porque a opção set -e só verifica o último status, no caso echo "O mundo é um redemoinho" e como ele foi executado corretamente.

Para alterar esse comportamento é só definir set -o pipefail

Veja que a sintaxe dessa opção deve ser seguida da opção -o

#!/bin/bash
set  -eo pipefail
bar | echo "O mundo é um redemoinho"
echo "world"
echo "hello"

Saída:


./script.sh: line 3: bar: command not found

Use sempre set -o pipefail em conjunto com as outras opções.

Habilitando essas opções em seus scripts, você vai evitar muitos comportamentos inesperados, lembre-se seja cauteloso com o uso dessas opções.