Dicas, Docker, Linux

Comandos Docker: torne sua CLI mais fácil e ágil

Tips & Tricks SeriesApós trabalhar um tempo com Docker na linha de comando você percebe que alguns comandos são muito repetitivos e um tanto chatos. Apesar de o cliente de linha de comando do Docker ser extremamente poderoso, existe uma infinidade de parâmetros e combinações para se lembrar.

Em um ambiente Unix-like (*-Linux, Mac, etc) é possível tornar algumas tarefas repetitivas um pouco mais ágil e divertida. Veja como é possível definir algumas variantes dos comandos Docker mais comuns: docker run, docker psdocker images, docker inspect, docker exec, e assim por diante…

É possível definir novos comandos e expor em seu profile shell utilizando aliases e functions via Linux Shell. Veja alguns que defini em meu ~/.bash_profile (pode ser o ~/.bashrc também!):

NOTA: após editar e salvar o arquivo execute ‘source ~/.bash_profile’ para carregar as novas definições em sua shell.

Nas duas primeiras linhas defini dois alias:

  • di: listar as imagens em meu repositório local; e
  • dps: listar todos os containers criados

Em seguida defino algumas funções que utilizam sub-comandos e combinações de parâmetros um pouco mais elaborados:

  • dock-run <nome ou id da imagem>: cria um container utilizando a imagem informada
  • dock-exec <nome ou id do container>: executa o shel (/bin/sh) do container informado. Equivalente ao docker attach
  • dock-ip <nome ou id do container>: obtém o endereço ip do container
  • dock-rmc: remove todos os containers inativos (com status exited)
  • dock-rmi: remove todas as imagens com id ‘none

Espero que essa dica seja útil pra vocês também!

Compartilhe seus comandos também comentando abaixo ;-)

Containers, Dicas, Docker, Geral

Como me mantenho atualizado sobre a onda Containers, Docker e afins…

Olá!realcontainers

Neste post quero compartilhar algumas referências que venho utilizando para, não apenas aprender, mas principalmente me manter atualizado sobre o tópico Containers, Docker, Kubernetes (orquestração) e afins…

Como tudo tem um início, segue alguns links interessantes pra quem está començando no assunto. O site opensource.com é uma excelente fonte pois reúne o que há de mais relevante no mundo Open Source. Abaixo alguns artigos para conhecer Docker:

opensourceblog

 

O Site CenturyLink Labs também disponibiliza artigos exelentes escritos pelos principais especialistas no assunto.centurylink labs

Para quem está interessando em desenvolver aplicações nesse novo paradigma de Cloud e Containers sugiro seguir o Blog do Arun Gupta: http://blog.arungupta.me/

Arun Gupta weblog

Arun é um dos vários evangelistas Red Hat que escreve  sobre JavaEE, Docker, Containers, Microservices e demais soluções Red Hat JBoss Enterprise Middleware

Após conhecer esse novo mundo , sugiro assinar essas duas Newsletter

Alguns perfis que vale a pena seguir no Twitter_logo:

Para uma abordagem Corporativa do uso de Containers veja:

red hat containers

BPMS, Dicas, JBoss, Middleware

JBoss BPM Suite: Project Deployment Override

In this post I want to share a useful tip for those working with Red Hat JBosTips & Tricks Seriess BPM Suite 6.x (based on Drools jBPM 6.2). During development phase is normal to redeploy your project many times to view/test your changes.images_branding_product-logos_bpm-suite-19

As you already know the JBoss BPM Suite offers a rich and powerful Workbench that supports the full BPM life circle (from design to deployment) – Business Central (Kie Workbench).

In the business-central every time you try to do a build your project It also tries to deploy in the jBPM runtime. BPMS-6.2-BuildDeploy

At this time the jBPM Deployment Manager checks for any existing project artifact with the same Maven GAV coordinates (Group Artifact Version). The Maven GAV coordinate uniquely identifies each project artifact deployed and managed by the BPMS. So when you try to redeploy your project without change the project version before, your Build & Deploy will fail.

JBoss BPM Suite Travel Agency Demo
JBoss BPM Suite Travel Agency Demo: https://github.com/jbossdemocentral/bpms-travel-agency-demo

In the server.log you can see the following error entry:

16:46:21,464 ERROR [org.jbpm.console.ng.bd.backend.server.DeploymentManagerEntryPointImpl] (http-/127.0.0.1:8080-8) Deployment of unit org.specialtripsagency:specialtripsagencyproject:2.0.1 failed: unit already deployed! (override deployment: false): org.jbpm.console.ng.bd.exception.DeploymentException: unit already deployed! (override deployment: false)

You can workaround this going to Process Deployments (top Menu > Deploy in the Business Central) and undeploy  the Process artifact.

BPMS-6.3-Undeploy

But doing this every time you want to test a change is very boring and time consuming.

To avoid this you can pass a System Property to the BPMS during the startup to instruct it to accept artifacts redeployment using the same Maven GAV coordinates.

Start you BPMS server instance using the following system property

./standalone.sh -Dorg.kie.override.deploy.enabled=true

Note: This approach is documented in the official Product documentation – Administration Guide (item 2.4).

Now you can redeploy your process’ project without having to change the project version every time you want t test a change. See the server.log snippet below showing the deployment of my project after our change:

17:53:21,654 INFO [org.drools.compiler.kie.builder.impl.KieRepositoryImpl] (http-localhost/127.0.0.1:8080-3) KieModule was added: MemoryKieModule[releaseId=org.specialtripsagency:specialtripsagencyproject:2.0.1]
17:53:21,945 INFO [org.jbpm.kie.services.impl.store.DeploymentSynchronizer] (http-localhost/127.0.0.1:8080-3) Deployment unit org.specialtripsagency:specialtripsagencyproject:2.0.1 removed successfully
17:53:21,947 INFO [org.jbpm.console.ng.bd.backend.server.DeploymentManagerEntryPointImpl] (http-localhost/127.0.0.1:8080-3) Deploying unit org.specialtripsagency:specialtripsagencyproject:2.0.1
17:53:22,392 INFO [org.drools.compiler.kie.builder.impl.KieRepositoryImpl] (http-localhost/127.0.0.1:8080-3) KieModule was added: ZipKieModule[releaseId=org.specialtripsagency:specialtripsagencyproject:2.0.1,file=/home/rsoares/.m2/repository/org/specialtripsagency/specialtripsagencyproject/2.0.1/specialtripsagencyproject-2.0.1.jar]
17:53:22,785 INFO [org.jbpm.kie.services.impl.store.DeploymentSynchronizer] (http-localhost/127.0.0.1:8080-3) Deployment unit org.specialtripsagency:specialtripsagencyproject:2.0.1 stored successfully

I hope this little tip help your JBoss BPM Suite usage during process development.

Dicas

Dell DVD Store Sample Data Base: um Banco de Dados pronto para testes

Procurando por um Banco de Dados pronto para testes? Precisa de um modelo de dados relacional para implementar um laboratório, testar um novo framework, testar uma integração envolvendo acesso a banco de dados, provar um conceito ou algo do tipo? Quer fazer um benchmark do seu Banco de Dados para aplicar um Tuning específico? Data Base

Bom, eu precisei disso recentemente e, para poupar tempo resolvi “googlar” antes…

Eu poderia usar a criatividade e criar um modelo de domínio fictício para implementar um Banco de Dados na mão. Mas preferi usar um pronto e focar na ideia que estava querendo implementar.

Na Wiki do Postgres encontrei uma página que descreve e oferece várias opções de “Bancos de Dados de Exemplo”. Alguns com dados abertos de algumas agências governamentais e ONGs, outros para testes de performance (Benchmarks), outros com modelo de um determinado domínio de negócio. Os exemplos contemplam tabelas, relacionamento e integridade referencial , funções (Stored Procedures) e o melhor: dados pré carreados! \o/

Nessa Wiki encontrei uma referência para um Banco de Dados chamado “Dell DVD Store“. Trata-se de um Banco de Dados que implementa o modelo de domínio de uma loja de DVDs – básico né?! Bom, o que mais me interessa não é o modelo em si, mas a massa de dados. O Modelo do banco é composto por 8 tabelas e 6 funções (Stored Procedures).

O mais interessante deste exemplo é que ele é composto por um Kit que lhe permite gerar diferentes cargas de dados: small, medium e large. Veja a tabela abaixo com os tipos de carga disponível.

Database    Size     Customers             Orders   Products
Small      10 MB        20,000        1,000/month     10,000
Medium      1 GB     2,000,000      100,000/month    100,000
Large     100 GB   200,000,000   10,000,000/month  1,000,000

Com os scripts (Scripts Perl) disponíveis no Kit é possivel gerar uma massa de dados de 100GB. Excelente para testes de performance!

O Kit também oferece uma forma de gerar testes de carga simulando transações OLTP. E também oferece uma implementação de aplicação PHP e JSP para interagir com o Banco. Imagine a possibilidade dessa funcionalidade! Com isso você pode gerar uma carga real de transações e ao mesmo tempo testar o comportamento de sua aplicação neste cenário de carga na camada de dados…. Show né?!

Mais um detalhe importante: é possível gerar o Banco de Dados para diferentes SGBDs (Oracle, MS SQL Server, MySQL e Postgres).

Neste post descrevo os passos que executei para criar o Banco de Dados (tamanho small) em uma instalaçao do Postgres 9.4 que já possuia em uma VM rodando Red Hat Enterprise Linux 7. Caso queira explorar as demais opções do Kit, leia as instruções no arquivo ‘ds2/ds2.1_Documentation.txt

Acesse a página do exemplo (Dell DVD Store 2 Sample Database) e faça o download dos arquivos:

ds21.tar.gz
ds21_postgresql.tar.gz
readme.txt

Extraia os arquivos tgz e, um diretório temporário (ex: /tmp)

cd /tmp
tar -zxvf ds21.tar.gz
tar -zxvf ds21_postgresql.tar.gz

Para carregar criar o DB (small) no Postgres 9 abra o arquivo ‘/tmp/ds2/pgsqlds2/ds2_pgsql_readme.txt
e siga as instruções a partir do tópico ‘On PostgreSQL machine

sudo su - postgres

-bash-4.2$ createuser -d -l -P --interactive ds2
Enter password for new role: 'ds2'
Enter it again: 'ds2'
Shall the new role be a superuser? (y/n) y

Altere o arquivo ‘/var/lib/pgsql/9.4/data/pg_hba.conf‘ para permitir que usuários locais (do sistema operacional) possam se conectar ao postgres
Mude o valor da coluna ‘METHOD‘ de ‘ident‘ para ‘trust

vim /var/lib/pgsql/9.4/data/pg_hba.conf
# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
local all all peer
# IPv4 local connections:
host all all 127.0.0.1/32 trust
# IPv6 local connections:
host all all ::1/128 trust

volte para o shell anterior e reinicie o serviço do Postgres

sudo systemctl stop postgresql-9.4.service
sudo systemctl start postgresql-9.4.service

teste a conexão com o banco

psql -h localhost -p 5432 -U ds2 -d postgres
psql (9.4.1)
Type "help" for help.

postgres=# \q

acesse o diretório ‘/tmp/ds2/pgsqlds2

Ctrl + D
cd /tmp/ds2/pgsqlds2

altere o script ‘pgsqlds2_create_all.sh’

onde está

'createlang plpgsql ds2'

altere por

'createlang plpgsql $CONNSTR -d $DBNAME -U $SYSDBA'

execute o Script shell para carregar os dados

bash pgsqlds2_create_all.sh

A seguinte saída deve aparecer na console

NOTICE: database "ds2" does not exist, skipping
DROP DATABASE
CREATE DATABASE
ERROR: role "ds2" already exists
ALTER ROLE
ERROR: relation "customers" does not exist
ERROR: relation "orders" does not exist
ERROR: relation "orderlines" does not exist
ERROR: relation "cust_hist" does not exist
...
CREATE TABLE
CREATE TABLE
CREATE TABLE
...
COPY 5010
COPY 4942
COPY 5010
COPY 5163
COPY 4992
COPY 4951
ALTER TABLE
ALTER TABLE
COPY 10000
ALTER TABLE
ALTER TABLE
COPY 10000
ALTER TABLE
CREATE INDEX
CREATE INDEX
CREATE INDEX
...
CREATE ROLE
GRANT
GRANT
GRANT
ANALYZE

O Banco de Dados ‘ds2‘ foi gerado com o seguinte Schema

DVD Store Release 2 Database Schema
-----------------------------------

Table Columns Number of Rows (Large database)
----- ------- -------------------------------

Customers CUSTOMERID 200 million
FIRSTNAME
LASTNAME
ADDRESS1
ADDRESS2
CITY
STATE
ZIP
COUNTRY
REGION
EMAIL
PHONE
CREDITCARDTYPE
CREDITCARD
CREDITCARDEXPIRATION
USERNAME
PASSWORD
AGE
INCOME
GENDER

Orders ORDERID 120 million
ORDERDATE
CUSTOMERID
NETAMOUNT
TAX
TOTALAMOUNT

Orderlines ORDERLINEID 600 million
ORDERID
PROD_ID
QUANTITY
ORDERDATE

Cust_Hist CUSTOMERID 600 million
ORDERID
PROD_ID

Products PROD_ID 1 million
CATEGORY
TITLE
ACTOR
PRICE
SPECIAL
COMMON_PROD_ID

Inventory PROD_ID 1 million
QUAN_IN_STOCK
SALES

Reorder PROD_ID variable
DATE_LOW
QUAN_LOW
DATE_REORDERED
QUAN_REORDERED
DATE_EXPECTED

Categories CATEGORY 16
CATEGORYNAME

Execute um o seguinte comando SQL para testar o Banco de Dados criado:

psql -h localhost -p 5432 -U ds2 -d ds2
ds2=# select count(*) from customers;
count
-------
20000
(1 row)

Após a criação e carga inicial a tabela ‘CUSTOMERS‘ possui 20 mil registros.

Por enquanto é isso.

Em um próximo post pretendo explorar os scripts de carga disponíveis no Kit.

Dicas, Linux, RHEL

Dica para usuários do YUM: gerenciador de pacotes em sistemas Red Hat like

Volta e meia preciso usar algum comando mais específico do YUM ou RPM no Red Hat Enterprise Linux. Entenda por “mais específico” qualquer comando diferente de:YUM Cheat Sheet for RHEL

yum search‘, ‘yum install‘, ‘yum erase, remove

rpm -qa‘ ou ‘rpm -ivH

Em uma ocasião mais recente precisei investigar onde o yum havia instalado o conteúdo de um determinado pacote no sistema.

Pesquisando no Google descobri o utilitário ‘repoquery‘ disponível no pacote ‘yum-utils‘. Este comando permite listar o conteúdo do pacote rpm mostrando os paths dos arquivos instalados no sistema de arquivos.

Exemplo: para listar o conteúdo do pacote ‘rhscl-dockerfiles’ instalado no RHEL 7, utilize o comando abaixo.

$ sudo repoquery -l rhscl-dockerfiles
/usr/share/rhscl-dockerfiles
/usr/share/rhscl-dockerfiles/rhel6
/usr/share/rhscl-dockerfiles/rhel6/httpd24
/usr/share/rhscl-dockerfiles/rhel6/httpd24/Dockerfile
/usr/share/rhscl-dockerfiles/rhel6/httpd24/README.md
/usr/share/rhscl-dockerfiles/rhel6/httpd24/enablehttpd24.s
...

Bem, a dica é que existe um documento chamado  ‘YUM COMMAND CHEAT SHEET‘ disponível no site da documentação oficical do Red Hat Enterprise Linux. Trata-se de uma listagem bem objetiva dos principais comandos e opções avançadas do mecanismo de gerência de pacotes do RHEL (yum). O PDF é público e pode ser obtido através do link [1]

___

[1] https://access.redhat.com/sites/default/files/attachments/rh_yum_cheatsheet_1214_jcs_print-1.pdf

JBoss, Middleware

Montando um ambiente JBoss EAP 6 (Domain Mode) com Monitoramento e Gerência

Recentemente resolvi escrever um roteiro de como implementar um ambiente para hospedar aplicações corporativas desenvolvidas em JavaEE utilizando o Red Hat JBoss Enterprise Application Platform 6.

O ambiente proposto nesse roteiro utiliza uma stack inteiramente Red Hat. Existem vários roteiros disponíveis pela Internet utilizando as versões Community dos produtos JBoss Middleware: Wildfly, RHQ, Fedora etc. Eu particularmente recomendo um excelente roteiro escrito pelo colega Maurício Magnani em seu blog JBoss Divers:

A motivação de escrever “mais um” roteiro sobre este tópico surgiu após a realização de algumas Provas de Conceito (PoC) envolvendo a versão Enterprise dos Produtos JBoss fornecidos e mantido pela Red Hat.

Após escrever o roteiro decidi torná-lo público de forma a ajudar outros profissionais com interesse em experimentar um ambiente utilizado o JBoss EAP.

O ambiente proposto no roteiro utiliza o modo Domain do JBoss EAP 6 que permite a implantação e o provisionamento de instâncias do Servidor de Aplicação de forma distribuída em vários Hosts. Oferecendo ainda uma administração centralizada através do componente Domain Controller. O ambiente também contempla um servidor web que atua como proxy reverso e balanceado de carga para requisições Htttp utilizando o mod_cluster, bem como a parte de monitormaento e gestão do ambiente utilizando o JBoss Operations Network.

Enfim, o roteiro está disponível em meu repositório GitHub chamado asciidocs.Utilizei o formato texto AsciiDoc para escrever o documento, pois considero um formato simples, fácil de compartilhar e manter e extremamente portável. Textos em AsciiDoc podem ser convertidos em diversos outros formatos: html, pdf, ePUB, DocPub etc.

Para renderizar o documento asciidoc utilizo a ferramenta AsciiDoctor. Veja o resultado do documento no formato html5 na imagem abaixo

AsciiDoc convertido para HTML5 utilizando o AsciiDoctor
AsciiDoc convertido para HTML5 utilizando o AsciiDoctor

Sinta-se a vontade para clonar o texto disponível no GitHub e compor sua própria documentação!

Por se tratar de um documento texto o asccidoc pode ser editado em qualquer editor de texto. Eu particularmente utilizei um editor de texto moderno chamado Atom editor. Esse editor foi criado pelo time do GitHub e possui inúmeras funcionalidades e plugins. Veja o Atom com o plugin do AsciiDoctor

Atom editor com plugin do AsciiDoctor instalado.
Atom editor com plugin do AsciiDoctor instalado.

NOTA: para utilizar a ferramenta AsciiDoctor é necessário instalar o suporte ao Ruby em seu ambiente.

Docker, Linux

Excluindo uma tag de um repositório Docker em um registro remoto

Quando voce publica uma imagem Docker em algum repositório remoto (privado ou público) não é possível excluir uma tag da imagem utilizando o cliente docker na linha de comando.

docker rmi <id da imagem>

isso removerá apenas do seu registro local.

Para remover do registro público é necessário utilizar a API REST [1] do serviço de registro do docker.

De acordo com a documentação da API Docker Registry [2] o endpoint é o seguinte:

DELETE /v1/repositories/(namespace)/(repository)/tags/(tag*)

Exemplo:

DELETE /v1/repositories/reynholm/help-system-server/tags/latest HTTP/1.1
Host: registry-1.docker.io
Accept: application/json
Content-Type: application/json
Cookie: (Cookie provided by the Registry)

Exemplo que usei no meu caso:

[root@rhel7-server-1 httpd]# curl -X DELETE my-private-docker-registry.com:5000/v1/repositories/rsoares/rhel7/tags/latest
true

Pronto!

Se o retorno for ‘true‘ sua tag foi removida!

Execute novamente a requisição REST para se certificar

curl -X DELETE my-private-docker-registry.com:5000/v1/repositories/rsoares/rhel7/tags/latest
{"error": "Tag not found"}

Observe o retorno:

{"error": "Tag not found"}

[1] https://docs.docker.com/reference/api/registry_api
[2] https://docs.docker.com/reference/api/registry_api/#delete-a-repository-tag