Com a adoção do processo Agile, a equipa gostaria de iniciar a automação de testes para garantir um processo mais simplificado. Então, fiz algumas pesquisas e selecionei as duas ferramentas gratuitas dignas de interesse, Katalon Studio e Robot Framework, que parecem promissoras para os testes de projeto. Ambas as ferramentas são construídas sobre a estrutura Selenium e Appium e podem ser usadas para automação da Web, dispositivos móveis e serviços da Web.
O Katalon Studio é bastante novo no mercado, com seu primeiro lançamento público em 2016, enquanto o Robot Framework estava no mercado desde 2008.
Veja abaixo a comparação das duas ferramentas:
1. Facilidade de instalação
O Katalon Studio fornece uma instalação sem complicações, aonde todas as dependências necessárias estão agrupadas em um único pacote de instalação e pode simplesmente extrair o pacote para começar. Fácil! 🙂
O Robot Framework, por outro lado, é um framework genérico de automação de teste que exige que todos os pacotes, drivers e dependências de bibliotecas necessários fossem baixados manualmente de seus respectivos sites e instalados um a um. Após a instalação, outras etapas manuais obrigatórias, como a configuração de variáveis e caminhos do ambiente, devem ser executadas.
A instalação e a configuração do ambiente do Robot Framework são mais tediosas em comparação com o Katalon Studio. Definitivamente, o Katalon Studio ganha o primeiro ponto aqui.
Vencedor: Katalon Studio
2. Amplo Suporte a Produtos
Ambas as ferramentas são poderosas e oferecem uma ampla variedade de produtos, permitindo a automação de testes de aplicativos da Web, móveis, serviços RESTful e baseados em SOAP.
A vantagem do Robot Framework é que ele suporta testes de aplicativos de desktop. Para fazer isso, precisa importar as bibliotecas de terceiros, como AutoITLibrary e RemoteSwingsLibraries . O Katalon Studio, no entanto, não suporta testes de aplicativos de desktop. Com esse suporte adicional a aplicativos de desktop, o Robot Framework ganha aqui.
Vencedor: Robot Framework
3. Facilidade de uso (na perspectiva de um testador)
O Katalon Studio torna possível automatizar o teste de aplicativos da Web e móveis sem a necessidade de habilidades de codificação, com a ajuda de seus poderosos recursos internos e interface de usuário amigável. Ao iniciar o IDE, o acesso rápido ao guia de Introdução, tutoriais e vários projetos de exemplo permitem que novos usuários escolhem facilmente essa ferramenta. Além disso, o atalho do IDE para pesquisa de fórum e bate-papo da comunidade oferece acesso rápido aos suportes. Os testadores, mesmo aqueles sem habilidades técnicas, podem iniciar a automação de testes com o Katalon Studio em questão de dias.
O Robot Framework é uma ferramenta poderosa de código aberto, que oferece recursos avançados e é adequada para usuários mais avançados. Para os iniciantes na ferramenta, leva um tempo para configurar o ambiente de trabalho inicial, pois a configuração não é simples. Precisará primeiro ler e entender os documentos da API para criar scripts de teste de automação. Esse tempo de aceleração seria muito mais longo para testadores sem conhecimento prévio de desenvolvimento.
Vencedor: Katalon Studio
4. Gravação e Reprodução
O Katalon Studio fornece um poderoso recurso de registro interno nos principais navegadores, incluindo Chrome, Firefox e Internet Explorer. Ele captura as ações dos usuários e gera códigos automaticamente para criar scripts executáveis. Como o pacote inclui os drivers do navegador, ele permite que os usuários reproduzam as etapas gravadas usando um único script em vários navegadores, bem como no modo sem cabeça, sem a necessidade de esforços adicionais de configuração.
O Robot Framework não possui nenhum utilitário de gravador embutido. Precisará instalar a extensão do navegador de terceiros – RobotRecorder, que é suportado apenas no navegador Chrome. Para reproduzir scripts gravados, é necessário baixar e copiar manualmente as etapas necessárias no Robot Framework IDE (RIDE). Para executar testes em navegadores diferentes, os drivers específicos do navegador aplicáveis aos respectivos navegadores precisarão ser baixados manualmente e copiados no diretório instalado.
O Katalon Studio ganha o ponto aqui, pois fornece um utilitário de gravação e reprodução muito mais simples e sem esforço em comparação com o Robot Framework.
Vencedor: Katalon Studio
5. Gerenciamento de Teste
O Katalon Studio possui uma interface gráfica de usuário (GUI) abrangente, que inclui menus, visualizações em árvore e tabelas para gerenciar casos de teste, objetos, conjuntos de testes, arquivos de dados, palavras-chave e ouvintes. Ele fornece uma interface de editor duplo, modo manual e modo de script. A interface do Modo manual permite que os usuários selecionem palavras-chave incorporadas em listas suspensas, objetos de arrastar e soltar, movam as etapas de teste para cima e para baixo na tabela. O Modo Script fornece destaque de sintaxe da linha de comandos de script, utiliza assistência de código e depuração. Recaptura novos objetos para misturar / substituir objetos existentes e renomear objetos que podem ser facilmente manipulados no Katalon Studio.
Em comparação, o RIDE do Robot Framework fornece uma interface gráfica de usuário menos fantasiosa. Não permite arrastar e soltar objetos. A atualização e a renomeação de objetos causariam falhas nos testes, pois os usuários precisam atualizar os scripts de teste. O gerenciamento de objetos e scripts de teste pode ser um desafio para testadores não técnicos.
O recurso de modo duplo fácil de usar e o design de gestão de teste do Katalon Studio facilitam a gestão de testes. +1 Ponto para o Katalon Studio.
Vencedor: Katalon Studio
6. Linguagem de script
Java / Groovy é a única linguagem de script suportada para o Katalon Studio.
O Robot Framework é escrito em DSL (Domain Specific Language), no entanto, o seu vocabulário personalizado pode ser escrito em Python e Java.
Eu diria que é um empate para essa comparação, pois depende da preferência dos utilizadores pelas linguagens de script.
Vencedor: empate
7. Desempenho
O Katalon Studio é uma ferramenta baseada no Groovy. Leva mais tempo para compilação e execução de testes, pois ele precisa carregar muitas bibliotecas para analisar dados de teste, objetos de teste e log etc.
O Robot Framework é baseado em python, que é mais leve, portanto, possui um melhor desempenho com compilação e execução de teste mais eficientes. O Robot Framework ganha esse ponto.
Vencedor: Robot Framework
8. Suporte para gestão do ciclo de vida de aplicativos (ALM) e integração contínua (CI)
O Katalon Studio e o Robot Framework são capazes de oferecer suporte a várias ferramentas de gestão de ciclo de vida de aplicativos (ALM) e integração contínua (CI) comumente usadas. Alguns exemplos de ferramentas de integração do ALM suportadas incluem Jira e qTest, enquanto alguns exemplos de ferramentas de integração contínua suportadas incluem Jenkins, VSTS e TeamCity. As imagens do Docker de ambas as ferramentas oferecem a conveniência para os usuários executarem comandos simples para a execução do teste de CI. Eu diria um empate aqui.
Vencedor: empate
9. Abrangência dos relatórios de execução de teste
O Katalon Studio fornece relatórios detalhados de execução de testes. Ele gera relatórios em vários formatos e extensões, incluindo HTML, XML, CVS, JSON e JUnit. Os relatórios gerados contêm todas as etapas e resultados do teste, com capturas de tela e logs anexados.
O Robot Framework gera relatórios XML e HTML básicos com informações mínimas. Para gerar um relatório mais abrangente com informações e status suficientes, os testadores precisariam ligar para bibliotecas de terceiros e projetar seu próprio formato de relatório com as informações desejadas. A habilidade de codificação seria necessária para gerar relatórios em outros formatos e tipos de arquivo.
Costumo dar esse ponto ao Katalon Studio.
Vencedor: Katalon Studio
10. Comunidades de suporte e lançamentos
O Katalon Studio e o Robot Framework têm comunidades e fóruns ativos, importantes para aplicativos de freeware / código aberto, a fim de obter os apoios necessários.
O Katalon Studio possui equipas dedicadas e fornece serviços de suporte comercial. Eles anunciam seu roteiro publicamente, fornecendo uma imagem clara de seus próximos recursos e agendando lançamentos mensais de seus produtos. Seus roteiros são baseados na votação pública de sugestões de recursos, que o tornam mais aplicável às necessidades dos usuários.
O Robot Framework, por outro lado, é um software de código aberto que depende da contribuição do público.
O último ponto também vale para o Katalon Studio.
Vencedor: Katalon Studio
Conclusão
Como resumo, existem no total 6 vantagens para o Katalon Studio e 2 vantagens para o Robot Framework e 2 empates sobre a puntuação de 10 pontos acima.
De maneira geral, as duas ferramentas são ótimas para automação de testes. Eles têm as suas prós e contras e a escolha de quais ferramentas usar depende das necessidades e do nível técnico dos utilizadores. A instalação sem complicações, a configuração rápida e os poderosos recursos internos do Katalon Studio o tornam mais intuitivo para os utilizadores tecnicamente menos inclinados. O Robot Framework, por outro lado, fornece mais flexibilidade e personalização para utilizadores avançados.
Fonte: Lee Gary