Revisão Sistemática da Literatura: Como Obter Resultados Úteis - Joselaine Valaski - Tutorial@Ontobras 2017

Revisão Sistemática da Literatura: Como Obter Resultados Úteis
Joselaine Valaski

A Revisão Sistemática (RS) é um meio de avaliar e interpretar toda a pesquisa disponível relevante para uma questão de pesquisa, tópico de interesse ou fenômeno de interesse, independente de língua ou meio de publicação. Porém, deve ser também uma síntese dos mais qualificados estudos científicos para um tópico/questão de pesquisa.

É uma tarefa bastante complexa, que requer bastante organização, paciência e tempo. É importante compartilhar com colegas que já fizeram, para saber das novidades na área, do que dá certo ou não, enfim, trocar experiências sobre o assunto.

Ela utiliza:
Guia proposto por Kitchenham et al (2004) - Procedures for Performing Systematic Reviews.

Razões para realizar:

• sumarizar as evidências existentes relacionadas a uma determinada questão/tópico;
• identificar lacunas nas pesquisas atuais com o objetivo de identificar áreas para futuras investigações;
• prover um framework/background com o objetivo de posicionar apropriadamente novas atividades de pesquisa.

Definições:

• Mapeamento sistemático: angaria informações iniciais, sem necessidade de leitura aprofundada para compreensão sobre o que foi feito; não há necessidade de objetivos/questões específicos; identificar lacunas é um objetivo muito comum em mapeamentos sistemáticos
• Revisão sistemática: busca uma compreensão aprofundada do tópico/questão de pesquisa alvo; parte de objetivos e questões de pesquisa já específicas.
• Survey: método de pesquisa que vem das ciências sociais, que usa questionários para levantar informações; segue etapas próprias.

Principais Passos

1) Definir o Objetivo da Revisão 

- normalmente, se inicia com um objetivo bastante genérico e, depois, isso vai se afunilando. Por isso, é preciso fazer um mapeamento sistemático  ou mesmo uma revisão informal (estudo exploratório) para chegar a esse objetivo. Outra ideia é realizar pilotos: selecionar uma única base e selecionar um grupo pequeno de artigos para começar a chegar ao objetivo.

- a exceção é quando a revisão atual é uma replicação de uma anterior, porque aí o objetivo já está definido.

2) Definir as Questões de Pesquisa

Essas questões ajudam a: a) atingir o objetivo da revisão; b) manter o foco, durante as atividades; c) classificação de resultados. 

Dicas:

• os objetivos, questões etc. podem ir se ajustando com o decorrer da revisão
• porém sempre tendo o cuidado de que os resultados atendam ao objetivo principal da RS
• as questões de pesquisa podem emergir da leitura dos artigos selecionados em projeto piloto
• elabore bem as questões, pois elas precisam ser claramente respondidas com os resultados obtidos.

Ferramentas usadas: excel, há um estudo que faz uma RS sobre as ferramentas usadas em RS (ela vai passar).

3) Definir as Palavras Chaves

Objetivo das palavras chaves: Definir um conjunto de palavra chave que retornem o maior número possível de trabalhos relevantes com o menor número possível de trabalhos irrelevantes.

Dicas:

• Não se deve ter tanta pressa para defini-las
• Testar palavras chaves, ex. teste em uma revisa ou conferência específica o retorno obtido com as palavras-chave usadas (verifique o que ficou dentro e o que ficou de fora para conferir se o objetivo das palavras chaves foi atingido) Se ficou trabalhos úteis de fora, verificar "o que está faltando para este trabalho retornar?"
• Usar bases de dados conhecidas para elicitar palavras chave. Por exemplo: ela usou a IEEE para verificar as palavras usadas como requisitos; Outra ideia é verificar em artigos de conferência as palavras chaves usadas; 
• Caso novas palavras chaves sejam inseridas após a coleta de artigos, é preciso retornar a todas as bases e refazer as buscas.

Antes de prosseguir com o trabalho, faça várias simulações para verificar se está tudo ali. É terrível quando encontramos trabalhos que deveriam fazer parte do conjunto de publicações selecionadas quando a RS está já avançada!

4) Escolher as fontes de busca (área da computação)

• Science Direct
• Scopus
• IEEE
• SpringerLink
• ACM Digital
• Repositório das conferências (aqueles que não são indexados por esses mecanismos)

Dicas: 

• realizar buscas diretamente na base, pois apesar de ser mais trabalhoso, é mais confiável. pode ser que a string precise ser alterada para cada base específica;
• não se sinta tentado a usar meta-bases; 
• escolha bases que tenham acesso irrestrito; em questões de base para artigos comprados, indicar que houve alguns que ficaram de fora por conta de custo, ou pedir aos autores que enviem os artigos;
• você precisa ver se bate com o seu objetivo e com a questão de que a RS tem que ter uma mostra significativa e de qualidade, mas não a ambição de ter TODOS os trabalhos (a menos que o objetivo da sua RS seja exatamente mostrar todas, mas não é normalmente);
• André Menolli deu o testemunho de que usou 13 bases e o resultado seria praticamente o mesmo que se tivesse usado essas sugeridas pela Joselaine; 
• os repositórios das conferências da área são importantíssimos;
• usar um conjunto de artigos de controle, para verificar se as bases que classificam tais artigos retornam tais artigos, mediante a query que você executou;
• deixar claro o que veio da pesquisa nessas bases ou em outros momentos da RS (por exemplo na fase de snowballing);
• é preciso levar em consideração se é preciso recuperar livros (se for o caso, é bom usar o GoogleScholar, apesar de retornar muito lixo); isso depende muito da área de conhecimento (ou sub-área, dentro da Computação);
• dependendo da sub-área da Computação, é preciso fazer buscas também em textos em português; a Fernanda sugere o uso de BDBComp. Andréia ressaltou que é necessário elencar as conferências brasileiras relevantes porque não há muitos sistemas que indexam artigos brasileiros. 
• há bases que oferecem bastante recurso (ex. salvar a query para reutilização posterior, permitindo que você volte um tempo depois, para ver se entrou coisa nova); outras bases são bem primitivas. Portanto, é preciso aprender a usar cada base.

5) Definir o período e o tipo de publicação 

• Depende da duração do projeto (mestrado ou doutorado)
• Se já ha uma revisão anterior cobrindo um período, você pode usar o mesmo protocolo para complementá-la. 
• Tipo de publicação: journal é o principal. Mas considerar também as conferências. Se forem muitas (e.x. mais de 2.000 artigos), incluir apenas as conferências mais relevantes na área.

6) Definir os campos de busca

• Fulltext: é o mais confiável, porém a quantidade de retorno é grande, dependendo do escopo da pesquisa. A Joselaine usa este campo e, por isso, normalmente, vem muito lixo. Para filtrar, você vai procurando um a um nos artigos, usando as palavras chaves, para eliminar os irreleventes.
• Abstract: pode ser usado em escopo bem definido, porém, às vezes, a comunicação do abstract é deficiente.

7) Definir critérios de inclusão/exclusão

• não há definição universal, esses critérios são definidos caso a caso, conforme o objetivo da RS.
• Exemplos do que podem ser critérios de exclusão: a) literatura cinzenta - grey literature (livros, teses, dissertações, etc.); b) artigos redundantes (artigos diferentes com resultados similares, ou seja duas versões do trabalho, uma mais estendida que a outra - considerar apenas  amais estendida); etc.
• Esses critérios devem ser bem protocolados.
• Definir na base o que já for possível excluir (e.g. não retornar teses) para evitar que esses trabalhos façam parte da coleção.

8) Definir os critérios de qualidade

• é importante avaliar a qualidade e a credibilidade dos estudos primários para dar suporte ao processo de inclusão/exclusão e atribuir pesos para os estudo durante a síntese;
• também não há um regra universal para isso, mas o objetivo é minimizar o viés e maximizar a validação;
• exemplos de critérios: a) o estudo foi avaliado empiricamente (sim-1; não-0); b) as limitações estão claramente discutida (sim-1, parcial-0,5, não-0); c) houve aplicação na indústria (sim-1; não-0); d) o objetivo da pesquisa foi claramente definido (sim-1, parcial-0,5, não-0); e) quantos participantes tinham no trabalho, para serem relevantes estatisticamente; etc. Dependendo da nota, o artigo pode ser eliminado; 
• ela coloca exemplos no slide de autores que já propuseram conjunto de critérios de qualidade e, esses conjuntos podem ser reutilizados.

9) Executar a pesquisa e selecionar os artigos

Executores:

• ideal: minimamente dois pesquisadores precisam participar da seleção e, se necessário, um terceiro deve ser envolvido para situações de empasse. No entanto, se houver disponibilidade de mais pesquisadores, melhor; 
• nem sempre mais é mais, se o pesquisador não tiver disponibilidade ou maturidade, isso pode atrapalhar;
• quando não há disponibilidade dE dois pesquisadores full time, o segundo pesquisador pode ser acionado apenas em situações de empasse;

Selecionando os artigos:

• a definição bem elaborada dos critérios de inclusão/exclusão ajudarão muito na leitura e classificação dos artigos;
• usar o coeficiente de Kappa que mede o grau de concordância das avaliações feitas por diversos avaliadores; ao final, temos um grau de concordância para decidir levar ou não em consideração aquela determinada pesquisa. 
• filtrar artigos no mínimo pela leitura do abstract (filtro pelo título não é confiável)

Registro da informação:

• registrar quantidade de artigos encontrados
• tabelar resultados 
• ler e fazer os resumos dos trabalhos. Ela usou para isso o excel e a ferramenta Mendeley para referências bibliográficas. 
• os resultados devem ser organizados de uma forma que tragam informação clara, útil, inovadoras;
• as questões de pesquisa ajudam na organização desses resultados
• informações sintetizadas em forma de gráficos, tabelas, etc., são mais interessantes do que um resumo de cada trabalho. Ela falou da experiência de que fez tabelas e gráficos mas também incluiu resumos de 60 trabalhos que ela julgava importantes, porém o revisor do artigo achou absurdo ter que ler e concluir sobre esses resumos. Ela precisou, assim, achar novas maneiras (gráficos, tabelas) para resumir as informações.

Dica:

• a medida que vamos lendo os artigos, temos que registrar a parte direcionadas a como classificar e apresentar os resultados. Ela registrava tudo no Excel.

11) Escrever artigo

• Consolidação dos resultados úteis e inovadores da revisão
• Escolher conferência/journal. A limitação de número de páginas da conferência normalmente não permite a descrição da RS na íntegra. Por outro lado, publicar resultados parciais podem ajudar a gerar discussão e feedback para que o trabalho possa ser melhorado. 
• Cuidar com o prazo de resposta do journal para que a RS não fique "caduca". No esperar e revisar várias vezes o trabalho a pedido do journal, houve uma outra publicação de RS com o mesmo objetivo que o dela.

Conclusão: ao concluir a sua primeira revisão sistemática é que você está pronto para começar uma revisão sistemática de verdade.

Ela apresenta nos artigos uma lista de Referências Bibliográficas que ela considera indispensável para quem vai trabalhar nesta área.