O AI Reviewer (Revisor de IA) faz parte do ResearchPilot™, o conjunto de ferramentas de pesquisa com inteligência artificial do Rayyan. É um agente de triagem independente que se junta à sua revisão como um segundo revisor, avaliando os Critérios de Inclusão e Exclusão da sua revisão e tomando decisões de triagem em modo totalmente cego, sem nunca ver como os outros revisores da sua equipe decidiram.
Ativando o AI Reviewer
O AI Reviewer faz a triagem com base nos Critérios de Inclusão e Exclusão definidos para a sua revisão, portanto esses critérios precisam estar definidos antes que ele possa ser executado. Ele não será iniciado com um conjunto de critérios vazio.
Para convidar o AI Reviewer para a sua revisão:
- Acesse a aba Overview da sua revisão.
- Na tabela Review Members, localize o AI Reviewer. Ele aparece com status Inactive (Inativo).
- Clique em Activate. O AI Reviewer agora é membro da sua revisão.
Depois de convidado, escolha onde executar o AI Reviewer:
- Todas as referências no Estágio 1 de triagem do título e resumo (screening), ou
- Um subconjunto de referências, filtrado usando os filtros do Rayyan.
Depois de iniciado, o AI Reviewer pode levar até 24 horas para avaliar as referências e chegar às suas decisões.
Fazendo a triagem de conjuntos de dados maiores com o AI Reviewer
Se a sua revisão tiver mais de 2.000 referências, use o Data Sampling para dividi-la em lotes menores e, em seguida, execute o AI Reviewer separadamente em cada um deles.
- Acesse a etapa Screening e clique em Samples.
- Em Choose sample Data Source, selecione All References, ou Filtered caso queira amostras a partir de um subconjunto — por exemplo, referências que você já filtrou previamente.
- Selecione Randomized como método de amostragem. Isso garante que cada lote tenha uma amostra representativa do seu conjunto de dados.
- Crie amostras com no máximo 2.000 referências cada, até cobrir todo o conjunto de dados. Dê a cada amostra um nome claro (por exemplo, "Amostra 1", "Amostra 2").
- Na etapa Screening, abra o painel Filters, ative a faceta Sampled Data e selecione o primeiro lote.
- Execute o AI Reviewer normalmente (veja Ativando o AI Reviewer acima) e, quando solicitado a escolher onde executá-lo, selecione Filtered para que ele avalie apenas as referências do lote selecionado. Repita para cada lote restante até que o AI Reviewer tenha avaliado todas as referências.
Como o AI Reviewer funciona
Avaliando cada critério
Para cada referência, o AI Reviewer avalia cada critério e o classifica como um dos três resultados:
- Atendido: o título e o resumo fornecem evidências claras de que o critério foi satisfeito.
- Não atendido: a referência fornece evidências claras de que o critério não foi satisfeito.
- Não claro: não há evidências suficientes para decidir, ou o texto completo pode conter informações mais relevantes.
Chegando a uma decisão
Depois que todos os critérios forem avaliados, o AI Reviewer aplica estas regras, em ordem:
- Se algum critério de exclusão for atendido, o artigo é excluído. Caso contrário, passe para a regra seguinte.
- Se algum critério de inclusão não for atendido, o artigo é excluído. Caso contrário, passe para a regra seguinte.
- Se pelo menos um critério de inclusão for atendido, o artigo é incluído. Se nenhum for, o artigo é marcado como maybe.
Cada artigo recebe uma nota detalhando o raciocínio por trás da avaliação de cada critério e explicando o que motivou a decisão final.
Visualizando os resultados do AI Reviewer
Como qualquer revisor, o AI Reviewer opera sob o Blind Mode ligado, portanto suas decisões permanecem ocultas do restante da equipe enquanto a triagem está em andamento. Isso evita que seus julgamentos influenciem os revisores humanos, e vice-versa.
Para ver as decisões do AI Reviewer e seu raciocínio por critério, o proprietário da revisão desativa o Blind Mode. Os resultados então aparecem junto aos dos outros revisores, onde é possível comparar decisões e resolver eventuais conflitos.
Continue para: AI Analyzer (ResearchPilot™)