AI Reviewer (ResearchPilot™) – Central de Ajuda do Rayyan

O AI Reviewer faz parte do ResearchPilot™, o conjunto de ferramentas de pesquisa baseadas em IA da Rayyan. É um agente de triagem independente que participa da sua revisão como um segundo revisor, avaliando os Critérios de Inclusão e Exclusão da sua revisão e tomando decisões de triagem no modo totalmente cego, sem nunca ver como os outros revisores da sua equipe decidiram.

Ativando o AI Reviewer

O AI Reviewer faz a triagem com base nos Critérios de Inclusão e Exclusão definidos para sua revisão, portanto, esses critérios devem estar configurados antes que ele possa ser executado. Ele não será iniciado com um conjunto de critérios vazio.

Boa prática Para obter os resultados mais confiáveis, insira os critérios exatos do seu protocolo de pesquisa registrado. As avaliações do AI Reviewer são tão precisas quanto os critérios fornecidos, portanto, quanto mais claro e específico for cada critério, melhores serão os julgamentos.

Para convidar o AI Reviewer para sua revisão:

Acesse a aba Visão geral da sua revisão.
Na tabela Membros da revisão, localize o AI Reviewer. Ele aparece com o status Inativo.
Clique em Ativar. O AI Reviewer agora é um membro da sua revisão.

Depois de convidá-lo, escolha em quais referências executar o AI Reviewer:

Todas as referências da triagem da Etapa 1 (título e resumo), ou
Um subconjunto de referências, restringido usando os filtros do Rayyan.

Depois de iniciado, o AI Reviewer pode levar até 24 horas para avaliar as referências e chegar às suas decisões.

Cada referência triada pelo AI Reviewer usa 5 créditos de IA da sua capacidade. Consulte Créditos de IA no Rayyan.

Observação Somente o proprietário da revisão pode convidar e executar o AI Reviewer. Os administradores da revisão não podem fazê-lo. Cada execução é limitada a 10.000 referências e a um máximo de 20 Critérios de Inclusão e Exclusão combinados. Se você selecionar mais de 10.000 referências, o Rayyan exibirá uma mensagem e não iniciará a execução. Se sua revisão tiver mais de 10.000 referências, use a Amostragem de dados para dividir seu conjunto de dados em lotes e execute o AI Reviewer em cada um deles. Consulte a seção abaixo.

Triando conjuntos de dados maiores com o AI Reviewer

Se sua revisão tiver mais de 10.000 referências, use a Amostragem de dados para dividi-la em lotes menores e execute o AI Reviewer separadamente em cada um deles.

Acesse a etapa Triagem e clique em Amostras.
Em Escolher fonte de dados da amostra, selecione Todas as referências ou Filtradas se quiser criar uma amostra a partir de um subconjunto, por exemplo, referências que você já restringiu com um filtro.
Selecione Aleatorizado como método de amostragem. Isso fornece a cada lote uma seção transversal representativa do seu conjunto de dados.
Crie amostras com no máximo 10.000 referências cada, até que todo o conjunto de dados esteja abrangido. Dê a cada amostra um nome claro (por exemplo, "Lote 1", "Lote 2").
Na etapa Triagem, abra o painel Filtros, ative o aspecto Dados amostrados e selecione o primeiro lote.
Execute o AI Reviewer normalmente (consulte Ativando o AI Reviewer acima) e, quando solicitado a escolher em quais referências executá-lo, selecione Filtradas para que ele avalie somente as referências do lote selecionado. Repita o procedimento para cada lote restante até que o AI Reviewer tenha avaliado todas as referências.

Observação Seus Critérios de Inclusão e Exclusão permanecem iguais em todos os lotes; somente a seleção de referências muda. Consulte Como usar a Amostragem de dados no Rayyan para ver o passo a passo completo sobre como criar e gerenciar amostras.

Como o AI Reviewer funciona

Avaliando cada critério

Para cada referência, o AI Reviewer avalia cada critério e o classifica com um de três resultados:

Atendido: o título e o resumo fornecem evidências claras de que o critério foi satisfeito.
Não atendido: a referência fornece evidências claras de que o critério não foi satisfeito.
Não está claro: não há evidências suficientes para decidir ou o texto completo pode conter informações mais relevantes.

Chegando a uma decisão

Depois que todos os critérios forem avaliados, o AI Reviewer aplica estas regras na ordem apresentada:

Se algum critério de exclusão for atendido, o artigo será excluído. Caso contrário, passe para a próxima regra.
Se algum critério de inclusão não for atendido, o artigo será excluído. Caso contrário, passe para a próxima regra.
Se pelo menos um critério de inclusão for atendido, o artigo será incluído. Se nenhum for atendido, o artigo será marcado como talvez.

Cada artigo recebe uma observação que apresenta o raciocínio por trás da avaliação de cada critério e explica o que desencadeou a decisão final.

Visualizando os resultados do AI Reviewer

Como qualquer revisor, o AI Reviewer opera no Modo cego, portanto, suas decisões permanecem ocultas para o restante da equipe enquanto a triagem está em andamento. Isso impede que seus julgamentos influenciem os revisores humanos e vice-versa.

Para ver as decisões do AI Reviewer e seu raciocínio para cada critério, o proprietário da revisão ou um administrador da revisão desativa o Modo cego. Seus resultados então aparecem ao lado dos resultados dos outros revisores, permitindo comparar decisões e resolver quaisquer conflitos.

As decisões do AI Reviewer são tratadas como as de qualquer outro revisor. No modo Consenso, o método padrão, qualquer discordância de Inclusão/Exclusão entre o AI Reviewer e outro revisor é um conflito. No modo Maioria, o AI Reviewer tem um voto, portanto, uma referência com maioria clara conta para essa decisão mesmo que o AI Reviewer tenha discordado. Consulte Como resolver conflitos de triagem no Rayyan.

Boa prática A decisão do AI Reviewer não pode ser alterada. No modo Consenso, se sua equipe discordar dela, use rótulos para registrar a decisão final da sua equipe e o raciocínio por trás dela. No modo Maioria, um empate com o AI Reviewer é desfeito adicionando a decisão de outro revisor.

Continue para: AI Analyzer (ResearchPilot™)