A Classificação por Relevância é um recurso do Rayyan alimentado por IA que analisa suas decisões de triagem e prevê a probabilidade de cada referência ainda não decidida ser incluída na sua revisão. À medida que você toma mais decisões, o Rayyan aprende com seus padrões e atribui uma avaliação às referências restantes ainda não decididas — ajudando você a priorizar quais artigos revisar primeiro. As avaliações estão disponíveis em todos os planos.
Como o classificador funciona
O Rayyan usa um classificador Support Vector Machine (SVM) treinado com características extraídas do título e do resumo de cada referência — incluindo unigramas (palavras únicas), bigramas (pares de palavras) e Termos MeSH (Medical Subject Headings). Essas características são extraídas depois que as stopwords são removidas e os termos restantes passam por stemização.
À medida que você e sua equipe tomam decisões de Incluir e Excluir, o Rayyan aprende com esses padrões. Ele calcula uma pontuação de confiança para cada referência ainda não triada, com base na semelhança com suas decisões anteriores, e converte essa pontuação em um dos cinco níveis de avaliação.
Requisitos mínimos para calcular avaliações
As avaliações não serão calculadas até que pelo menos 50 decisões de triagem tenham sido tomadas na revisão, com um mínimo de 5 decisões de Incluir e 5 decisões de Excluir. Se esse limite não for atingido, o botão Calcular Avaliações não terá efeito. Essa contagem se aplica à revisão como um todo, não a cada revisor individualmente — o Rayyan contabiliza as decisões combinadas de todos os membros da equipe, então o limite pode ser atingido mesmo que nenhum revisor tenha tomado 50 decisões sozinho.
As avaliações são atribuídas apenas às referências que ainda não têm uma decisão. Se todas as referências já tiverem sido decididas — seja por um revisor ou pela equipe coletivamente — não haverá nada para avaliar, mesmo que o mínimo de 50/5/5 tenha sido atingido. Isso é importante para equipes com cargas de triagem divididas: um membro que tenha terminado suas referências designadas não verá avaliações, pois não há mais nada para ele revisar.
Como calcular avaliações
- Vá para a aba Triagem
- Clique em Calcular Avaliações na barra de ferramentas
- O Rayyan processa suas decisões e atribui uma avaliação a cada referência ainda não decidida
Após o cálculo inicial, você pode recalcular as avaliações à medida que continua a triagem. O Rayyan pode reavaliar seu modelo a cada 10 minutos de novos dados de treinamento recebidos. Se detectar que novas decisões podem melhorar suas previsões, ele retreina o classificador e reavalia as referências restantes ainda não decididas. O recálculo não afeta nenhuma decisão já tomada.
O modelo para de retreinar quando todas as referências tiverem sido decididas, ou quando atingir o desempenho ideal e não puder mais ser aprimorado.
Como interpretar as avaliações
Cada referência ainda não decidida recebe um dos cinco níveis de avaliação:
| Avaliação | Ícone | O que significa |
|---|---|---|
| Mais provável de incluir | 👍👍 | Alta confiança de que esta referência atende aos seus critérios de inclusão |
| Provável de incluir | 👍 | Confiança moderada de que esta referência deve ser incluída |
| Sem recomendação | ❓ | Dados insuficientes para fazer uma previsão confiável — mais decisões são necessárias |
| Provável de excluir | 👎 | Confiança moderada de que esta referência deve ser excluída |
| Mais provável de excluir | 👎👎 | Alta confiança de que esta referência não atende aos seus critérios de exclusão |
Como ordenar e filtrar por avaliações
Depois que as avaliações são calculadas, você pode ordenar as referências clicando na seta de ordenação ao lado do menu suspenso Filtrar por Inclusão. A ordenação usa a pontuação interna de confiança precisa do Rayyan — mais granular do que os cinco níveis exibidos. Você também pode filtrar por nível de avaliação: abra o painel de Filtros, encontre a faceta Avaliações e selecione um ou mais níveis para restringir sua lista — por exemplo, mostrando apenas referências “Mais provável de incluir” para focar sua triagem nos artigos de maior prioridade.
Avaliações em revisões colaborativas
As avaliações são calculadas a partir de todas as decisões da equipe, mesmo com o Modo Cego ativado. Decisões conflitantes — onde dois revisores fizeram escolhas opostas de Incluir/Excluir na mesma referência — são excluídas do cálculo das avaliações para evitar distorcer as previsões. As avaliações são apenas sugestões e nunca são registradas como decisões nem compartilhadas entre os revisores.
Continue para: Como Usar o Chat de Revisão no Rayyan