Estudo: Comparando os dados de 8 ferramentas de SEO

Você já teve um cliente (ou chefe) que apontou discrepâncias entre as ferramentas de SEO que você usa?

Como um SEO, é difícil ter essa conversa. Ninguém gosta de ouvir: "Bem, todas essas ferramentas medem as coisas de maneiras diferentes e nunca são 100% ... blá blá blá."

Para quem não é SEO, isso parece uma desculpa conveniente para responder a uma pergunta simples: “Por que você não pode me fornecer dados precisos?”

Tendo tido essa conversa tantas vezes na última década, decidi que queria comparar os diferentes resultados entre as ferramentas para determinar se havia consistências ou generalizações que podem ser feitas ao relatar e tomar decisões.

Por exemplo: quero que um SEO seja capaz de dizer: “De acordo com o SEMrush, esse é o número total de palavras-chave da página 1 que você classificou. Lembre-se de que o SEMrush, em média, relata um número 25% menor (ou maior) de palavras-chave do que a ferramenta média de SEO. ”

Eu também queria ser capaz de demonstrar que os dados das ferramentas de SEO não devem ser considerados verdadeiros, mas sim para uma ampla identificação de tendências e análises rápidas e sujas de concorrentes.

Isenção de responsabilidade: esta pesquisa e seus resultados certamente não têm a intenção de favorecer ou desacreditar nenhuma ferramenta de SEO em particular. Todos eles têm pontos fortes e fracos e, quando usados ​​para se complementar, podem ser bastante poderosos. Neste teste, estamos analisando apenas três saídas, por isso é importante entender as limitações desses dados.

Então, vamos ver o que encontrei ...

Como eu configuro o teste

Observei três métricas principais para comparação entre as ferramentas:

1. Vinculando domínios raiz.
2. Palavras-chave orgânicas de domínio classificadas de 1 a 10 na pesquisa dos EUA.
3. Bônus: tráfego de pesquisa mensal estimado (trabalho em andamento).

Peguei um site e comparei os resultados de várias ferramentas de SEO. Por exemplo, o gráfico a seguir mostra o que cada ferramenta relatou para o total de domínios raiz de vinculação da minha agência:

Em seguida, adicionei nove outros domínios e comparei seus resultados para obter um tamanho de amostra maior. Exemplo de três domínios:

Em seguida, comparei as diferenças de saída em relação à mediana de cada ferramenta e domínio para cada um dos 10 domínios.

Por exemplo, o número médio relatado de domínios raiz para minha agência foi 5.836. Mangools relataram 5.280 RDs, o que é 10% menos do que a mediana.

Aqui está um exemplo dessa comparação com a mediana dos RDs relatados:

O que isso mostra é que Moz relatou um número maior de RDs do que a média desses três sites. Inversamente, o Ubersuggest relatou menos RDs do que a mediana para cada um dos mesmos três sites. Faz sentido?

Esta é uma maneira simples de responder à pergunta: “A ferramenta X geralmente relata mais ou menos dados do que outras ferramentas?”

Por último, calculei a diferença média da mediana para cada ferramenta em cada site. Isso ajudou a responder à pergunta: “Em cada um dos 10 sites avaliados, quais ferramentas (se houver) relataram consistentemente números mais baixos / mais altos do que a mediana? Por quanto?"

Esse único número deve nos dar uma indicação se uma ferramenta relata menos, o mesmo ou mais dados do que a mediana.

Qualificações de estudo

Em testes como este, mais dados é sempre melhor do que menos. Nesse caso, usei 10 domínios para tentar responder às perguntas acima. Certamente, um estudo em maior escala produziria resultados mais precisos, e talvez um SEO ambicioso com mais tempo e recursos conduza tal estudo algum dia.

Por favor, entenda que os dados a seguir pretendem ser um início de conversa, e não um final de conversa. A intenção é pintar o início de uma imagem, em vez de ser definitiva.

Com as qualificações fora do caminho, vamos dar uma olhada nos resultados.

Domínios raiz

Nós mantemos controle sobre o número e a qualidade dos domínios raiz vinculados aos nossos domínios porque fortes perfis de backlink estão relacionados ao potencial de classificação. Também monitoramos os perfis de backlink de nossos concorrentes para fins de benchmarking.

Portanto, se você pretende comparar seu site com seus concorrentes, será um benefício adicional saber se a ferramenta que você está usando normalmente reporta um número menor ou maior do que outras ferramentas. Como você verá nos dados abaixo, você também deve usar a mesma ferramenta para comparar sites.

Advertência : Mangools relatou um valor atípico de 392%, o que eu suspeito ser uma falha. Omiti esse outlier em um esforço para manter o representante dos dados.

Aqui estão os resultados de cada domínio:

Apenas observando esses gráficos, você pode ver que Moz tende a relatar um número significativamente maior de domínios raiz do que a mediana. O Ubersuggest parece relatar consistentemente um número menor de domínios raiz do que a mediana.

Esta é a aparência média dos relatórios de domínio raiz de vinculação para cada uma das ferramentas:

Então, o que essa informação nos diz?

Em média, Moz e Ahrefs relataram um número maior de domínios raiz do que os concorrentes. SEMrush relatou quase exatamente na mediana. Mangools, SERPstat e Ubersuggest relataram relativamente menos domínios raiz do que a mediana.

Embora o tamanho da amostra seja pequeno, há uma tendência claramente observável:

• O Ahrefs relatou mais links de domínios raiz do que a média 100% do tempo.
• Moz relatou mais links de domínios raiz do que a média de 90% do tempo.
• O Ubersuggest relatou menos links de domínios raiz do que a mediana 100% das vezes.

Com esses dados, podemos dizer que é provável (não garantido) que o Moz e o Ahrefs reportarão mais links de domínios raiz do que as outras ferramentas, enquanto o Ubersuggest e até certo ponto SERPstat reportarão menos links de domínios raiz.

Isso torna uma ferramenta melhor do que outra? Não necessariamente, mas com certeza adiciona contexto.

Vencedores: Moz e Ahrefs

Rankings de palavras-chave

Talvez a métrica mais acessível e interessante para nossos clientes e chefes seja a classificação de palavras-chave. Eles querem saber para quantas palavras-chave seu domínio está classificado e como isso se compara a seus concorrentes.

Um amplo entendimento da propriedade de palavras-chave em seu espaço pode lhe dizer muito sobre o tamanho de seu cenário de pesquisa e como você está medindo.

Se você pensar no cenário de palavras-chave como o tamanho do seu mercado e na propriedade das palavras-chave como sua participação no mercado, terá uma compreensão mais sólida de onde está agora e onde deseja estar no futuro.

Porém, as ferramentas de SEO são muito limitadas em sua capacidade de relatar esses números com precisão. Embora sofisticadas, essas ferramentas dependem da coleta de dados do Google para gerar dados. E a qualidade da saída de dados depende muito do poder da ferramenta de scraping e do tamanho de seu banco de dados. Como você verá em breve, os dados variam enormemente de ferramenta para ferramenta.

Todos os dados foram coletados de maneira idêntica. Peguei o número total de palavras-chave classificadas de 1 a 10 em pesquisas baseadas nos EUA de cada uma das ferramentas: Moz, Ahrefs, SpyFu, Sistrix e SEMrush. Infelizmente tive que deixar o Sistrix de fora da análise final, pois ele reportou apenas 11% da mediana geral, distorcendo o campo.

Aqui está um exemplo de alguns dos dados:

Como você já pode ver, há MUITA discrepância nos dados e isso só vai piorar. Usando a mesma técnica de comparação dos relatórios de cada ferramenta com a mediana, descobri o seguinte:

A primeira coisa que salta na sua cabeça é provavelmente: “O que está acontecendo com Moz?” Embora a Moz também tenha relatado um número maior de domínios raiz vinculados do que seus concorrentes no estudo anterior, os números não eram desproporcionalmente grandes o suficiente para quebrar o modelo. Aqui está o relatório geral em relação à mediana:

Nesse caso, Moz quebrou o modelo. Minha preocupação inicial era que Moz estava relatando classificações mundiais de palavras-chave, em vez de classificações de palavras - chave dos EUA . Expressei essa preocupação com sua equipe, a que eles responderam:

Para ter certeza, pedi que escalassem para seus engenheiros para confirmação. Eles responderam:

De acordo com a equipe da Moz, esses números são realmente iguais.

Então, o que essa informação nos diz?

Em média, Moz relatou 2,5 vezes mais palavras-chave do que a mediana. Os Ahrefs pousaram exatamente no canteiro central, com SEMrush logo atrás. SpyFu completa o grupo, chegando a 81% da mediana, enquanto o Sistrix foi omitido, relatando apenas 11% da mediana.

Novamente, embora o tamanho da amostra seja realmente pequeno, temos alguns marcadores claros:

• Moz venceu a mediana 100% das vezes.
• Sistrix venceu a mediana 0% das vezes.
• Ahrefs e SEMrush mostraram um alto nível de consistência perto da mediana.

Se os especialistas da Moz estiverem corretos, então podemos fazer uma declaração generalizada de que sua ferramenta provavelmente relatará um número maior de palavras-chave por domínio. Também podemos dizer que é provável (não garantido) que o Ahrefs e o SEMrush reportarão resultados semelhantes e consistentes. Também é provável que o SpyFu gere menos resultados e o Sistrix o menos popular.

Mas quão próximos estão esses números da verdade?

É difícil dizer, porque estamos tentando tirar uma foto de um alvo em movimento. Palavras-chave entram e saem constantemente dos 10 principais resultados. E em qualquer dia, uma ferramenta pode mostrar uma classificação de palavra-chave na posição 9, enquanto outra pode colocar simultaneamente a palavra-chave na posição 11.

Por esse motivo, essa parte específica do estudo era altamente suscetível a imprecisões, tanto devido à natureza da tentativa de localizar um alvo em movimento quanto à variabilidade das capacidades de raspagem de cada ferramenta.

Felizmente, com um grande agradecimento a Marcus Tandler e ao pessoal da Ryte, podemos ver o número real de palavras-chave para as quais nosso site está classificado. Ryte é uma ferramenta sofisticada que integra todos os dados do Google Search Console e os manipula de maneiras que fornecem dados verdadeiros em vez de dados fragmentados.

Durante o mês de junho, Ryte mostrou que Brafton realmente se classificou para 16.567 palavras-chave nas posições de 1 a 10 nos EUA

A mediana da métrica relatada foi de apenas 18,3% do número verdadeiro por um mês.

E isso vale apenas para um mês de dados.

As ferramentas de SEO acumulam suas classificações de palavras - chave ao longo de meses e anos. Ou seja, uma de suas ferramentas pode mostrar que você atualmente está classificado para uma palavra-chave que ninguém pesquisa há anos, nem impressões geradas.

Esse é o motivo pelo qual uma ferramenta de palavras-chave que usamos há anos pode relatar que ainda classificamos coisas que ninguém mais pesquisa, como “Técnicas de pesquisa de palavras-chave 2017”.

Se espalharmos o intervalo de tempo para incluir os primeiros seis meses de 2020, geramos impressões para 27.864 palavras-chave.

Portanto, em qualquer mês, apesar dos melhores esforços de qualquer ferramenta, você pode ver apenas uma fração do número real.

Isso significa que as ferramentas de SEO não estão fazendo um bom trabalho? De modo nenhum!

Na verdade, essas ferramentas certamente priorizam palavras-chave significativas e de alto volume em seu banco de dados em vez de termos de cauda mais longa com volume de pesquisa significativamente menor. Mas também significa que precisamos avaliar suas limitações e entender que os números que estamos vendo não são perfeitamente precisos.

Outro lembrete de que devemos usar ferramentas de SEO para análise macro, que nos dará uma visão ampla das tendências e benchmarking competitivo.

Vencedor: Moz

Bônus: tráfego estimado

Algumas ferramentas de SEO tentam estimar a quantidade de visitantes orgânicos mensais que um domínio gera. Semelhante ao estudo anterior, estimar o tráfego de pesquisa orgânica pode ser uma prática útil de benchmarking do concorrente e é uma métrica incrivelmente acessível para os clientes.

Infelizmente para este estudo, não existem muitas ferramentas por aí que fazem isso. E menos ainda que o façam com precisão.

Semelhante aos estudos anteriores, eu coletei dados de várias ferramentas e mapeei seus resultados em relação ao ponto de dados mediano. Peguei a estimativa de visitantes orgânicos nos EUA para o mês de junho de 2020.

Infelizmente, tivemos que omitir os dados do SpyFu desta vez, pois ele superestimou o tráfego de pesquisa para cada domínio em uma média de 3.242% a mais. Também tive que omitir o TopRank da análise, já que nem todas as ferramentas foram capazes de preencher os dados desse domínio.

Aqui está um exemplo de alguns dos dados:

Você pode ver logo de cara porque tive que omitir o SpyFu da análise. Com todo o respeito pelo pessoal da SpyFu, essa métrica em particular precisa ser examinada novamente!

Para as três ferramentas restantes, aqui está a aparência dos dados para cada domínio:

E aqui estão os números médios relatados em relação à mediana, por ferramenta:

Ao contrário dos dois estudos anteriores, onde você poderia argumentar que mais dados é geralmente melhor, neste caso pode não ser o caso (como você pode ver com os números do SpyFu).

Neste caso, a precisão é fundamental. Em média, os Ahrefs relataram números de tráfego estimado muito mais baixos do que SimilarWeb e SEMrush.

Mas realmente não temos ideia se algum desses números é bom ou ruim sem contexto. Precisamos de números reais (precisos) para compará-los.

Felizmente, consegui obter números reais de tráfego de SparkToro.com, ShaneBarker.com e Brafton.com. Muito obrigado a Rand Fishkin e Shane por ajudarem a fazer isso acontecer.

Aqui estão os números estimados versus os números reais:

Vamos dar uma olhada nisso visualmente, começando com Brafton. Para ler os gráficos abaixo, considere a linha 0% como o tráfego real e qualquer número acima de 0% como uma superestimativa pela ferramenta e qualquer valor inferior como uma subestimação.

Visualmente, parece que SimilarWeb chegou perto do número real em cada uma das três instâncias. Ahrefs parece subestimar consistentemente, enquanto SEMrush irá superestimar E subestimar de forma selvagem.

Para limpar esses números, podemos obter a precisão média geral de cada ferramenta calculando a média da porcentagem superestima e subestima em relação ao número real. A precisão geral por ferramenta é a seguinte:

Importante advertência aqui: precisamos de muito mais dados. Embora seja muito interessante ver como cada ferramenta se compara aos números reais, não temos dados suficientes para tirar conclusões. À primeira vista, PARECE que o SimilarWeb estima com bastante precisão, chegando a uma precisão média de 91,7%.

Então, o que isso nos diz?

SimilarWeb PODE relatar estimativas de tráfego um pouco mais precisas. O Ahrefs PODE subestimar o tráfego em alguns casos. A partir de agora, esta análise deve ser tomada com um grande grão de sal e com uma chamada para os outros seis sites para assistência neste estudo.

Por enquanto, vamos apenas dizer que essas ferramentas mostram uma variação significativa e, até novo aviso, devemos continuar chamando essa métrica do que ela é: tráfego estimado.

Vencedor: SimilarWeb na eliminatória

Resumo

Mais uma vez, com advertências gerais, os vencedores deste teste de tamanho limitado são os seguintes:

A intenção deste relatório não foi declarar todas as ferramentas de SEO como imprecisas e indignas de investimento. Nem era a intenção de elogiar as capacidades das ferramentas de alto desempenho. Em vez disso, meu objetivo era demonstrar as diferenças entre as ferramentas para que você possa ter mais contexto ao usar seus números para relatórios.

Por exemplo, se você estiver relatando o número de domínios raiz do seu site, é importante saber que o Ubersuggest pode relatar um número significativamente menor do que outras ferramentas. Com isso em mente, convém ressaltar seus dados. Você também deve ter cuidado para não misturar ferramentas ao usar benchmarking competitivo.

Você também deve dizer a seus clientes que as métricas relatadas nessas ferramentas não devem ser consideradas evangélicas. Eles devem ser usados ​​para análises de tendências gerais e propósitos de benchmarking da concorrência. Usado corretamente, cada uma dessas ferramentas pode ser extremamente perspicaz.

Usados ​​incorretamente, eles podem ser extremamente enganosos.

As opiniões expressas neste artigo são do autor convidado e não necessariamente do Search Engine Land. Os autores da equipe estão listados aqui.