Desde que os navegadores convencionais começaram a suportar a próxima revisão importante de HTTP, HTTP / 2 ou h2 , os profissionais da web perguntaram se o Googlebot pode rastrear a versão atualizada e mais moderna do protocolo.

Recentemente foi anunciando que, a partir de meados de novembro de 2020, o Googlebot oferecerá suporte ao rastreamento por HTTP / 2 para sites selecionados.

O que é HTTP / 2

Como já foi dito, é a próxima grande versão do HTTP , o protocolo que a Internet usa principalmente para transferir dados. O HTTP / 2 é muito mais robusto, eficiente e rápido que seu predecessor, devido à sua arquitetura e aos recursos que implementa para clientes (por exemplo, seu navegador) e servidores. Se você quiser ler mais sobre isso, temos um longo artigo sobre o tópico HTTP / 2 em developers.google.com .

Por que o Google está fazendo essa mudança

Em geral, espera-se que essa mudança torne o rastreamento mais eficiente em termos de uso de recursos do servidor. Com o h2, o Googlebot é capaz de abrir uma única conexão TCP com o servidor e transferir com eficiência vários arquivos paralelamente, em vez de exigir várias conexões. Quanto menos conexões abertas, menos recursos o servidor e o Googlebot têm para gastar no rastreamento.

Como funciona

Na primeira fase, será rastreado um pequeno número de sites em h2 e aumentaremos gradualmente para mais sites que podem se beneficiar dos recursos inicialmente suportados, como multiplexação de solicitação.

O Googlebot decide qual site rastrear por h2 com base no suporte do site h2 e se o site e o Googlebot se beneficiariam do rastreamento por HTTP / 2. Se o seu servidor for compatível com H2 e o Googlebot já rastrear muito do seu site, você já pode estar qualificado para o upgrade de conexão e não precisa fazer nada.

Se o seu servidor ainda fala apenas HTTP / 1.1, tudo bem. Não há nenhuma desvantagem explícita para rastrear este protocolo; o rastreamento permanecerá o mesmo, em termos de qualidade e quantidade.

Como cancelar

Testes preliminares não mostraram problemas ou impacto negativo na indexação, mas entendemos que, por vários motivos, você pode optar por desativar o rastreamento de HTTP / 2 em seu site. Você pode fazer isso instruindo o servidor a responder com um código de status HTTP 421 quando o Googlebot tentar rastrear seu site por H2. Se isso não for viável no momento, você pode enviar uma mensagem para a equipe do Googlebot (no entanto, esta solução é temporária).

Se você tiver mais perguntas sobre o Googlebot e HTTP / 2, verifique as perguntas que frequentes. Se você não conseguir encontrar sua pergunta, escreva para Google no Twitter e/ ou no fóruns de ajuda .

Postado por Jin Liang e Gary

Perguntas sobre HTTP/2

Por que você está atualizando o Googlebot agora?

O software que usamos para permitir que o Googlebot rastreie h2 amadureceu o suficiente para ser usado na produção.

Preciso atualizar meu servidor o mais rápido possível?

É realmente com você. No entanto, iremos apenas passar a rastrear em sites H2 que o suportem e iremos beneficiar claramente com isso. Se não houver benefícios claros em rastrear h2, o Googlebot continuará a rastrear h1.

Como faço para testar se meu site suporta H2?

Cloudflare tem uma postagem de blog com uma infinidade de métodos diferentes para testar se um site oferece suporte a H2, dê uma olhada!

Como faço para atualizar meu site para h2?

Isso realmente depende do seu servidor. Recomendamos falar com o administrador do servidor ou provedor de hospedagem.

Como faço para convencer o Googlebot a falar h2 com meu site?

Você não pode. Se o site suportar h2, ele estará qualificado para ser rastreado por h2, mas somente se isso for benéfico para o site e o Googlebot. Se o rastreamento por h2 não resultasse em economia de recursos perceptível, por exemplo, simplesmente continuaríamos rastreando o site por HTTP / 1.1.

Por que você não está rastreando todos os sites habilitados para H2 em relação ao H2?

Em nossas avaliações, descobrimos pouco ou nenhum benefício para certos sites (por exemplo, aqueles com qps muito baixo) ao rastrear h2. Portanto, decidimos mudar o rastreamento para h2 apenas quando houver um benefício claro para o site. Continuaremos avaliando os ganhos de desempenho e podemos alterar nossos critérios de troca no futuro.

Como posso saber se meu site foi rastreado por H2?

Quando um site se torna qualificado para rastreamento por h2, os proprietários desse site registrado no Search Console receberão uma mensagem dizendo que parte do tráfego de rastreamento pode ultrapassar h2 daqui para frente. Você também pode verificar os logs do servidor (por exemplo, no arquivo access.log se o seu site for executado no Apache).

Quais recursos h2 são compatíveis com o Googlebot?

O Googlebot oferece suporte à maioria dos recursos introduzidos por h2. Alguns recursos, como push de servidor, que podem ser benéficos para a renderização, ainda estão sendo avaliados.

O Googlebot oferece suporte a HTTP / 2 (h2c) de texto simples?

Não. Seu site deve usar HTTPS e oferecer suporte a HTTP / 2 para ser elegível para rastreamento por HTTP / 2. Isso é equivalente a como os navegadores modernos lidam com isso.

O Googlebot usará a extensão ALPN para decidir qual versão de protocolo usar para rastreamento?

A negociação de protocolo da camada de aplicativo (ALPN) só será usada para sites que optaram por rastreamento em h2, e o único protocolo aceito para respostas será h2. Se o servidor responder durante o handshake de TLS com uma versão de protocolo diferente de h2, o Googlebot desistirá e voltará mais tarde em HTTP / 1.1.

Como os diferentes recursos do H2 podem ajudar no rastreamento?

Alguns dos muitos, mas os benefícios mais importantes de H2 incluem:

• Multiplexação e simultaneidade : menos conexões TCP abertas significam menos recursos gastos.
• Compactação de cabeçalho : tamanhos de cabeçalho HTTP drasticamente reduzidos irão economizar recursos.
• Push de servidor : este recurso ainda não está habilitado; ainda está em fase de avaliação. Pode ser benéfico para a renderização, mas não temos nada específico a dizer sobre isso neste momento.

Se você quiser saber mais sobre recursos específicos do H2 e sua relação com o rastreamento, pergunte-nos no Twitter .

O Googlebot rastreará mais ou mais rápido no h2?

O principal benefício do H2 é a economia de recursos, tanto do lado do servidor quanto do Googlebot. O fato de rastrearmos usando h1 ou h2 não afeta como seu site é indexado e, portanto, não afeta o quanto planejamos rastrear de seu site.

Existe algum benefício de classificação para um site em ser rastreado por H2?

Não.