O Bing anunciou que está alterando a string do User Agent que se identifica como Bingbot. Agora haverá dois agentes de usuário (user agents), um para desktop e outro para o rastreador móvel.
O novo User Agent fornece mais informações, incluindo a versão mais recente do Edge.
Vamos discorrer um pouco mais sobre isso, fica com a gente.
O que você irá saber neste artigo:
Rastreadores da Web
Antes de mais nada, precisamos exemplificar o que são Rastreadores (Crawlers) e User agents.
Os web crawlers, também conhecidos como web spiders ou internet bots, são programas que navegam na web de maneira automatizada com o objetivo de indexar conteúdo. Os rastreadores podem analisar todos os tipos de dados, como conteúdo, links em uma página, links quebrados, mapas do site e validação de código HTML.
Mecanismos de pesquisa como Google, Bing e Yahoo usam rastreadores para indexar corretamente as páginas baixadas, para que os usuários possam encontrá-las com mais rapidez e eficiência quando estiverem pesquisando. Sem rastreadores da web, não haveria nada para dizer a eles que seu site tem conteúdo novo e fresco.
Cada empresa como Google, Bing, Yahoo, entre outras, possuem seus próprios rastreadores, que são chamados de User Agents (Agentes de usuário) para identificar esses conteúdos pela web, cada rastreador possui um nome, os principais são:
- Googlebot: Rastreador do Google;
- Bingbot: Rastreador do Bing
- Slurpbot: Rastreador do Yahoo!;
- DuckDuckBot: Rastreador do DuckDuck Go;
- Baiduspider: Rastreador do Baidu;
- Yandexbot: Rastreador do Yandex;
- Entre outros.
Agora que já sabemos o que são os User Agents e para que eles servem, vamos seguir com a atulização do Bingbot da Microsoft.
A mudança do User Agent do Bing é uma transição
A Microsoft continuará a usar o antigo User Agent, o Bingbot até o outono de 2022, que é uma data vaga.
No entanto, a ferramenta de inspeção de URL do Bing Webmaster Tools já mudou para o novo User Agent.
Existem aplicativos e softwares que podem precisar de atualização, então isso dá a eles vários meses para atualizar seu software para que possam identificar com precisão o bingbot.
Mas não há necessidade de atualizar um robots.txt porque a nova versão pode continuar sendo endereçada no robots.txt como bingbot.
O arquivo Robots.txt, usado pelos webmasters para inserir diretivas aos rastreadores, não precisará ser atualizado para acomodar a nova string do agente do usuário do bingbot.
No entanto, para software e serviços que fazem correspondências parciais, como o phpBB, não será necessário atualizar o código para acomodar o novo agente do usuário.
Se um editor, aplicativo ou software usar o bingbot/ para identificar o bingbot com um mapa parcial, esse código continuará funcionando.
User agents antigos e novos
Este é o antigo agente do usuário do bingbot:
Mozilla/5.0 (compatível; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Os novos user agents do bingbot são uma melhoria, pois identificam entre as versões desktop e móvel do rastreador da Web do Microsoft Bing.
Estes são os novos agentes de usuário do bingbot:
Desktop
Mozilla/5.0 AppleWebKit/537.36 (KHTML, como Gecko; compatível; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/WXYZ Safari/537.36
Mobile
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebK
De acordo com o anúncio oficial do Microsoft Bing:
“Vamos testar cuidadosamente os sites antes de migrá-los para nosso novo agente de usuário Bing Webmaster Tools URL Inspection já começou a usar o novo agente de usuário de desktop para o teste de URL ao vivo para ajudá-lo a investigar possíveis problemas.
Caso você enfrente algum desafio, sinta-se à vontade para entrar em contato conosco .”
Para maiores informações, leia o anúncio oficial do Microsoft Bing completo
