Sobre o Applebot

Saiba mais sobre o Applebot, o web crawler da Apple.

Os dados rastreados pelo Applebot são usados para alimentar vários recursos, como a tecnologia de busca que está integrada a muitas experiências do usuário no ecossistema da Apple, inclusive Spotlight, Siri e Safari. A ativação do Applebot em robots.txt permite que o conteúdo do site apareça nos resultados de busca para usuários da Apple em todo o mundo nesses produtos.

O Applebot acessa muitos tipos de recurso de servidores da web, incluindo, entre outros, robots.txt, sitemaps, feeds RSS, HTML, recursos secundários necessários para renderizar páginas, como javascript, solicitações Ajax, imagens e muito mais.

Como identificar o Applebot

O tráfego proveniente do Applebot é geralmente identificado usando DNS reverso no domínio *.applebot.apple.com.

Outra maneira é combinar o endereço IP com um prefixo CIDR contido no seguinte arquivo JSON: Applebot IP CIDRs.

DNS reverso

O comando host pode ser usado para determinar se um endereço IP faz parte do Applebot. Estes exemplos mostram o comando host e seu resultado:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

O comando host também pode ser usado para verificar se o DNS aponta para o mesmo endereço IP:

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

Agentes do usuário

Um agente do usuário ajuda os webmasters a identificar o tráfego do rastreador para que eles possam obter relatórios precisos de registro de acesso da atividade do rastreador e controlar o acesso ao site via robots.txt.

O Applebot alimenta vários agentes de usuário, incluindo Busca e Podcasts.

Busca

Para rastreamento e renderização de pesquisa na web, o Applebot usa o seguinte formato:

A string user-agent contém "Applebot" e outras informações. O seguinte é o formato geral:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

Exemplo para computador:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Exemplo para celular:

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ocasionalmente, o Applebot atualizará a versão do navegador anunciado enquanto permanece no formato geral acima.

Apple Podcasts

O tráfego iTMS também pode ser proveniente de hosts applebot.apple.com e será identificado pelo seguinte agente do usuário:

User-Agent: iTMS

O agente do usuário do iTMS não segue robots.txt, pois não é um rastreador de pesquisa geral. Ele apenas rastreia URLs associadas ao conteúdo registrado no Apple Podcasts.

Como personalizar regras robot.txt

O Applebot respeita as diretivas padrão do robots.txt em rastreamentos de busca gerais direcionados ao Applebot. Neste exemplo, o Applebot não tenta rastrear documentos incluídos em /private/ ou /not-allowed/:

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

Se as instruções robots não mencionarem o Applebot, mas mencionarem o Googlebot, o robô da Apple seguirá as instruções do Googlebot.

Regras de renderização e robô

O Applebot pode renderizar o conteúdo do site em um navegador. Se javascript, CSS e outros recursos estiverem bloqueados via robots.txt, talvez não seja possível renderizar o conteúdo corretamente. Isso inclui XHR, JS e CSS que a página pode exigir.

Para que o Applebot indexe o melhor conteúdo para a página, verifique se tudo o que é necessário para o usuário renderizar a página está disponível para o Applebot. Como alternativa, verifique se o site é renderizado de maneira limpa, mesmo que os recursos não estejam disponíveis. Isso geralmente é chamado de degradação graciosa.

Como personalizar regras de indexação para Applebot

O Applebot é compatível com meta tags robots em documentos HTML. Para especificar regras robots em meta tags, coloque as tags na seção

... ...

O Applebot também é compatível com as seguintes diretivas:

• noindex: o Applebot não indexa a página, e ela não aparece nas sugestões do Spotlight ou da Siri.

• nosnippet: o Applebot não gera uma descrição ou resposta da Internet para a página.

• nofollow: o Applebot não segue nenhum link na página.

• none: o Applebot não indexa, obtém trechos ou segue os links na página, conforme descrito acima.

• all: o Applebot fornece o documento nas sugestões e obtém trechos do conteúdo para apresentar uma breve descrição da página ao lado de uma imagem representativa.

Para inserir diversas diretivas em uma única meta tag, separe-as por vírgula ou insira diversas meta tags.

Exemplo:

Como controlar o uso de dados

Além de seguir todas as regras e diretivas do robots.txt, a Apple tem um agente de usuário secundário, Applebot-Extended, que oferece aos editores da web controles adicionais sobre como o conteúdo do site pode ser usado pela Apple.

Com o Applebot-Extended, os editores da web podem optar por não usar o conteúdo do site para treinar os modelos de base da Apple que alimentam recursos da IA generativa em todos os produtos da Apple, incluindo Inteligência, Serviços e Ferramentas para desenvolvedores Apple.

Você pode adicionar uma regra a robots.txt para não permitir o Applebot-Extended da seguinte forma:

User-agent: Applebot-Extended Disallow: /private/

O Applebot-Extended não rastreia páginas da web. Páginas da web que não permitem o Applebot-Extended ainda podem ser incluídas nos resultados da busca. O Applebot-Extended é usado apenas para determinar como usar os dados rastreados pelo agente do usuário do Applebot.

Permitir o Applebot-Extended ajudará a melhorar os recursos e a qualidade dos modelos de IA generativa da Apple ao longo do tempo.

Sobre classificações de busca

O Apple Search pode levar estes fatores em consideração ao classificar os resultados da busca na web:

• Envolvimento agregado do usuário com os resultados da busca

• Relevância e correspondência dos termos da busca com os tópicos e o conteúdo da página da web

• Número e qualidade dos links de outras páginas na web

• Sinais baseados na localização do usuário (dados aproximados)

• Características de design da página na web

Os resultados da busca podem usar os fatores acima sem importância (predefinida) da classificação. Os usuários da busca estão sujeitos à política de privacidade em Sugestões da Siri, Busca e Privacidade.

Entre em contato conosco

Caso você tenha perguntas ou dúvidas, entre em contato conosco pelo e-mail applebot@apple.com.