เกี่ยวกับ Applebot

เรียนรู้เกี่ยวกับ Applebot เว็บครอว์เลอร์สำหรับ Apple

ข้อมูลที่รวบรวมข้อมูลโดย Applebot จะนำไปใช้เพื่อขับเคลื่อนคุณสมบัติต่างๆ เช่น เทคโนโลยีการค้นหาที่ผสานรวมเข้ากับประสบการณ์ผู้ใช้หลายส่วนในระบบนิเวศของ Apple อย่าง Spotlight, Siri และ Safari การเปิดใช้งาน Applebot ใน robots.txt ช่วยให้เนื้อหาเว็บไซต์ปรากฏในผลการค้นหาสําหรับผู้ใช้ Apple ทั่วโลกในผลิตภัณฑ์เหล่านี้

Applebot เข้าถึงทรัพยากรหลายประเภทจากเว็บเซิร์ฟเวอร์ รวมถึงแต่ไม่จํากัดเฉพาะ robots.txt, แผนผังไซต์, ฟีด RSS, HTML, ทรัพยากรย่อยที่จําเป็นในการเรนเดอร์หน้าเว็บ เช่น javascript, คําขอ Ajax, รูปภาพ และอื่นๆ

การระบุ Applebot

การรับส่งข้อมูลที่มาจาก Applebot โดยทั่วไปสามารถระบุได้โดยใช้ DNS แบบย้อนกลับในโดเมน *.applebot.apple.com

อีกวิธีหนึ่งคือการจับคู่ที่อยู่ IP กับคํานําหน้า CIDR ที่มีอยู่ในไฟล์ JSON ต่อไปนี้: Applebot IP CIDRs

DNS แบบย้อนกลับ

สามารถใช้คำสั่งโฮสต์เพื่อตรวจสอบว่าที่อยู่ IP เป็นส่วนหนึ่งของ Applebot หรือไม่ นี่คือตัวอย่างของคำสั่งโฮสต์และผลลัพธ์

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179

นอกจากนั้นยังสามารถใช้คำสั่งโฮสต์เพื่อตรวจสอบว่า DNS ใช้ที่อยู่ IP เดียวกันหรือไม่

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com

User Agent

User Agent ช่วยเว็บมาสเตอร์ในการระบุการเข้าชมที่มาจากเว็บครอว์เลอร์ เพื่อให้เว็บมาสเตอร์สามารถขอรายงานบันทึกการเข้าถึงที่แม่นยําเกี่ยวกับกิจกรรมของเว็บครอว์เลอร์และควบคุมการเข้าถึงไซต์ผ่าน robots.txt ได้

Applebot ขับเคลื่อน User Agent หลายรายการ ซึ่งรวมถึง Search และ Podcasts

Search

Applebot ใช้รูปแบบต่อไปนี้สําหรับการ Crawl เว็บและการเรนเดอร์

สตริง user-agent จะมี "Applebot" และข้อมูลอื่นๆ ซึ่งจะอยู่ในรูปแบบทั่วไปดังนี้

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

ตัวอย่างสําหรับเดสก์ท็อป

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

ตัวอย่างสําหรับมือถือ

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

ในบางครั้ง Applebot จะอัปเดตเวอร์ชั่นเบราว์เซอร์ที่โฆษณาในขณะที่ยังคงอยู่ในรูปแบบทั่วไปด้านบน

Apple Podcasts

การรับส่งข้อมูล iTMS อาจมาจากโฮสต์ applebot.apple.com และสามารถระบุได้จาก User Agent ต่อไปนี้

User-Agent: iTMS

User Agent ที่เป็น iTMS จะไม่ทำตาม robots.txt เนื่องจากไม่ใช่ Search Crawler ทั่วไป และจะครอว์เฉพาะ URL ที่เกี่ยวข้องกับเนื้อหาที่ลงทะเบียนบน Apple Podcasts เท่านั้น

การปรับแต่งกฎ robots.txt

Applebot เคารพคําสั่ง robots.txt มาตรฐานใน Search Crawl ทั่วไปที่กําหนดเป้าหมายไปที่ Applebot ในตัวอย่างนี้ Applebot จะไม่พยายาม Crawl เอกสารที่อยู่ภายใต้ /private/ หรือ /not-allowed/

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

หากคำสั่งของโรบอตไม่ได้กล่าวถึง Applebot แต่กล่าวถึง Googlebot โรบอตของ Apple จะทำตามคำสั่งของ Googlebot

กฎการเรนเดอร์และโรบอต

Applebot อาจแสดงเนื้อหาของเว็บไซต์ของคุณภายในเบราว์เซอร์ หาก javascript, CSS และแหล่งข้อมูลอื่นๆ ถูกบล็อกโดย robots.txt Applebot อาจไม่สามารถแสดงเนื้อหาได้อย่างถูกต้อง ซึ่งรวมถึง XHR, JS และ CSS ที่หน้านั้นต้องการด้วย

หากต้องการให้ Applebot สร้างดัชนีเนื้อหาที่ดีที่สุดสำหรับหน้านั้น โปรดตรวจสอบให้แน่ใจว่า Applebot สามารถเข้าถึงข้อมูลทั้งหมดที่ผู้ใช้จะต้องใช้ในการเรนเดอร์หน้าดังกล่าว อีกวิธีหนึ่งคือตรวจสอบว่าการแสดงเว็บไซต์ดูชัดเจน แม้ว่าแหล่งข้อมูลทั้งหมดจะยังไม่พร้อมใช้งานก็ตาม หรือที่เรียกว่า "Graceful Degradation"

ปรับแต่งกฎการสร้างดัชนีสำหรับ Applebot

Applebot รองรับแท็ก Meta สำหรับโรบอตในเอกสาร HTML หากต้องการระบุกฎของโรบอตในในแท็ก Meta ให้ใส่แท็กในส่วน

... ...

Applebot ยังรองรับคำสั่งต่อไปนี้อีกด้วย

• noindex: Applebot จะไม่สร้างดัชนีหน้านี้ และจะไม่ปรากฏในคำแนะนำโดย Spotlight หรือคำแนะนำโดย Siri

• nosnippet: Applebot จะไม่สร้างคำอธิบายหรือคำตอบของเว็บสำหรับหน้านี้

• nofollow: Applebot จะไม่ไปตามลิงก์ใดๆ ที่อยู่ในหน้านี้

• none: Applebot จะไม่สร้างดัชนี, Snippet หรือไปตามลิงก์ในหน้านี้ ดังที่ได้อธิบายไว้ข้างต้น

• all: Applebot มาพร้อมเอกสารสำหรับคำแนะนำต่างๆ และจะสร้าง Snippet ของเนื้อหา เพื่อแสดงคำอธิบายสั้นๆ ของหน้านั้นถัดจากรูปภาพแทน

หากต้องการใส่คำสั่งหลายคำสั่งในแท็ก Meta เดียว ให้ใช้รายการที่คั่นด้วยจุลภาคหรือแท็ก Meta หลายแท็ก

ตัวอย่าง:

การควบคุมการใช้ข้อมูล

นอกเหนือจากการทำตามกฎและคําสั่ง robots.txt ทั้งหมดแล้ว Apple ยังมี User Agent รอง นั่นก็คือ Applebot-Extended ซึ่งให้ผู้เผยแพร่เว็บควบคุมได้มากขึ้นว่า Apple จะสามารถนำเนื้อหาเว็บไซต์ของตนไปใช้อย่างไรบ้าง

ด้วย Applebot-Extended ผู้เผยแพร่เว็บสามารถเลือกที่จะไม่ให้มีการนำเนื้อหาเว็บไซต์ของตนไปใช้ฝึกโมเดลพื้นฐานของ Apple ที่ขับเคลื่อนคุณสมบัติเจเนอเรทีฟ AI ในผลิตภัณฑ์ต่างๆ ของ Apple เช่น Apple Intelligence, Services และ Developer Tools

คุณสามารถเพิ่มกฎใน robots.txt ดังนี้เพื่อไม่อนุญาต Applebot-Extended ทำงาน

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended ไม่ Crawl หน้าเว็บ หน้าเว็บที่ไม่อนุญาตให้ Applebot-Extended ทำงานยังสามารถแสดงในผลการค้นหาได้ Applebot-Extended ใช้เพื่อกําหนดว่าจะนำข้อมูลที่ Crawl โดย User Agent ที่เป็น Applebot ไปใช้อย่างไรเท่านั้น

การอนุญาต Applebot-Extended จะช่วยปรับปรุงความสามารถและคุณภาพของโมเดลเจเนอเรทีฟ AI ของ Apple ในระยะยาว

เกี่ยวกับการจัดลำดับการค้นหา

Apple Search อาจพิจารณาปัจจัยต่อไปนี้เมื่อจัดลำดับผลการค้นหาบนเว็บ

• การมีส่วนร่วมของผู้ใช้โดยรวมกับผลการค้นหา

• ความเกี่ยวข้องและการจับคู่คำค้นหากับหัวข้อและเนื้อหาของหน้าเว็บ

• จำนวนและคุณภาพของลิงก์จากหน้าอื่นๆ บนเว็บ

• สัญญาณตามตำแหน่งของผู้ใช้ (ข้อมูลโดยประมาณ)

• ลักษณะการออกแบบของเว็บเพจ

ผลการค้นหาอาจใช้ปัจจัยข้างต้นโดยไม่ส่งผล (ที่กำหนดไว้ล่วงหน้า) ต่อการจัดลำดับ ผู้ใช้งานการค้นหาอยู่ภายใต้นโยบายความเป็นส่วนตัวที่ระบุไว้ในคำแนะนำโดย Siri การค้นหา และความเป็นส่วนตัว

ติดต่อเรา

หากคุณมีคำถามหรือข้อกังวล โปรดติดต่อเราที่ applebot@apple.com