SEO טכני · כלי SEO חינמי

מחולל קובץ robots.txt מלא עם הצהרת Sitemap ומדיניות זחלני חיפוש.

בנו קובץ robots.txt תקני לפי תשתית האתר (WordPress, Shopify או מותאם אישית) שמפריד בין זחלני ציטוט בחיפוש לבין בוטים של אימון מודלים.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: CCBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Bytespider
Disallow: /

Sitemap: https://yourwebsite.co.il/sitemap.xml

איך לשלב את הכלי בשגרת העבודה שלכם

  • לעולם אל תחסמו תיקיות קבצי עיצוב או קוד ב־robots.txt — Googlebot חייב לטעון אותם כדי להבין תאימות למובייל.
  • הפרדה בין בוט חיפוש (כגון OAI-SearchBot) לבין בוט אימון מאפשרת לקבל ציטוטים ותנועה מבלי לאשר גריפת ארכיון מלאה.
  • מקמו תמיד את שורת ה־Sitemap עם כתובת HTTPS מלאה בתחתית הקובץ.
סרקו את האתר לפי חוקי robots.txt ב־Site Audit
כלים נוספים בקטגוריה זו:

מדריכי עומק קשורים מהאקדמיה

אקדמיית SEO