מחולל קובץ robots.txt מלא עם הצהרת Sitemap ומדיניות זחלני חיפוש.
בנו קובץ robots.txt תקני לפי תשתית האתר (WordPress, Shopify או מותאם אישית) שמפריד בין זחלני ציטוט בחיפוש לבין בוטים של אימון מודלים.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: CCBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Bytespider
Disallow: /
Sitemap: https://yourwebsite.co.il/sitemap.xmlאיך לשלב את הכלי בשגרת העבודה שלכם
- לעולם אל תחסמו תיקיות קבצי עיצוב או קוד ב־robots.txt — Googlebot חייב לטעון אותם כדי להבין תאימות למובייל.
- הפרדה בין בוט חיפוש (כגון OAI-SearchBot) לבין בוט אימון מאפשרת לקבל ציטוטים ותנועה מבלי לאשר גריפת ארכיון מלאה.
- מקמו תמיד את שורת ה־Sitemap עם כתובת HTTPS מלאה בתחתית הקובץ.
מדריכי עומק קשורים מהאקדמיה
אסטרטגיה
תקנו חסימות אינדוקס ושגיאות תגובה לפני אזהרות קוסמטיות
כיצד לתעדף ממצאי ביקורת אתר לפי השפעה אמיתית על הדירוגים במקום ללכת לאיבוד באזהרות משניות.
קריאת הנתוניםשימו לב למגבלת העמודים ולחיווי כיסוי חלקי של הסריקה
כיצד לקרוא נכון סריקת HTML מבוקרת ולהבין את משמעות חיווי הכיסוי החלקי והיעדר רינדור JavaScript.