מחולל תגיות Robots נפרדות לפי זחלן (Googlebot מול זחלני AI ותצוגת תקצירים).
אפשרו אינדוקס מלא ותקצירים עשירים ב־Google Search תוך שליטה מדויקת באורך הציטוט (max-snippet) או חסימת אימון/תצוגה בזחלנים ספציפיים — ב־HTML וב־HTTP!
תגיות מטא ב־HTML
<meta name="googlebot" content="index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1" />
<meta name="bingbot" content="index, follow" />כותרות שרת HTTP
X-Robots-Tag: googlebot: index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1
X-Robots-Tag: bingbot: index, followאיך לשלב את הכלי בשגרת העבודה שלכם
- שימוש ב־max-image-preview:large ב־Googlebot חיוני כדי להופיע עם תמונות גדולות ב־Google Discover ובתוצאות הנייד.
- ניתן להפריד לחלוטין בין הוראות ל־googlebot הרגיל לבין זחלנים אחרים באמצעות תגית meta ייעודית עם שם הזחלן.
- עבור קובצי PDF או תמונות שאינם עמודי HTML, השתמשו בכותרת השרת X-Robots-Tag המופקת כאן.
מדריכי עומק קשורים מהאקדמיה
אסטרטגיה
תקנו חסימות אינדוקס ושגיאות תגובה לפני אזהרות קוסמטיות
כיצד לתעדף ממצאי ביקורת אתר לפי השפעה אמיתית על הדירוגים במקום ללכת לאיבוד באזהרות משניות.
קריאת הנתוניםשימו לב למגבלת העמודים ולחיווי כיסוי חלקי של הסריקה
כיצד לקרוא נכון סריקת HTML מבוקרת ולהבין את משמעות חיווי הכיסוי החלקי והיעדר רינדור JavaScript.