מעבדת Robots.txt לזחלני AI + מחולל סכמות JSON-LD.
בדקו חוקי גישה לזחלני חיפוש ואימון בינה מלאכותית (GPTBot, Googlebot) ובנו קוד סכמה תקני למאמרים, שאלות נפוצות ועסק מקומי.
מעבדת בדיקת robots.txt וזחלני חיפוש ובינה מלאכותית
בדקו חוקי נתיבים, תווים כלליים וקדימות חוקים מול מנועי חיפוש, זחלן המערכת וזחלני בינה מלאכותית לפני העלאה לאוויר. ללא צריכת קרדיטים.
3 קבוצות זחלנים1 מפות אתר מוגדרות20 בדיקות מותרות · 10 בדיקות חסומות
| נתיב נבדק | Googlebotחיפוש Google | SEOkitBotזחלן Serpo | Bingbotחיפוש Bing | OAI-SearchBotחיפוש מבוסס בינה מלאכותית | GPTBotאימון מודלים | Google-Extendedאימון מודלים |
|---|---|---|---|---|---|---|
/ | מותר לזחילהL3: / | מותר לזחילהL3: / | מותר לזחילהL3: / | מותר לזחילהL3: / | חסום לזחילהL10: / | חסום לזחילהL13: / |
/blog/seo-guide | מותר לזחילהL3: / | מותר לזחילהL3: / | מותר לזחילהL3: / | מותר לזחילהL3: / | חסום לזחילהL10: / | חסום לזחילהL13: / |
/wp-admin/ | מותר לזחילהL3: / | מותר לזחילהL3: / | מותר לזחילהL3: / | מותר לזחילהL3: / | חסום לזחילהL10: / | חסום לזחילהL13: / |
/wp-admin/admin-ajax.php | מותר לזחילהL3: / | מותר לזחילהL3: / | מותר לזחילהL3: / | מותר לזחילהL3: / | חסום לזחילהL10: / | חסום לזחילהL13: / |
/?s=shoes | מותר לזחילהL3: / | מותר לזחילהL3: / | מותר לזחילהL3: / | מותר לזחילהL3: / | חסום לזחילהL10: / | חסום לזחילהL13: / |
מחולל סכמות JSON-LD מובנה
יצירת קוד JSON-LD תקני ובטוח התואם לתוכן הגלוי בעמוד — מוכן לבדיקה בכלי התוצאות העשירות של Google לפני ההטמעה. ללא צריכת קרדיטים.
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "Article",
"datePublished": "2026-11-22",
"mainEntityOfPage": "https://yourwebsite.com/article"
}
</script>פרסמו אך ורק נתונים מובנים שמשקפים במדויק תוכן גלוי בעמוד. אמתו דרישות מקוננות ואת מדיניות Google לפני הטמעה באתר.איך לשלב את הכלי בשגרת העבודה שלכם
- אם תחסמו בטעות את OAI-SearchBot במקום רק את GPTBot, תמנעו הופעה כמקור מצוטט בתשובות חיפוש מבוססות בינה מלאכותית.
- פקודת Noindex בתוך קובץ robots.txt אינה נתמכת על ידי Google — השתמשו תמיד בתגית meta robots בעמוד עצמו.
- אמתו כל סכמת JSON-LD מול התוכן הגלוי בעמוד לפני העלאה לפרודקשן.
מדריכי עומק קשורים מהאקדמיה
אסטרטגיה
תקנו חסימות אינדוקס ושגיאות תגובה לפני אזהרות קוסמטיות
כיצד לתעדף ממצאי ביקורת אתר לפי השפעה אמיתית על הדירוגים במקום ללכת לאיבוד באזהרות משניות.
קריאת הנתוניםשימו לב למגבלת העמודים ולחיווי כיסוי חלקי של הסריקה
כיצד לקרוא נכון סריקת HTML מבוקרת ולהבין את משמעות חיווי הכיסוי החלקי והיעדר רינדור JavaScript.