מהו robots txt ומה המשמעות של חסימת סריקה
robots txt הוא הכינוי הנפוץ לקובץ ששמו המדויק robots.txt. זהו קובץ טקסט שבו מגדירים לסורקים, ובהם הסורק של גוגל, לאילו נתיבים באתר מותר לגשת. לפי גוגל, מטרתו העיקרית היא ניהול עומס הסריקה ומניעת עומס יתר על השרת.
חסימת סריקה אינה מבטיחה שכתובת העמוד תיעלם מתוצאות החיפוש. גוגל עשויה להכיר את הכתובת דרך קישורים מעמודים אחרים ולהציג אותה גם בלי לסרוק את התוכן, בדרך כלל בלי תיאור. להסרת עמוד מהחיפוש משתמשים בדרך מתאימה אחרת, כגון הוראת noindex כשהעמוד נגיש לסורק, או הגנת סיסמה. כך מוסבר במבוא הרשמי של גוגל.
הקובץ גם אינו מנגנון אבטחה: ציות להוראות הוא וולונטרי. Googlebot וסורקים מוכרים אחרים מכבדים אותן, אך סורקים אחרים עשויים להתעלם מהן, וההוראות אינן מונעות מאנשים לפתוח כתובת בדפדפן. מידע פרטי צריך להיות מוגן באמצעות בקרת גישה, כגון דרישת סיסמה.
| השדה | מה הוא מגדיר | מה לבדוק |
|---|---|---|
| User-agent | לאיזה סורק מיועדת קבוצת ההוראות. | האם קיימת קבוצה ייעודית לסורק שאתם רוצים להשפיע עליו. |
| Disallow | נתיב שהסורק הרלוונטי מתבקש לא לסרוק. | האם החסימה כוללת גם כתובות שצריכות להישאר נגישות. |
| Allow | נתיב שמותר לסרוק, למשל כחריג לחסימה רחבה. | איזה כלל ספציפי יותר כאשר היתר וחסימה חלים על אותה כתובת. |
| Sitemap | כתובת מלאה של מפת אתר. | שהכתובת כוללת את הפרוטוקול ואת שם המארח. |
מקור: גוגל: מפרט הפענוח של קובץ robots.txt
איפה נמצא הקובץ ואיך קוראים את ההוראות
הקובץ צריך להיות בשורש האתר, למשל בכתובת https://example.com/robots.txt, ושמו חייב להיות robots.txt בדיוק. קובץ שנמצא בתיקיית משנה אינו עובד. לאתר יכול להיות קובץ אחד בלבד. ההוראות חלות על הפרוטוקול, המארח והפורט שבהם פורסם הקובץ; קובץ באתר הראשי אינו חל אוטומטית על תת־דומיין של חנות או בלוג.
כל קבוצת הוראות מתחילה בשורת User-agent שמזהה את הסורק שאליו היא מיועדת. בהמשך מופיעות שורות Allow ו־Disallow עם הנתיבים. כברירת מחדל, נתיב שלא נחסם מותר לסריקה, ולכן אין צורך להוסיף הוראת היתר נפרדת לכל עמוד. את דרישות המיקום והמבנה מפרט התיעוד ליצירת הקובץ.
נניח שבאתר יש תיקייה בשם /draft-material/ שמכילה חומר ציבורי זמני, ובעלי האתר רוצים למנוע את סריקתה בידי Googlebot. קבוצה שמתחילה בשורה User-agent: Googlebot וממשיכה בשורה Disallow: /draft-material/ מגדירה את החסימה הזאת. זו דוגמה היפותטית לניהול סריקה, ואין לראות בה דרך לשמור טיוטות בסוד.
ליצירת טיוטת הוראות אפשר להיעזר במחולל קובץ הרובוטים. לפני פרסום, התאימו את הנתיבים לאתר שלכם ובדקו מה בדיוק כל חסימה כוללת. אם האתר שלכם בנוי על פלטפורמה כמו Wix, ייתכן שאי אפשר לערוך את הקובץ ישירות, ויש הגדרות חיפוש במקומו.
כתיבת כללים: תווים כלליים, הערות וקידוד
בנתיבים אפשר להשתמש בתו * שמתאים לכל רצף תווים, ובתו $ שמצמיד את הכלל לסוף הכתובת. כוכבית בסוף נתיב אינה משנה דבר, ולכן /fish* ו־/fish שקולים. אפשר להשתמש בכוכבית בכל הכללים חוץ מ־Sitemap. כדי להבין מהי מפת אתר ומה מכניסים אליה, קראו את המדריך למפת אתר sitemap xml.
שורה שמתחילה ב־# היא הערה, וגוגל מתעלמת ממה שאחריו באותה שורה. הערות עוזרות לתעד למה נוספה כל חסימה, ומקלות על מי שיערוך את הקובץ בעתיד.
- הקובץ חייב להיות טקסט פשוט בקידוד UTF-8. עורך תמלילים עלול להכניס מרכאות מסולסלות ותווים אחרים ששוברים את הפענוח.
- שורות לא תקינות, כולל סימן BOM, מתעלמים מהן.
- שמות השדות והערכים של User-agent אינם רגישים לאותיות, אבל הנתיבים כן.
- הנתיב חייב להתחיל בלוכסן, ונתיב של תיקייה מסתיים בלוכסן.
- שורת Sitemap מקבלת כתובת מלאה ומוחלטת, אפשר להוסיף כמה שורות כאלה, והיא אינה קשורה לקבוצת סורק מסוימת.
הפרטים מופיעים במפרט הפענוח של גוגל. גוגל קוראת מהקובץ עד 500 KiB, ותוכן מעבר לכך מתעלמים ממנו. אם הקובץ גדל, כדאי לאחד כללים או להעביר חומר חסום לתיקייה אחת.
מתי צריך noindex או כתובת מועדפת במקום חסימה
אם המטרה היא שעמוד לא יופיע בחיפוש, הוראת noindex מיועדת למנוע את הכללתו באינדקס של מנועי חיפוש שתומכים בה, ובהם גוגל. אפשר למסור אותה בתגית בעמוד או בכותרת תגובה מהשרת. גוגל אינה תומכת בהוספת noindex כהוראה בתוך robots.txt.
כדי שגוגל תזהה את ההוראה, היא צריכה לגשת לעמוד ולקרוא אותה. חסימת אותו עמוד בקובץ הרובוטים עלולה למנוע ממנה לראות את noindex. גם לאחר הוספת ההוראה, ההסרה מהתוצאות תלויה בכך שגוגל תסרוק שוב את העמוד, כפי שמוסבר בתיעוד למניעת אינדוקס.
כאשר הבעיה היא כמה כתובות שמציגות תוכן זהה או דומה מאוד, אפשר לסמן לגוגל איזו כתובת מועדפת באמצעות canonical. זהו אות להעדפה בין גרסאות, וגוגל ממליצה שלא להשתמש בקובץ הרובוטים לצורך בחירת הגרסה הקנונית. ההסבר על סימון הכתובת המועדפת של עמוד מפרט את השימוש בו; ההבחנה מופיעה גם בהנחיות הרשמיות לטיפול בכתובות כפולות.
טעויות שעלולות לחסום עמודים שרציתם לקדם
הוראת Disallow: / בקבוצה של Googlebot חוסמת לסורק הזה את כל נתיבי האתר, אלא אם קיימת הוראת היתר מתאימה שגוברת עליה. לעומתה, Disallow ללא נתיב אינה יוצרת חסימה. ההבדל קטן בכתיבה, אך משמעותי בתוצאה.
גם היקף הנתיב משנה: חסימה של /shop חלה על כתובות שמתחילות ברצף הזה, לרבות /shopping. חסימה של /shop/ מתייחסת לנתיבים שמתחילים בשם התיקייה עם הלוכסן. הנתיבים רגישים לאותיות גדולות וקטנות, ולכן /Shop/ ו־/shop/ אינם זהים.
ההוראה האחרונה בקובץ אינה גוברת על הקודמות. גוגל בוחרת את הכלל הספציפי ביותר, כלומר הנתיב הארוך ביותר שמתאים; כשכללים סותרים שקולים בספציפיות שלהם, היא בוחרת בכלל המתיר. גם קבוצה ייעודית לסורק אינה מצטרפת אוטומטית לקבוצה הכללית.
הימנעו גם מחסימה גורפת של קובצי עיצוב או תסריטים שהעמוד זקוק להם. לפי ההנחיות של גוגל, אפשר לחסום קבצי משאבים רק אם העמוד פועל כראוי בלעדיהם; חסימת משאבים שמשפיעים על הבנת העמוד עלולה לפגוע ביכולת של גוגל לנתח אותו.
מה קורה כשהקובץ חסר, שגוי או לא זמין
גוגל שומרת את הקובץ במטמון עד 24 שעות בדרך כלל, ולכן שינוי לא תמיד נכנס לתוקף מיד. כשאי אפשר לרענן את הקובץ, למשל בשל שגיאת שרת או זמן תגובה ארוך, ייתכן שהמטמון יישמר זמן רב יותר.
התנהגות הסורק תלויה בקוד התגובה של השרת:
- שגיאות 4xx (חוץ מ־429): גוגל מתייחסת לכך כאילו אין קובץ, ואין הגבלות סריקה. שימוש בקוד 401 או 403 כדי להגביל סריקה אינו יעיל.
- שגיאות 5xx: גוגל מפסיקה לסרוק את האתר ב־12 השעות הראשונות ומנסה לטעון את הקובץ שוב. אחר כך היא משתמשת בעותק האחרון השמור, עד 30 יום.
- הפניות 3xx: גוגל עוקבת אחרי עד חמש הפניות, ואז מתייחסת לתוצאה כאל 404. הפניות באמצעות JavaScript או meta refresh אינן נבדקות.
המשמעות המעשית: אם הקובץ מחזיר שגיאת שרת לאורך זמן, הסריקה של כל האתר עלולה להיפגע. בדקו שהכתובת מחזירה תגובה תקינה אחרי כל החלפת שרת, תבנית או תוסף אבטחה.
מה לבדוק לפני שינוי ואחריו
לפני שינוי, שמרו עותק של הקובץ הקיים ורשמו את המטרה המדויקת: איזו קבוצת כתובות אמורה להיחסם, ולאיזה סורק. הכינו גם כתובות שצריכות להישאר פתוחות, כדי לבדוק שהחסימה אינה רחבה מהמתוכנן.
- פתחו את כתובת הקובץ בחלון גלישה פרטית וודאו שתוכן הטקסט זמין בלי התחברות.
- בדקו בדוח קובץ הרובוטים ב־Search Console איזו גרסה גוגל משכה, מתי נמשכה והאם נמצאו בעיות בפענוח.
- לאחר תיקון קריטי, אפשר לבקש סריקה חוזרת של הקובץ מתוך הדוח.
האפשרויות האלה מתוארות בתיעוד דוח קובץ הרובוטים. אם הקובץ אינו קיים, אין בכך כשלעצמו חסימת סריקה של האתר.
בדקו גם עמוד חשוב בכלי בדיקת הכתובות של גוגל. הבחינו בין המידע שנשמר מהסריקה הקודמת לבין בדיקה חיה של המצב הנוכחי: לפי תיעוד כלי בדיקת הכתובות, אלה בדיקות שונות, וגם תוצאה תקינה אינה מבטיחה הופעה בחיפוש. אם עמוד עדיין חסר, המשיכו לפי שלבי בדיקת האינדקס ותיקון עמוד שלא נכלל.
אם אתם שוקלים עזרה מקצועית בבירור החסימות, אפשר לפנות לשירות קידום האתרים של ברנדיני, הסוכנות שמפעילה את המגזין. הגדירו מראש שהתוצר המבוקש הוא הסבר לכל חסימה, רשימת שינויים מוצעת ובדיקת עמודים לאחר הביצוע.
