מה זה אינדקס בגוגל: ההבדל בין עמוד שנשמר לעמוד שמופיע בחיפוש

מה זה אינדקס בגוגל ומה המשמעות של כניסה אליו

אינדקס בגוגל הוא מאגר מידע על עמודים שגוגל עיבד, וממנו הוא בוחר תוצאות לחיפושים. המידע כולל את תוכן העמוד ומאפיינים שעוזרים להבין אותו. כשאתם מחפשים, גוגל מחפש התאמות במאגר הזה ובוחר אילו תוצאות להציג.

בהוספה לאינדקס גוגל מנתח את הטקסט בעמוד, את תגיות הכותרת, את מאפייני ה־alt של התמונות ואת התמונות והסרטונים עצמם, כדי להבין על מה העמוד. המידע נשמר במסד נתונים גדול שמפוזר על אלפי מחשבים.

כניסה לאינדקס פירושה שהמידע על העמוד נכלל במאגר. זו אינה הבטחה שהעמוד יוצג בכל חיפוש רלוונטי, או שיופיע במקום גבוה. גם עמוד שנכלל באינדקס עשוי שלא להופיע בחיפוש שביצעתם, למשל כשהתוכן שלו אינו מתאים מספיק לשאילתה. ההבחנה מתוארת בהסבר הרשמי של גוגל על פעולת החיפוש.

גוגל מציין שהוא אינו מקבל תשלום כדי לסרוק אתר בתדירות גבוהה יותר או כדי לדרג אותו גבוה יותר. מודעות ממומנות מופרדות מהדירוג האורגני.

הבדיקה מתייחסת לעמוד מסוים: הופעת עמוד הבית בחיפוש אינה מספיקה כדי לדעת מה מצבם של עמודי השירות או המאמרים באתר.

סריקה, הוספה לאינדקס ודירוג הם שלבים שונים

בסריקה, גוגל ניגש לעמוד וקורא את תוכנו. בהוספה לאינדקס הוא מעבד את המידע ועשוי לשמור אותו במאגר. בעת חיפוש הוא בוחר תוצאות בהתאם לשאילתה. גוגל אינו מבטיח שכל עמוד שנסרק גם ייכלל באינדקס.

שלב הסריקה

אין רישום מרכזי של עמודי אינטרנט, ולכן גוגל מחפש כתובות חדשות ומעודכנות כל הזמן. הוא מגלה אותן דרך עמודים שכבר ביקר בהם, דרך קישורים בעמודים מוכרים ודרך מפות אתר שבעלי אתרים שולחים.

הסורק של גוגל, Googlebot, מחליט אילו אתרים לסרוק, באיזו תדירות וכמה עמודים לקחת מכל אתר. הוא נמנע מהעמסה על השרת, ותגובות שגיאה כמו HTTP 500 מסמנות לו להאט. עמוד החסום ב־robots.txt או עמוד שדורש התחברות לא ייסרק.

במהלך הסריקה גוגל גם מריץ JavaScript בגרסה עדכנית של Chrome, כך שתוכן שנטען בסקריפט יכול להיות גלוי לו.

שלב ההוספה לאינדקס

אחרי הסריקה גוגל מנתח את העמוד ומחליט אם לשמור אותו. הוא גם אוסף אותות על העמוד, כמו השפה, המדינה שאליה התוכן מקומי והשימושיות של העמוד. האותות האלה משפיעים בהמשך על הדירוג.

שלב הצגת התוצאות

כשמישהו מחפש, גוגל בודק באינדקס אילו עמודים מתאימים ומחזיר את אלה שהוא מעריך כרלוונטיים ואיכותיים ביותר. הדירוג אוטומטי.

נניח שפרסמתם עמוד על תיקון תריסים. ייתכן שגוגל כבר סרק אותו, אך טרם כלל אותו באינדקס. גם לאחר שנכלל, אין בכך הבטחה שיופיע במקום בולט בחיפוש אחר השירות. כאשר העמוד כבר נכלל באינדקס, אפשר להמשיך לבדיקת מיקומים בגוגל כדי לבחון את הופעתו בביטויים הרלוונטיים.

למה כתובת מסוימת עשויה להישאר מחוץ לאינדקס

לפי גוגל, אינדוקס אינו מובטח: לא כל עמוד שגוגל מעבד נכנס לאינדקס. הסיבות שהתיעוד מזכיר הן איכות תוכן נמוכה, הוראות robots שאוסרות אינדוקס, ועיצוב אתר שמקשה על האינדוקס, למשל הסתמכות כבדה על JavaScript.

כתובות כפולות וכתובת קנונית

כשיש כתובות עם תוכן זהה או דומה מאוד, גוגל מקבץ אותן ובוחר כתובת מייצגת, המכונה כתובת קנונית. שאר הכתובות בקבוצה נחשבות חלופות. לכן כתובת חלופית שאינה נכללת בפני עצמה אינה בהכרח תקלה.

אפשר להצביע על הכתובת המועדפת, אך גוגל קובע איזו גרסה יבחר, כפי שמוסבר בתיעוד על כתובות כפולות וקנוניות. השיטות לסימון, מהחזקה לחלשה, הן הפניה קבועה, תגית rel="canonical" ורשימת הכתובות המועדפות במפת האתר. כדאי לשים תגית קנונית גם בעמוד הקנוני עצמו, להשתמש בכתובות מלאות ולקשר פנימית לגרסה המועדפת.

לא משתמשים ב־robots.txt או בכלי להסרת כתובות כדי לבחור כתובת קנונית. גם noindex אינו מתאים לבחירה בין גרסאות באותו אתר, כי הוא מסיר את העמוד מהחיפוש כולו.

noindex וחסימה ב־robots.txt

הוראת noindex מבקשת למנוע הכללה באינדקס. אפשר להציב אותה כתגית meta בראש העמוד או ככותרת HTTP בשם X-Robots-Tag, והאפשרות השנייה מתאימה גם לקבצי PDF ותמונות.

גוגל צריך להיות מסוגל לסרוק את העמוד כדי לקרוא את ההוראה. חסימה בקובץ robots.txt מונעת סריקה, ולכן גוגל לא יראה את ה־noindex, והכתובת עדיין עשויה להופיע בתוצאות אם עמודים אחרים מקשרים אליה. גוגל גם אינו תומך בכללי noindex שנכתבים בתוך robots.txt. אלה מנגנונים שונים, לפי התיעוד של גוגל על מניעת הוספה לאינדקס.

עמוד שנכלל באינדקס ועדיין לא מופיע בחיפוש

Search Console עשוי לדווח שעמוד נמצא באינדקס בלי שהוא מופיע בתוצאות. גוגל מונה כמה סיבות אפשריות: התוכן אינו רלוונטי לשאילתות של המשתמשים, איכות התוכן נמוכה, או הוראות robots מונעות את הצגת העמוד.

הרלוונטיות נקבעת לפי מאות גורמים, ובהם המיקום של המשתמש, השפה והמכשיר. לכן אותה שאילתה יכולה להחזיר תוצאות שונות לאנשים שונים. חיפוש של מוסך אופניים יציג תוצאות אחרות בעיר אחת מאשר בעיר אחרת, וחלק מהשאילתות מציגות תוצאות מקומיות או תמונות.

המשמעות המעשית היא שאפשר לאבחן שלוש בעיות נפרדות: גוגל לא הגיע לעמוד, גוגל הגיע אך לא שמר אותו, או גוגל שמר אותו אך הוא לא נבחר לשאילתה. לכל אחת מהן טיפול אחר, ולכן כדאי לזהות איזו מהן קיימת לפני שמשנים משהו בעמוד.

איך בודקים את מצב העמוד ומחליטים מה לעשות

באתר שיש לכם גישה אליו ב־Search Console, הזינו את כתובת העמוד המלאה בכלי לבדיקת כתובות. הכתובת צריכה להשתייך לנכס הפתוח. הכלי מציג מידע על הגרסה ששמורה באינדקס: איך גוגל גילה את הכתובת, מתי נסרקה לאחרונה, אם robots.txt מתיר סריקה, אם האינדוקס מותר ומהי הכתובת הקנונית שגוגל בחר. לפירוט הפעולות אפשר להיעזר בשלבי בדיקת אינדקס גוגל ותיקון עמוד שלא נכלל.

הסטטוס שבראש הדוח יכול להיות: בגוגל, בגוגל עם בעיות, לא בגוגל או עמוד חלופי. הסטטוס "בגוגל" פירושו שהעמוד זכאי להופיע בתוצאות, ולא שהוא יופיע בהן. הדרך לוודא הופעה היא לחפש את הכתובת בפועל.

הבחינו בין המידע השמור לבין בדיקה של הגרסה הפעילה. הגרסה השמורה עשויה להיות ישנה מהעמוד הנוכחי. בדיקה פעילה בוחנת אם אפשר להוסיף את העמוד לאינדקס, ובמקרה שעברה בהצלחה היא עדיין אינה מוכיחה שהעמוד ייכלל: היא אינה בודקת איכות, כפילויות או את הכתובת הקנונית שגוגל יבחר. כך מבהיר מדריך הכלי לבדיקת כתובות.

אחרי פרסום עמוד או תיקון בעיה אפשר לבקש הוספה לאינדקס, אם הבדיקה הפעילה לא מצאה חסימה. לפי גוגל, האינדוקס לרוב לוקח כיום, ולעיתים שבוע או שבועיים. יש מכסה יומית לבקשות, והבקשה אינה מבטיחה הכללה. בקשות חוזרות לאותה כתובת אינן מזרזות את הסריקה, לפי הנחיות גוגל לבקשת סריקה חוזרת. כשיש הרבה עמודים חדשים, מפת אתר עם תאריכי עדכון מדויקים מתאימה יותר מבקשות בודדות.

אם פונים לעזרה מקצועית, בקשו אבחנה שמפרידה בין בעיית גישה לעמוד, אי־הכללה באינדקס וקושי בדירוג. אפשר לפנות לשירות קידום האתרים של ברנדיני, הסוכנות שמפעילה את המגזין, ולבקש שהבדיקה תתייחס לכתובות העמודים ולמצב שכל אחת מציגה.