אינדקס גוגל: איך בודקים שהעמוד נכלל ומתקנים בעיות

איך בודקים כניסה לאינדקס גוגל, צעד אחר צעד

אינדקס גוגל הוא מאגר שבו גוגל שומרת מידע שעיבדה מעמודים באינטרנט. עמוד שנכנס לאינדקס עשוי להופיע בתוצאות החיפוש, אך הכניסה אינה מבטיחה הופעה בחיפוש מסוים או מיקום גבוה. גוגל גם אינה מבטיחה לסרוק ולהוסיף כל עמוד שמתפרסם, כפי שמוסבר בתיעוד על פעולת החיפוש.

לבדיקת עמוד באתר שלכם נדרשת גישה לנכס המתאים ב־Search Console. אם האתר עדיין אינו מחובר, התחילו עם חיבור האתר לכלי מנהל האתרים. הכינו את הכתובת המלאה של העמוד שברצונכם לבדוק.

1. פתחו את הנכס של האתר והדביקו את הכתובת בשורת בדיקת הכתובות בראש המסך.
2. קראו את המצב הכללי. הודעה שהכתובת נמצאת בגוגל מצביעה על כך שנוספה לאינדקס, בכפוף להסתייגויות הכלי. אם היא אינה בגוגל, פתחו את פרטי הוספת העמוד לאינדקס.
3. בדקו את סיבת אי־ההכללה, מועד הסריקה האחרון והכתובת הקנונית שגוגל בחרה, כאשר הנתונים זמינים.
4. אם שיניתם את העמוד מאז הסריקה, הפעילו בדיקה של הכתובת הפעילה. היא בודקת את המצב הנוכחי; הצלחה בה אינה אישור שהגרסה החדשה כבר נכנסה לאינדקס.

הנתונים הראשונים מתייחסים לגרסה שגוגל מכירה, ולכן הם עשויים לשקף מצב שקדם לתיקון. ההבדל בין הבדיקה החיה לנתוני האינדקס מוסבר בהוראות כלי בדיקת הכתובות.

איך העמוד מגיע מגילוי להופעה בחיפוש

גוגל עשויה לגלות כתובת דרך קישור מעמוד מוכר או דרך מפת אתר. בהמשך היא עשויה לסרוק את העמוד, כלומר לגשת אליו ולהוריד את תוכנו. בשלב ההוספה לאינדקס היא מנתחת את המידע ומחליטה איך לשמור אותו, כולל בחירה בין גרסאות דומות.

לכן כתובת מוכרת אינה בהכרח כתובת שנסרקה, ועמוד שנסרק אינו בהכרח עמוד שנכלל באינדקס. רק כאשר מתבצע חיפוש, גוגל בוחרת אילו תוצאות להציג בהתאם לשאילתה ולשיקולים נוספים. אלה שלבים נפרדים בתהליך החיפוש של גוגל.

אפשר לקבל אינדיקציה ראשונית באמצעות חיפוש עם האופרטור site: ואחריו הכתובת או הדומיין. עם זאת, גוגל מבהירה שכתובת שנמצאת באינדקס אינה מובטחת להופיע בחיפוש כזה. אם העמוד חסר בתוצאות, המשיכו לבדיקת כתובת, ואל תתייחסו לתוצאות האופרטור כרשימה מלאה של עמודי האתר. ראו את ההסבר הרשמי על חיפוש לפי אתר.

מה מתקנים כשהעמוד חסום או מחזיר שגיאה

לפני שינוי הגדרות, החליטו אם העמוד אמור להופיע בחיפוש. עמוד כניסה לחשבון או תוכן פרטי עשויים להיות חסומים בכוונה. עבור עמוד ציבורי שאתם רוצים לקדם, בדקו שהסורק יכול לגשת אליו, שהעמוד מחזיר תגובת הצלחה ושהוא מכיל תוכן שאפשר לאנדקס. אלה דרישות הסף הטכניות של גוגל, ועמידה בהן אינה מבטיחה הכללה.

הוראת noindex בעמוד ציבורי

הוראת noindex מבקשת ממנוע החיפוש לא לכלול את התוכן באינדקס. היא יכולה להופיע בתגית בעמוד או בכותרת התגובה של השרת. אם העמוד מיועד לחיפוש, הסירו את ההוראה מהמקום שמייצר אותה ובדקו מחדש את הגרסה הפעילה. כדאי גם להבין איך קובץ robots txt שולט בסריקה.

נניח שעמוד שירות פורסם לאחר שנבנה כתוכן זמני, והוראת החסימה נשארה פעילה. פרסום העמוד אינו מבטל אותה: צריך לתקן את ההגדרה ולוודא שההוראה נעלמה. גוגל חייבת להיות מסוגלת לסרוק את העמוד כדי לזהות את ההוראות שלו, לפי התיעוד על noindex.

חסימת סריקה בקובץ robots.txt

הקובץ robots.txt מנהל את הגישה של סורקים לכתובות באתר. אם כלל חוסם עמוד ציבורי רצוי, התאימו את הכלל הרלוונטי ובדקו את התוצאה. אפשר לנסח כללים חדשים באמצעות מחולל קובץ robots. הימנעו ממחיקת כל הקובץ כפתרון גורף, משום שהוא עשוי לכלול הוראות מכוונות לכתובות אחרות.

חסימת סריקה גם אינה אמצעי אמין להסרת כתובת מהחיפוש: גוגל עשויה להכיר אותה דרך קישורים, בלי לקרוא את תוכנה. חסימה כזאת אף יכולה למנוע ממנה לראות הוראת noindex. ההבחנה מופיעה בהנחיות לקובץ הסריקה.

עמוד שלא נמצא או שרת שאינו זמין

אם עמוד שאמור להיות פעיל מחזיר שגיאת 404, בדקו את הכתובת ואת פרסומו. שגיאות שרת מסוג 5xx דורשות בדיקה של מערכת האתר והאחסון. תקלות מתמשכות עלולות לפגוע בסריקה ובהמשך גם בנוכחות עמודים באינדקס.

גם תגובת 200 אינה מספיקה כשלעצמה: עמוד ריק או הודעת שגיאה שמוחזרת כעמוד תקין עלולים להיחשב soft 404. בדקו שהתוכן המלא אכן נשלח, בהתאם להסבר על תגובות שרת וסריקה.

מה עושים כשגוגל בוחרת כתובת אחרת או עדיין לא מוסיפה את העמוד

כתובת קנונית אחרת

כתובת קנונית היא הגרסה המייצגת של קבוצת עמודים זהים או דומים מאוד. אם גוגל בחרה גרסה אחרת, השוו בין הכתובות ובדקו את תגית canonical, הקישורים הפנימיים ומפת האתר. כוונו אותם לאותה גרסה מועדפת, בלי הוראות סותרות.

תגית canonical היא אות להעדפה; גוגל יכולה לבחור אחרת. אם שני העמודים אמורים לשרת צרכים שונים, בדקו שהתוכן שלהם שונה באופן מהותי. אם מדובר בכפילויות מכוונות, אין צורך לנסות להכניס כל גרסה לאינדקס. ראו את ההנחיות לאיחוד כתובות כפולות.

עמוד שהועבר לכתובת חדשה

כאשר הכתובת הישנה מפנה לחדשה, בדקו את מצב האינדקס של כתובת היעד. במעבר קבוע, הפניית 301 היא אות חזק לכך שיש לעבד את כתובת היעד, לפי תיעוד תגובות השרת. לתכנון המעבר אפשר להיעזר ברשימת הבדיקה להפניות קבועות.

העמוד התגלה או נסרק, אך אינו באינדקס

המצב "התגלה, אך לא נוסף לאינדקס כרגע" מציין שגוגל מכירה את הכתובת ועדיין לא סרקה אותה. המצב "נסרק, אך לא נוסף לאינדקס כרגע" מציין שהסריקה כבר התרחשה. הוא אינו מזהה לבדו סיבת איכות מסוימת ואינו מבטיח הכללה בהמשך.

בדקו אם התוכן מוצג במלואו ואם הוא כפול לעמוד אחר. במצב של עמוד שכבר נסרק ולא נכלל, גוגל מציינת שאין צורך לשלוח אותו שוב לסריקה רק בגלל הסטטוס. פירושי המצבים מופיעים בדוח הוספת עמודים לאינדקס.

איך עוזרים לגוגל למצוא עמודים ומבקשים סריקה מחדש

ודאו שאפשר להגיע לעמוד החשוב דרך קישורים באתר. מפת אתר מספקת לגוגל רשימת כתובות ומידע עליהן, ויכולה לעזור במיוחד באתר חדש או באתר שמבנה הקישורים שלו מורכב. ייתכן שמערכת האתר כבר מפיקה אותה, ולכן בדקו מה קיים לפני יצירת קובץ נוסף.

אם אתם צריכים להכין קובץ, אפשר להיעזר במחולל מפת האתר. ההכללה במפה אינה מבטיחה סריקה או כניסה לאינדקס, לפי הנחיות גוגל למפות אתר.

לאחר תיקון בעיה בעמוד מסוים, אפשר לבקש הוספה לאינדקס דרך כלי בדיקת הכתובות. הפעולה זמינה לבעלי הנכס ולמשתמשים בעלי הרשאה מלאה. עבור כתובות רבות, גוגל מפנה לשימוש במפת אתר.

גוגל מציינת שסריקה עשויה להימשך מכמה ימים עד כמה שבועות. זהו טווח אפשרי, ללא התחייבות להכללה, ושליחה חוזרת של אותה כתובת אינה מזרזת את הסריקה. ראו את ההנחיות לבקשת סריקה מחדש.

רשימת בדיקה לסיום הטיפול ולמעקב

תעדו את הכתובת שנבדקה, הסיבה שהופיעה בדוח והתיקון שבוצע. כך תוכלו להשוות בין מצב קודם לבין נתוני סריקה מאוחרים יותר, בלי להסיק שהטיפול נכשל כשהדוח עדיין מציג מידע ישן.

• העמוד מיועד לציבור ונגיש ללא כניסה לחשבון.
• העמוד מחזיר תגובת הצלחה ומציג את התוכן הרצוי.
• אין הוראת מניעת אינדוקס או חסימת סריקה שהושארה בטעות.
• הכתובת המועדפת עקבית בקישורים, בהגדרות ובמפת האתר, אם היא קיימת.
• נבדק מצב הכתובת הרצויה, כולל כתובת היעד במקרה של הפניה.

אם כמה עמודים חשובים נתקלים באותה בעיה, אפשר לפנות לשירות קידום האתרים של ברנדיני, הסוכנות שמפעילה את המגזין, לצורך בדיקת האתר. הגדירו מראש אילו עמודים דורשים בירור ובקשו פירוט של הממצאים והתיקונים.

אם העמוד כבר באינדקס ועדיין חסר בחיפוש, המשיכו לבדוק דוחות פעולות ידניות ובעיות אבטחה, וכן שינויים אחרונים באתר כמו מעבר דומיין, שינוי מבנה או מעבר ל־HTTPS. אלה חלק ממסלולי הבירור שמציעה גוגל בהנחיות לטיפול בעמוד חסר. היעדר הופעה בביטוי מסוים אינו הוכחה שהעמוד מחוץ לאינדקס.