איך מונעים ממסננים ליצור אינסוף כתובות שזחלנים סורקים

עמוד קטגוריה עם חמישה מסננים יכול להפוך בשקט לאלפי כתובות שאפשר לסרוק. כל אפשרות של צבע, מחיר, מיקום, תאריך או מיון נראית בלתי מזיקה כשלעצמה. בשילוב, הן עלולות לצרוך פעילות סריקה על עמודים שכמעט אינם שונים זה מזה, בזמן שעמודים חדשים ומועילים ממתינים לגילוי. הפתרון אינו לחסום כל פרמטר בלי לבדוק.

ההנחיות של Google לניווט מסונן (faceted navigation) מתארות את הסיכון של מרחבי כתובות כמעט אינסופיים ושל סריקות גילוי איטיות יותר. הדבר נוגע לקטלוגי מוצרים, ללוחות דרושים, לרשימות אירועים ולארכיונים גדולים של אתרי תוכן. ההחלטה הראשונה היא החלטה מערכתית: אילו שילובי סינון עונים על צורך חיפוש מספיק טוב כדי לתחזק אותם כדפי נחיתה של ממש?

למפות את מרחב הכתובות לפני שכותבים כללי robots

אוספים דוגמאות מיומני הסריקה, מהניווט הפנימי ומ-Search Console, כשהם זמינים. מקבצים את הכתובות לפי ייעוד: עמודי קטגוריה קנוניים, דפי נחיתה מסוננים מועילים, סדרי מיון זמניים, פרמטרי מעקב, תוצאות חיפוש פנימי ושילובים חסרי היגיון. מעריכים כמה כתובות שונות יכולה לייצר גלישה סבירה. מדגם מספיק כדי לזהות דפוס שיצא משליטה, אבל לא כדי לטעון למספר כולל מדויק.

מחפשים את אותו תוכן בסדרי פרמטרים שונים, כמו ?color=blue&size=m ו-?size=m&color=blue. בוחנים גם מזהי סשן ונתיבי לוח שנה שיכולים לייצר תאריכים ללא סוף. בודקים אם כל שילוב ניתן לגילוי דרך קישורים רגילים. תיקון האופן שבו נוצרים הקישורים מונע לעיתים קרובות יותר בזבוז מאשר טלאי שמכוון לסורק בלבד.

לבחור במכוון קבוצה של עמודים לאינדוקס

דף נחיתה מסונן קבוע ומועיל צריך להציג מוצרים או תוצאות יציבים, תוכן ייחודי, כותרת תיאורית ונתיב ניווט ישיר. אם לשילוב יש ערך עצמאי קטן, משאירים אותו זמין למבקרים בלי לקדם אותו אוטומטית כעמוד שראוי לאינדוקס. בונים רשימה מותרת של מאפייני סינון בעלי ערך, במקום סדרה בלתי מוגבלת של כתובות שנוצרות אוטומטית.

לגבי כתובות שאינכם רוצים שייסרקו, Google מתעדת הגבלות ב-robots.txt כאפשרות אפשרית. מחילים כללים מדויקים רק אחרי שמוודאים על מה הם חלים. חסימת כתובת ב-robots.txt מונעת מהסורק גם לקרוא בעמוד הזה הנחיית canonical או noindex, ולכן אין להתייחס לשיטות האלה כאל חלופות זו לזו. אם הניקוי תלוי בכך שהסורק יראה noindex, העמוד חייב להישאר זמין לסריקה מספיק זמן כדי שהאות הזה יעובד.

לשמור על עקביות טכנית בנתיבים שניתנים לסריקה

בעמודים מסוננים שעשויים להיכנס לאינדקס, שומרים על מפרידי פרמטרים מקובלים: = בין מפתחות לערכים, & בין פרמטרים. ההנחיות של Google למבנה כתובות URL ממליצות גם להימנע מפרמטרים מיותרים. אם מקודדים את ערכי הסינון בנתיב, משתמשים בסדר קבוע ומונעים כפילות של מסננים.

שילוב סינון שאינו קיים או שאינו תקין צריך להחזיר סטטוס 404 אמיתי כשהדבר מתאים, ולא שגיאה רכה שתמיד מייצרת עמוד קטגוריה ריק עם סטטוס 200. בודקים עימוד שמעבר לעמוד האחרון ושילובים בלתי אפשריים. הפניה של כל כתובת שגויה לדף הבית אינה תחליף לקודי סטטוס נכונים.

כתרגיל מוחשי, נניח מדריך עם שש ערים, שמונה קטגוריות אירועים, חמישה טווחי תאריכים ושלושה סוגי מיון. עוד לפני עימוד או חיפוש טקסט חופשי, מתקבלים 720 שילובים אם לכל ממד יש כתובת עצמאית. זוהי דוגמה חשבונית היפותטית, לא מספר סריקות שנמדד. שילובים רבים עשויים להיות ריקים או זהים במשמעותם, ולכן יצירה אוטומטית של כתובות בזבזנית במיוחד.

יוצרים טבלת בדיקה קטנה: דף נחיתה מסונן ומועיל אחד, סדר פרמטרים כפול אחד, תוצאה ריקה אחת, ערך לא תקין אחד ועמוד אחד שמעבר לעמוד התוצאות האחרון. לכל אחד רושמים את קוד הסטטוס הצפוי, את הכתובת הקנונית המועדפת, את הטיפול ב-robots ואת התנהגות הקישורים הפנימיים. הטבלה חושפת סתירות לפני שהן מתפשטות למיליוני כתובות. למשל, עמוד שמצהיר על כתובת קנונית מועדפת אבל חסום לסריקה עשוי לעולם לא להעביר את הרמז הזה ל-Google.

אף פעם לא מחילים חסימה גורפת של Disallow: /*?* רק משום שהאתר משתמש במחרוזות שאילתה. פרמטרים יכולים לייצג עימוד חיוני או תוכן מועיל באמת. באותה מידה, השארת כל המסננים במפת אתר XML שולחת אות הפוך מחסימתם. מתאימים את מפות האתר, הצהרות הכתובת הקנונית, קודי הסטטוס והקישורים לקבוצת העמודים לאינדוקס שאתם באמת מתכוונים לתחזק. אחרי השחרור, סורקים את האתר שלכם כפי שמבקר רגיל היה גולש בו ומוודאים שהניווט עדיין עובד.

לעקוב אחר ההשפעה במקום להכריז על ניצחון

כוללים בדיקה ייעודית לקישורים פנימיים שמוסיפים וידג׳טים של ניווט ועמודי ארכיון שנוצרים אוטומטית. תבנית אחת יכולה להחזיר מאות קישורי סינון לא רצויים גם אחרי שכללי robots הוחמרו. מטילים על אדם אחד שמתחזק את האתר את האחריות לעקוב אחר התבניות האלה אחרי שדרוגים של ערכת העיצוב או של הפלטפורמה.

אחרי פריסת השינויים, משווים דגימות מהיומנים של בקשות סורקים לכתובות קנוניות ולכתובות מסוננות. בודקים שהעמודים הרצויים נשארים נגישים ושהשילובים הלא רצויים כבר אינם שולטים בפעילות הסריקה. עוקבים לאורך זמן אחר דוחות האינדוקס ב-Search Console, תוך התחשבות בעיכובי עיבוד. אם הכנסות או המרות קשורות לעמוד סינון בעל ערך, מודדים את העמוד הזה בנפרד לפני שמסירים את נתיב הסריקה אליו.

שינוי ב-robots יכול לחסוך רוחב פס בלי לשפר כלל את התוכן עצמו. ארכיטקטורה טובה הופכת עמודים מועילים לקלים לגילוי וצירופים דלי ערך לקשים ליצירה. המדריך שלנו לבדיקת ירידה בתנועה עוזר לחקור שינויים אמיתיים בביצועים, והמדריך לתמונות ב-Discover עוסק בערוץ נראות נפרד.