איזה קבצים באתר ייסרקו ע"י מנועי חיפוש חיצוניים

מפת אתר הוא כיום מונח מעולם מנועי החיפוש (למשל GOOGLE). מדובר על דף המאפשר למנוע החיפוש החיצוני להגיע ולסרוק את כל הדפים באתר. דף זה משמש בעיקר את הסורקים האוטומטיים של מנועי החיפוש כדי לאפשר להם להגיע לכל אחד מדפי האתר שאתם רוצים שהם יסרקו ויציגו באתר של מנוע החיפוש.
יחד עם דף מפת האתר, ישנו קובץ נוסף באתר המשמש את סורקי מנועי החיפוש (robots.txt/), שמטרתו לציין לסורקים איזה דפים לא לסרוק ולהציג באתר מנוע החיפוש. (שימו לב כי כדי שדף באמת לא יוצג לקהל הרחב יש להגדירו כך שרק משתמשים מורשים יוכלו לקרוא אותו. הסתרה ממנועי חיפוש אינה הסתרה ממשית).
באמצעות שימוש בניהול הגדרת ספריות באתר, ובאמצעות ניהול מאפייני הקבצים, תוכלו לקבוע איזה קבצים לא ייסרקו ע"י מנועי חיפוש חיצוניים (זה מוסיף אותם לקובץ robots.txt):
הגדרת מאפייני קובץ


הגדרת מאפייני ספריה