«متا تگ ربات» و «فایل robots.txt« دو ابزار قدرتمند در سئو هستند که به شما اجازه‌ی کنترل نحوه ایندکس‌شدن صفحات وب را در موتورهای جستجو می‌دهند. استفاده‌ی هوشمندانه از آن‌ها می‌تواند نقش موثری بر امنیت، دسترسی و عملکرد سایت‌تان داشته باشد. در این مطلب از سهامگ به معرفی کامل این دو ابزار می‌پردازیم.
متا تگ ربات چیست؟
متا تگ ربات (Meta Robots Tag)، یک ابزار کاربردی برای خزنده‌ها یا Crawlerهاست که در کدHTML صفحات، <head> قرار می‌گیرد و به خزنده‌ها می‌فهماند که آیا صفحه باید ایندکس شود یا خیر، آیا لینک‌های آن دنبال شوند یا خیر، یا در نتایج جست‌وجو نمایش داده شوند یا نه!
این سطح از مدیریت، به صاحبان وب‌سایت‌ها اجازه میدهد تا به‌طور هدفمند و مشخص تعیین کنند، چگونه صفحات مختلف سایت در نتایج موتورهای جستجو به نمایش دربیایند.
چه مواقعی از Meta Robots Tag استفاده می‌کنید؟
زمان‌هایی که باید از تگ متا ربات استفاده کنید، عبارت‌اند از:
- وقتی می‌خواهید محتوای تکراری در وب‌سایت ایندکس نشود.
- زمانی‌که نمی‌خواهید قطعه‌ای (snippet) از صفحه در نتایج جست‌وجو ظاهر شود.
- اوقاتی‌که می‌خواهید مانع ایندکس‌شدن صفحات آزمایشی یا در حال ساخت شوید.
- زمانی‌که می‌خواهید مانع ایندکس‌شدن صفحات غیرمرتبط مثل صفحات تشکر یا مدیریت شوید.
- وقتی نیاز دارید تعیین کنید ربات‌ها لینک‌های داخل یک صفحه را دنبال کنند یا خیر.
- قصد دارید از کش‌شدن صفحات با اطلاعات حساس جلوگیری کنید.
ویژگی‌ها و کاربردهای متا تگ ربات
تگ‌های متا ربات، 2 ویژگی اصلی دارند که در ادامه به آن‌ها اشاره می‌کنیم:
ویژگی Name
تگ name=”robots” مشخص می‌کند که دستور برای کدام ربات کراولر در محتوا ارسال شده‌است و اگر هدف یک روبات خاص است، باید نام آن به جای robots نوشته شود.
” برای هدف قرار دادن چندین ربات، تگ <meta>های جداگانه استفاده کنید.”
ویژگی Content
این ویژگی تعیین می‌کند تا خزنده‌های موتور جستجو در زمان ایندکس چه دستوری را انجام دهند. برخی از دستورهایی که در content استفاده می‌شوند، عبارت‌اند از:
All
این content معادل استفاده‌ی همزمان از index و follow است، اما به‌طور مستقل تأثیری ندارد.
noindex
این دستور وقتی اجرا می‌شود که صفحه، فایل یا منبع در نتایج موتورهای جستجو به نمایش در نمی‌آید.
nofollow
به خزنده‌های موتور جستجو دستور میدهد، هیچ لینکی را در صفحه دنبال نکند. البته توجه داشته باشید، اگر از سایت‌های دیگر به آن لینک داده شود، همچنان ممکن است باز هم ایندکس شود.
None
این دستور یعنی نه صفحه ایندکس می‌شود و نه لینک‌های آن دنبال می‌گردد.
Noarchive
گزینه Noarchive یعنی نمایش نسخه کش‌شده صفحه در نتایج جست‌وجو انجام نمی‌شود.
Nosnippet
nosnippet زمانی استفاده می‌گردد که می‌خواهیم هیچ پیش‌نمایش متنی یا ویدئویی از صفحه به مخاطب انجام نشود.
max-snippet
این گزینه حداکثر تعداد کاراکتری را مشخص می‌کند که موتورهای جستجو می‌توانند در پیش‌نمایش استفاده کنند. اگر این عدد صفر باشد یعنی هیچ متنی پیش‌نمایش نشان داده نمی‌شود و اگر بالای یک باشد یعنی هیچ محدودیتی برای snippet ندارید.
Indexifembedded
Indexifembedded زمانی استفاده می‌شود که شما می‌خواهید ویدئو یا مثلا پادکستی در یک صفحه شما دیده نشود، اما در صفحه یا سایت دیگر به نمایش گذاشته شود. در شرایط این چنینی؛ باید از این دستور استفاده کنید.
max-image-preview
دستور max-image-preview، مشخص می‌کند که حداکثر اندازه پیش‌نمایش تصویر در نتایج جست‌وجو چقدر باید باشد. 3 گزینه برای آن وجود دارد:
- None: هیچ پیش‌نمایش تصویری به نمایش گذاشته نمی‌شود.
- Standard: پیش‌نمایش تصویر به اندازه‌ی استاندارد به نمایش در می‌آید.
- large: یک پیش‌نمایش بزرگ با عرض قابل دید در صفحه‌ی کاربر نمایش داده می‌شود.
max-video-preview
این دستور مدت زمان نمایش حداکثری ویدئو را در صفحه پیش‌نمایش مشخص می‌کند. اگر عدد صفر باشد، فقط تصویر ثابت به نمایش گذاشته می‌شود، اما اگر عدد آن بالای یک باشد، هیچ محدودیتی برای نمایش ویدئو در پیش‌نمایش نیست. به عنوان مثال:
<meta name=”robots” content=”max-video-preview:480″>
Notranslate
این دستور به سرویس‌ها اجازه‌ی هیچ ترجمه‌ای را در صفحه نمی‌دهد.
Noimageindex
این گزینه اجازه‌ی ایندکس هیچ تصویری از صفحه را به موتورهای جستجو نمی‌دهد.
unavailable_after
unavailable_after هم تاریخ و زمانی را مشخص می‌کند که پس از آن، موتورهای جست‌وجو نباید صفحه را ایندکس کنند.
ربات txt چیست؟
ربات txt که به فایل robots.txt نیز شهرت دارد، یک فایل متنی است که به کراولرها دستور میدهد، کدام بخش‌های سایت قابل خزیده‌شدن نیستند. این خزنده، به کاهش فشار روی سرور کمک می‌کند و از دسترسی بی‌مورد به محتوای حساس جلوگیری می‌نماید.
10 تفاوت بارز متا تگ ربات و ربات txt
1. نحوه اجرا
Meta Robots Tag همان‌طور که اشاره شد به‌صورت کد HTML در بخش <head> صفحه قرار می‌گیرد و رفتار موتورهای جستجو را در هر صفحه کنترل می‌کند و کاری به مابقی صفخات سایت ندارد. اما ربات txt یک فایل متنی است که به‌صورت سراسری روی کل سایت اعمال می‌شود.
2. هدف اصلی
متا تگ ربات، فقط روی ایندکس‌کردن صفحات تمرکز دارد و مانع نمایش آن‌ها در نتایج جست‌وجو می‌شود.
اما ربات txt، فقط برای کنترل خزیدن موتورهای جستجو طراحی شده‌است.
3. دامنه تاثیر
میزان تأثیرگذاری متا تگ ربات فقط روی همان صفحه‌ای است که در آن قرار دارد، ولی ربات txt، روی کل سایت یا مسیرهای مشخصی مانند دایرکتوری‌ها تأثیر می‌گذارد.
4. کاربرد
Meta Robots Tag تنها برای صفحه‌های HTML استفاده می‌شود و کاربرد دیگری ندارد. ولی robots.txt در هر نوع فایلی از جمله تصویر، PDF و … به کار گرفته می‌شود.
5. میزان کنترل
Meta Robots Tag به شما امکان ارائه دستورهای زیر را میدهد:
- noindex
- nofollow
- Nosnippet و … .
در حالی‌که ربات txt، تنها مشخص می‌کند که ربات‌ها به کدام یوآرال‌ها اجازه دارند کراول بکنند و به کدام یک خیر و به ایندکس‌شدن یا نشدن صفحات کاری ندارند.
6. پرهیز از مصرف اضافی بودجه خزش (Crawl Budget)
در سئو مفهومی وجود دارد به نام (Crawl Budget) که به میزان منابعی اشاره دارد که در موتورهای جستجو برای ایندکس‌کردن صفحات خرج می‌شود. مدیریت این بودجه اهمیت زیادی دارد.
اگر شما از متا تگ روبات استفاده کنید، ربات ابتدا صفحه را بارگذاری می‌کند، سپس به دستوراتی همچون noindex و … می‌رسد. اما، فایل robots.txt ، قبل از این‌که دستوری بدهد، مسیرهای غیرضروری را مسدود می‌کند. در نتیجه در مدیریت و صرفه‌جویی بودجه خزش بهتر رفتار می‌کند.
7. مدیریت برخورد با تداخل
اگر فایل robots.txt دسترسی به خزنده‌های موتورهای جستجو یک صفحه را مسدود کند، دیگر تحت هیج عنوان شما به آن صفحه دسترسی نخواهید داشت، در نتیجه تگ متا روبات و دستوراتش را هم نخواهید دید. وقتی این تگ دیده نشود، موتورهای جستجو نمی‌دانند که صفحه را نباید ایندکس کنند. به همین دلیل در انتخاب بین robots.txt و meta robots دقت کنید.
8. توانایی اعمال روی فایل‌های خارجی
متا تگ ربات تنها برای HTML استفاده می‌شود. اما robots.txt برای کنترل فایل‌ها با پیشوند مختلف و حتی تصاویر نیر قابل استفاده است.
9. سادگی در اجرا
اجرای Meta Robots Tag کار سخت و پیچیده‌ای نیست و به راحتی، بدون دانش فنی زیاد و با سرعت برای صفحات خاص قابل اجراست. اجرای robots.txt هم کار سختی نیست، اما برای سایت‌های بزرگ نیاز به ساختار و مدیریت منظم دارد.
10 موارد استفاده
اگر قصد دارید فقط بعضی از صفحات مثل صفحات تستی یا صفحه لاگین در نتایج موتورهای جستجو دیده نشوند، از Meta Robots Tag و دستور noindex استفاده کنید. این روش کنترل دقیق و صفحه‌به‌صفحه شماست. اما؛ اگر هدف شما جلوگری از کراول شدن کل بخش‌های غیرضروری مثل پوشه‌های /admin/ یا /tmp/ است و می‌خواهید بودجه خزش را هم مدیریت کنید از فایل robots.txt کمک بگیرید.
و اما سخن آخر
همان‌طور که در این مطلب بارها اشاره کردیم، متا تگ ربات ابزار دقیق برای کنترل صفحه‌به‌صفحه است. در مقابل، فایل robots.txt بر کل سایت یا مسیرهای مشخص تأثیر می‌گذارد و برای مدیریت خزیدن موتورهای جست‌وجو و کاهش مصرف بودجه خزیدن کاربرد دارد. در این مطلب به صورت کامل به تفاوت این دو با هم پرداختیم. با این همه استفاده‌ی هوشمندانه از هر دوی این ابزارها به شما کمک می‌کند تا سرعت ایندکس صفحات را بالا ببرید و SEO کل سایت را تقویت کنید.
ما در سها مارکتینگ، آماده‌ایم تا با اجرای استراتژی‌های درست و اصولی در ارتقای سئو سایت شما همراه‌تان باشیم. برای کسب اطلاعات بیشتر و کسب یک جلسه مشاوره رایگان با ما تماس بگیرید.
منابع: rankmath/ sistrix
سوال‌های پرتکرار
بین Meta Robots Tag و robots.txt کدام یک را باید اول استفاده کنم؟
ابتدا با robots.txt مسیرهای کلی غیرضروری را از خزیدن حذف کنید؛ سپس با meta robots برای کنترل دقیق صفحه‌ها در داخل <head> عمل کنید.
اگر فقط بخواهم صفحه‌ای در نتایج جست‌وجو ظاهر نشود، چه کاری باید انجام دهم؟
از تگ <meta name=”robots” content=”noindex”> در همان صفحه استفاده کنید. این دستور مخصوص همان صفحه است و سایر صفحات unaffected هستند.
چطور جلوی خزیدن در بخش‌هایی مثل /admin/ را بگیرم؟
فایل robots.txt را در ریشه سایت قرار دهید و در آن به‌صورت زیر مسیر را مسدود کنید:
User-agent: *
/Disallow: /admin
