آموزش ساخت robots.txt بهینه

about us page title image
  • آموزش ساخت robots.txt بهینه

    آموزش ساخت robots.txt بهینه

    در آموزش قبل شما رو با robots.txt آشنا کردیم و متوجه شدیم که نقش این فایل بسیار مهم است امروز در این قسمت شما رو با نحوه ساخت یک robots.txt بهینه آشنا میکنیم .

    نوشتن robots.txt :

    پروتکل robots تنها دو دستور دارد که به کمک آن میتوان ۲ محدودیت را ایجاد نمود . اولین محدودیت این است که کدام اسپایدر ها محدود شوند و دومین محدودیت هم مشخص کننده این است که کدام مسیر ها در سایت شما باید محدود شوند .

    دستور userragent :

    با دستور بالا اسپاید مورد نظر را خطاب قرار میدهیم . مثلا :

    useragent: Googlebot

    useragent: Bingbot

    به وسیله این دستور اسپایدر گوگل و بینگ را خطاب قرار دادیم .

    توجه کنید که با هر دستور userragent فقط میتوان یک اسپایدر رو خطاب قرار داد .

    دستور Disallow/Allow :

    با این دستور ممنوع / مجاز مشخص میشود . به مثال های زیر توجه کنید :

    useragent: Googlebot

    Disallow: /admincp/
    Disallow: /test/

    Allow: /user

    این مثال میگه که اسپایدر گوگل حق ندارد به پوشه های test و admincp دسترسی داشته باشد و نباید محتوا رو ایندکس کند . و در مقابل این اسپاید میتواند user را به طور کامل ایندکس کند .

    نکته : اگر * همراه با عبارت userragent باشد به معنای تمام اسپایدر ها است .

    useragent: *
    disallow: /

    چگونه از ایندکس تصاویر جلوگیری کنیم ؟ یا چگون تصاویر سایت خود را به موتور های جستجو معرفی کنیم ؟

    Useragent: GooglebotImage
    Disallow: /images/axe.png

    در عبارت بالا مشخص شده است که گوگل ایمیج حق ایندکس axe.png را ندارد

    Useragent: GooglebotImage
    Allow: /

    در عبارت بالا اسپایدر گوگل میتوند تمامی تصاویر را ایندکس کند .

    محل ذخیره سازی فایل robots.txt کجاست ؟

    http://www.example.com/mysite/robots.txt

    در جلسه بعدی چند نمونه robots.txt برای وردپرس و ویبولتین قرار خواهیم داد .

     برای دانلود این مقاله به صورت PDF روی این نوشته کلیک کنید .

    موفق و پیروز باشید …

    Tweet about this on TwitterShare on FacebookShare on Google+

    ICSeo

    امیررضا هستم . ۵ سال است در ضمینه سئو فعالیت میکنم . و تمامی موتور های جستجوگر را در این مدت آنالیز کرده ام . گروه ایمیلی icseo افتتاح گردید .

    More Posts - Website

    Follow Me:
    TwitterGoogle Plus

    دیدگاه خود را بنویسید

    لطفا توجه کنید که پس از تایید نظر شما توسط مدیر , برای شما ایمیل تایید ارسال خواهد شد*

Optimization WordPress Plugins & Solutions by W3 EDGE