Crawl Budget چیست

بودجه خزش تعداد صفحاتی است که موتورهای جستجو در یک بازه زمانی مشخص در یک وب سایت می خزند. موتورهای جستجو بودجه خزش را بر اساس محدودیت خزیدن هر چند وقت یکبار می توانند بدون ایجاد مشکل بخزند و تقاضای خزیدن هر چند وقت یکبار مایل به خزیدن یک سایت محاسبه می کنند. اگر بودجه خزش را هدر می دهید، موتورهای جستجو نمی توانند وب سایت شما را به طور موثر بررسی کنند، که در نهایت به عملکرد سئوی شما آسیب می رساند. اگر از اصول الگوریتم موتور جستجو آگاه هستید، می دانید که خزیدن اولین گام به سمت تولید نتایج از صفحات وب است. با توجه به بزرگی وب سایت ها و صفحات وب، خزیدن یک روش پیچیده است. حتی اگر گوگل همیشه الگوریتم های خود را ارتقا می دهد، برای Googlebot خزیدن هر صفحه وب به سادگی غیرممکن است. بنابراین گوگل این چالش را با اختصاص بودجه خزش به هر سایت حل می کند. گوگل همیشه تمام صفحات یک سایت را فوراً تغییر نمی دهد. در واقع، گاهی اوقات، ممکن است هفته ها طول بکشد. این ممکن است مانع تلاش های سئو شما شود. ممکن است صفحه فرود تازه بهینه سازی شده شما ایندکس نشود. در آن مرحله، زمان آن است که بودجه خزش خود را بهینه کنید. ما در این مقاله بررسی خواهیم کرد که بودجه خزش چیست و چه کاری می توانید برای بهینه سازی آن انجام دهید.


تعریف دقیق بودجه خزش عبارت است از تعداد صفحات سایت شما که گوگل در یک بازه زمانی مشخص خزش و ایندکس می کند. در توضیح این تعریف لازم است بدانید هرچقدر هم که گوگل بزرگ تر و قوی تر شود، بازهم منابع آن برای خزش صفحات سایت ها محدود است. هر روز نه تنها هزاران صفحه به صفحات موجود در وب اضافه می شود بلکه هزاران سایت جدید هم متولد می شوند که هرکدام روزانه چندین صفحه به وب اضافه می کنند. در این شرایط گوگل هم تلاش دارد تا جای ممکن صفحات بیشتری را ایندکس کند اما واقعا توان رسیدگی به همه آنها را ندارد. به همین دلیل اقدام به اولویت بندی سایت ها کرده و به هرکدام یک بودجه خزش اختصاص می دهد. در واقع با این بودجه خزش مشخص می شود که هر روز چند صفحه از یک سایت توسط ربات های گوگل خزش می شوند.



در پروسه crawl budget چند مرحله را می بایست در نظر داشته باشیم:

1. نگهداری وب سایت یا کاهش خطاها
مرحله اول برای بودجه خزش بیشتر صفحات، این است که مطمئن شوید صفحاتی که خزیده می شوند یکی از دو کد بازگشتی ممکن را برمی گردانند. همه کدهای برگشتی دیگر درست نیستند. برای فهمیدن این موضوع، باید به گزارش های سرور سایت خود نگاه کنید. گوگل آنالیتیکس و اکثر بسته های تحلیلی دیگر فقط صفحاتی را ردیابی می کنند که 200 مورد را ارائه می دهند. بنابراین بسیاری از خطاهای سایت خود را در آنجا پیدا نخواهید کرد. هنگامی که گزارش های سرور خود را دریافت کردید، سعی کنید خطاهای رایج را پیدا کنید و آنها را برطرف کنید. ساده ترین راه برای انجام این کار این است که همه URL هایی را که 200 یا 301 برگردانده اند را بگیرید و سپس بر اساس تعداد دفعات دسترسی به آنها مرتب کنید. رفع یک خطا ممکن است به این معنی باشد که باید کد را اصلاح کنید. یا ممکن است مجبور شوید URL را به جای دیگری هدایت کنید. اگر می دانید چه چیزی باعث این خطا شده است، می توانید سعی کنید منبع را نیز اصلاح کنید.

2. بخش هایی از سایت خود را مسدود کنید
اگر بخش هایی از سایت خود دارید که واقعاً لازم نیست در گوگل باشند، آنها را با استفاده از robots.txt مسدود کنید. البته این کار را فقط در صورتی انجام دهید که بدانید چه کاری انجام می دهید. یکی از مشکلات رایجی که در سایت های تجارت الکترونیک بزرگتر مشاهده می کنیم، زمانی است که آن ها یک راه بی سابقه برای فیلتر کردن محصولات دارند. هر فیلتر ممکن است URL های جدیدی برای گوگل اضافه کند. در مواردی مانند این، واقعاً می خواهید مطمئن شوید که به گوگل اجازه می دهید فقط یک یا دو مورد از آن فیلترها را انتخاب کند و نه همه آنها.

3. زنجیره های تغییر مسیر را کاهش دهید
وقتی 301 URL را تغییر مسیر می دهید، اتفاق عجیبی می افتد. گوگل آن URL جدید را می بیند و آن URL را به لیست کارها اضافه می کند. همیشه آن را بلافاصله دنبال نمی کند، آن را به لیست کارهای خود اضافه می کند و فقط ادامه می دهد. هنگامی که شما ریدایرکت های زنجیره ای را انجام می دهید، برای مثال، وقتی غیرwww را به www، سپس http را به https هدایت می کنید، در همه جا دو تغییر مسیر دارید، بنابراین خزیدن همه چیز بیشتر طول می کشد.

4. لینک های بیشتری دریافت کنید
گفتنش آسان است، اما انجام آن سخت است. به دست آوردن لینک های بیشتر فقط یک موضوع عالی بودن نیست، بلکه این است که مطمئن شوید دیگران می دانند که شما عالی هستید. این موضوع روابط عمومی خوب و تعامل خوب در شبکه اجتماعی است.


خزنده ای مانند Googlebot لیستی از URL ها را برای خزیدن در یک سایت دریافت می کند. به طور سیستماتیک از طریق آن لیست می گذرد. هر چند وقت یکبار فایل robots.txt شما را می گیرد تا مطمئن شود که همچنان مجاز است هر URL را بخزد و سپس URL ها را یک به یک می خزد. هنگامی که یک عنکبوت یک URL را خزیده و محتویات آن را تجزیه می کند، URL های جدیدی را که در آن صفحه پیدا کرده است اضافه می کند که باید دوباره در لیست کارها بخزد. چندین رویداد می تواند باعث شود گوگل احساس کند یک URL باید خزیده شود. ممکن است لینک های جدیدی پیدا کرده باشد که به محتوا اشاره می کنند، یا شخصی آن را توییت کرده است، یا ممکن است در نقشه سایت XML به روزرسانی شده باشد و غیره. هیچ راهی برای تهیه فهرستی از همه دلایلی وجود ندارد که چرا گوگل یک URL را می خزد، اما وقتی تشخیص می دهد که باید انجام شود، آن را به لیست کارها اضافه می کند.



دو شاخص کلی برای تعیین بودجه خزش هر سایت توسط گوگل معرفی شده که در ادامه آن ها را بررسی می کنیم:

1. حد سرعت خزش یا Crawl rate limit
ربات های گوگل به صورت یک شهروند وظیفه شناس در فضای وب طراحی شده اند. اولویت اول آنها خزش در صفحات سایت ها است اما همزمان مراقب این هستند که هنگام خزش در سایت ها، تجربه کاربری آنها را تحت تاثیر قرار ندهند. ازاین رو گوگل شاخصی را به عنوان حد سرعت خزش تعیین کرده که بیشترین سرعت استخراج صفحات را برای هر سایت مشخص می کند. این شاخص در واقع تعداد ارتباطات همزمانی را که ربات گوگل با سایت شما برای خزش صفحات برقرار می کند، نشان می دهد و مقدار آن وابسته به دو عامل است:

• سلامت خزش: اگر سایت شما به درخواست های ربات گوگل سریع پاسخ دهد، سرعت خزش آن بالا می رود. این بدین معنا است که ربات گوگل می تواند ارتباطات بیشتری با سایت شما بسازد و در یک محدوده زمانی مشخص، صفحات بیشتری را خزش کند. برعکس آن اگر سایت شما پاسخ هایی کند یا همراه با خطا به ربات گوگل بدهد، سرعت خزش پایین می آید.
• تنظیم محدودیت در سرچ کنسول: برخی مدیران سایت ها از طریق سرچ کنسول گوگل اقدام به برقراری محدودیت در تعداد صفحات خزش شده می کنند. این محدودیت می تواند سرعت خزش را کم کند.

2. تقاضای خزش یا Crawl demand
یکی از عواملی که باعث افزایش بودجه خزش سایت شما می شود، درخواست خزش است. اگر درخواستی برای خزش از طرف سایت شما ایجاد نشود، فعالیت ربات های گوگل در آن کم می شود. عوامل زیر بر افزایش تقاضای خزش تاثیر دارند:

• شهرت صفحات: صفحات اینترنتی که در فضای وب محبوب تر و مشهورتر هستند، اغلب توسط ربات های گوگل بیشتر خزش می شوند تا محتوای آنها در ایندکس بروز نگه داشته شود.
• کهنه شدن صفحات: گوگل ترجیح می دهد صفحاتی را که کهنه شده اند، در ایندکس خود نگه ندارد، به همین دلیل صفحاتی که کمتر به روزرسانی می شوند، کم کم شانس خود را برای خزش از دست می دهند.


همانطور که گوگل به وضوح توضیح می دهد، خزیدن به خودی خود یک عامل رتبه بندی نیست. بنابراین این به تنهایی کافی است تا برخی از متخصصان سئو حتی به بودجه خزش فکر نکنند. برای یک وب سایت عظیم با میلیون ها و میلیون ها صفحه، مدیریت بودجه خزش منطقی است. اما اگر دامنه ای با اندازه متوسط هستید، نیازی نیست که خودتان را خیلی نگران بودجه خزش کنید. اگر واقعاً میلیون ها و میلیون ها صفحه دارید، باید مقداری از محتوا را کاهش دهید که به طور کلی برای دامنه شما مفید است. شما می خواهید که موتورهای جستجو تا حد امکان صفحات قابل نمایه سازی شما را پیدا و درک کنند و می خواهید این کار را در سریع ترین زمان ممکن انجام دهند. هنگامی که صفحات جدیدی را اضافه می کنید و صفحات موجود را به روز می کنید، می خواهید موتورهای جستجو این صفحات را در اسرع وقت انتخاب کنند. هرچه زودتر صفحات را ایندکس کنند، زودتر می توانید از آنها بهره مند شوید. اگر بودجه خزش را هدر می دهید، موتورهای جستجو نمی توانند وب سایت شما را به طور موثر بررسی کنند. آن ها وقت خود را صرف بخش هایی از سایت شما می کنند که اهمیتی ندارد، که می تواند منجر به ناشناخته ماندن بخش های مهم وب سایت شما شود. اگر آنها در مورد صفحات اطلاعاتی نداشته باشند، آنها را نمی خزند و ایندکس نمی کنند و شما نمی توانید بازدیدکنندگان را از طریق موتورهای جستجو به آنها وارد کنید. هدر دادن بودجه خزش به عملکرد SEO شما آسیب می زند.



روش های بهبود و افزایش بودجه خزش سایت

اگر سایت فروشگاهی با تعداد صفحات زیادی دارید، حتما نگران بودجه خزش سایت خود هستید. در این قسمت به معرفی راه هایی برای افزایش این بودجه می پردازیم:

1. بهبود سرعت سایت
افزایش سرعت بارگیری صفحات نه تنها تجربه کاربری سایت را ارتقا می دهد، بلکه بودجه خزش آن را هم بالا می برد. در واقع سرعت پایین صفحات سایت باعث هدر رفتن زمانی می شود که ربات گوگل به سایت شما اختصاص داده است. بدین ترتیب صفحاتی کمتری را می تواند خزش کند.

2. استفاده از لینک سازی داخلی
ربات های گوگل صفحاتی را که لینک های داخلی و خارجی بیشتری دارند، در اولویت خزش قرار می دهند. حالت ایده آل لینک سازی این است که همه صفحات سایت شما، لینک های خارجی ارزشمندی داشته باشند و ربات های گوگل را به سمت سایت شما هدایت کنند اما در واقعیت این اتفاق نمی افتد. معمولا فقط تعدادی از صفحات مهم سایت لینک های خارجی خوبی می گیرند. اینجاست که لینک سازی داخلی به کار می آید و می تواند ربات های گوگل را به سمت چنین صفحاتی هدایت کند.

3. استفاده از معماری سایت مسطح
با استفاده از معماری سایت مسطح همه صفحات سایت شما به هم مرتبط می شوند. بدین ترتیب در صورتی که یک صفحه شهرت و اعتبار بالایی نزد گوگل پیدا کرد، آن را به بقیه صفحات سایت هم منتقل می کند. این کار باعث افزایش بودجه خزش سایت شما می شود.

4. از ایجاد صفحات یتیم خودداری کنید
صفحات یتیم صفحاتی هستند که هیچ لینک داخلی یا خارجی دریافت نکرده اند. ربات های گوگل برای پیدا کردن چنین صفحاتی در سایت، وقت زیادی را صرف می کنند. در نتیجه اگر می خواهید بودجه خزش سایت شما بالاتر رود، مراقب باشید صفحات یتیم در سایت نداشته باشید. هر صفحه باید حداقل یک لینک داخلی یا خارجی از صفحات دیگر داشته باشد.

5. مراقب محتوای تکراری در سایت باشید
گوگل هرگز به محتوای تکراری علاقه ای نداشته و نمی خواهد منابع خود را با ایندکس کردن صفحاتی که محتوای باارزشی ندارند، هدر دهد. به همین دلیل سعی کنید برای هر موضوع تنها یک صفحه با محتوای یکتا و باکیفیت داشته باشید. البته این کار برای سایت هایی با بیش از 10 هزار صفحه، واقعا سخت است. اما راه هوشمندانه و موثری برای افزایش بودجه خزش سایت است.



چیزی که در رابطه با موتورهای جستجو باید بدانید این است که آن ها منابع محدودی دارند. به همین دلیل باید تمرکز و توجه خود را در تمام صفحات همه سایت های دنیای وب تقسیم کنند. به همین دلیل لازم است با استفاده از روشی مشخص، میزان خزش را اولویت بندی کنند و بدین ترتیب به هر سایت، باتوجه به ویژگی های آن، یک کراول باجت اختصاص دهند. لازم به ذکر است که اگر صفحه ای توسط گوگل ایندکس نشود، درواقع آن صفحه اصلا وجود نخواهد داشت و کاربران به هیچ عنوان قادر به مشاهده آن نخواهند بود. به همین دلیل شما به عنوان یک متخصص سئو باید بتوانید بودجه خزش را تا حد امکان بهینه کرده و افزایش دهید. دقت داشته باشید که اگر تعداد صفحه هایتان از کراول بادجت سایت بیشتر باشد، در این میان یک سری از آن ها هیچ گاه ایندکس و دیده نمی شوند و تمام زحماتی که برای تولید محتوا کشیده اید، هدر خواهد رفت. تمام این توضیحات را دادیم تا به طور کامل دریابید که اهمیت کراول باجت چیست و چرا موتورهای جستجو آن را سهمیه بندی می کنند. اهمیت و ارزش بودجه خزش، در سایت های بزرگ بیشتر است. چراکه سایت های با حجم صفحات کم، خیلی زود ایندکس می شوند و دیگر لازم نیست نگران دیده نشدن بخشی از محتوایشان باشند. عدم توجه به بودجه خزش، سبب بروز مشکلاتی در بهینه سازی سایت می شود.


اگر سایت شما سرعت پایینی داشته باشد، بودجه خزش آن هدر می رود، چراکه در یک زمان مشخص، صفحات کمتری قابل خزش هستند. اما علاوه بر سرعت، وجود صفحات متعدد بی فایده در سایت هم می تواند بودجه خزش را هدر دهد. در ادامه لیستی از مواردی که بودجه خزش را هدر می دهند، مرور می کنیم:

• اگر سایت شما هنگام جستجو، برای هر فیلتر جستجو یک آدرس جدید اختصاص می دهد، این کار بودجه خزش را هدر می دهد.
• صفحاتی با محتوای یکسان و تکراری همواره در حال تلف کردن بودجه خزش هستند.
• صفحاتی که محتوای بی ارزش دارند، تنها بودجه خزش را مصرف می کنند اما رتبه ای در نتایج جستجوی گوگل نمی گیرند.
• لینک های شکسته و ریدایرکت ها باعث می شوند ربات های گوگل گمراه شوند و زمانی که به سایت شما اختصاص داده شده، هدر رود.
• وجود صفحات غیرقابل ایندکس در فایل sitemap نتیجه ای جز هدر دادن بودجه خزش نخواهد داشت. مراقب آن باشید.
• اگر زمان زیادی برای بارگیری صفحات سایت نیاز باشد، وقت ربات های گوگل و بودجه خزش سایت شما هدر می رود.
• ساختار لینکسازی داخلی ضعیف می تواند ربات های گوگل را از برخی صفحات منحرف کند.



بر اساس مطالبی که در این مقاله بررسی کردیم منظور از بودجه خزش، میزان صفحاتی است که در یک بازه مشخص توسط ربات های گوگل یا همان خزنده ها، ایندکس می شوند. چنان چه میزان بودجه اختصاص یافته به سایت شما کافی نباشد، در مقطعی از زمان با مشکل روبرو خواهید شد. مشکلی که این موضوع برای سایتتان ایجاد می کند، ایندکس نشدن به موقع محتواهای جدید و به روزرسانی ها می باشد. همین امر سبب دزدی محتوا از سایت، کاهش بازدیدکنندگان و در نتیجه آسیب به سئو سایت خواهد شد. حال به نظر می رسد موضوع بودجه خزش برای وب سایت های کوچک یا متوسط، موضوع حساسی نیست. اگر مدیر چنین وب سایت هایی هستید، کافی است از اصول سئو پیروی کرده و محتوای مفید تولید کنید. اما اگر مدیریت یک وب سایت بزرگ با تعداد صفحات بالا را به عهده گرفته اید یا قصد دارید چنین وب سایتی داشته باشید بهتر است بودجه خزش را در زمینه سئو، جدی بگیرید و نکات لازم را رعایت کنید.