شما می توانید موتور جستجوگر را مثل یک حمل و نقل زیر زمینی مانند مترو در نظر بگیرید. به احتمال زیاد نقشه های مترو را مشاهده کرده اید. گوگل هم یک نقشه جهت کراول کردن محتواهایی که هر روزه به آن اضافه می شود را به همراه دارد. شاید در گذشته به دلیل کمبود محتوا برای نمایش دادن به کاربران، موتورهای جستجوگر هر مطلبی را به کاربران نشان می دادند اما امروزه به لطف تولید کنندگان محتوا هر روزه به محتواهای موتورهای جستجوگر اضافه می شود و بر نحوه فعالیت موتورهای جستجوگر اثر گذاشته است بدین صورت که گوگل تنها نیاز کاربر را در نظر می گیرد و محتوایی را به کاربر نشان می دهد که که نزدیک ترین محتوا یا همان راه حل برای برطرف کردن نیاز کاربر است و از نتایج بی ربط جلوگیری می کند. شاید برای شما این سوال پیش بیاید که همه ی این موارد گفته شده به چه صورتی انجام می شود؟ پس ما با همراه باشید.
CRAWL یا خزیدن چیست
شما زمانی که وارد یک نمایشگاه می شوید یک نقشه راه دریافت می کنید که شما را برای رسیدن به غرفه ها هدایت کامل می کند. برای موتورهای جستجوگر نیز این امر صادق است. شما در نمایشگاه ها به عنوان یک خزنده هستید تا با نقشه ی در دست تان به مقصد خود برسید، گوگل هم به عنوان یک خزنده عمل می کند به این صورت که وقتی شما لینکی را به گوگل معرفی می کنید، تمامی مطالب لینک داده شده اعم از لینک های خارجی و داخلی را بررسی می کند.
این امر تا جایی ادامه پیدا می کند که رابطه ای بین محتواها و لینک های خارجی و داخلی باشد. بعد از آنکه ارتباطی پیدا نشد موتورهای جستجوگر به دنبال چگالی کلمات کلیدی می گردند و هر صفحه ای که بررسی شود مورد ایندکس گوگل قرار می گیرد. پس تا به اینجا متوجه شدید که منظورمان از کراول یا خزیدن موتورهای جستجوگر چه چیزی است.به طور کلی «Google crawl» به فرآیند ورود ربات‌ها به دنیای آنلاین مجازی و یافتن اطلاعات جدید اشاره دارد. ربات ها اطلاعات جدیدی را در اینترنت به همان روشی که ما انجام می دهیم پیدا می کنند، با دنبال کردن پیوندها از یک صفحه به صفحه دیگر. سپس، آنها اطلاعات جدید را به موتورهای جستجو مانند Google ارسال می کنند تا ایندکس شوند.
چگونه سرعت CRAWL را افزایش دهیم
روشی که می تواند به شما در تغییر سرعت کراول ها کمک کند استفاده از ابزار مستر تولز می باشد. برای اینکار در ابتدا باید به قسمت CONFIGURATION/SETTING مراجعه کنید و سرعت آن را روی FASTER تنظیم نمایید. فقط حواستان باشد ممکن است به علت بزرگ بودن سایت و مشکلات سرور ممکن است نتوانید پاسخگوی اضافه باشید و باید سرعت آن را کم کنید. در صورتی که نمی توانید به موقع تغییرات سایت را شناسایی کنید مقدار آن را افزایش دهید.
INDEX یا فهرست مطالب چیست
بعد از کراول کردن محتوای گوگل به اینکدس کردن آن می رسیم. ایندکس کردن به معنای فهرست مطالب می باشد. زمانی که کاربر کلمه ای را سرچ می کند گوگل یک فهرست به او نشان می دهد این فهرست همان ایندکس گوگل است که نتیجه کراول کردن محتواها در گذشته توسط موتورهای جستجوگر می باشد. اگر بخواهیم واضح تر توضیح بدهیم که منظورمان دقیقا چه چیزی می باشد بهتر است بگوییم که زمانی که موتور جستجوگر مطالب را کراول می کند یک فهرست از مطالب مورد تایید خود براساس الگوریتم های گوگل ایجاد می کند. گوگل این فهرست را برای چه زمانی ایجاد می کند؟ برای زمانی که کاربر چیزی را سرچ می کند، تا به او این فهرست یا همان نتایج گوگل را نشان دهد. به همین سادگی!
فهرست بندی محتوای شما توسط گوگل توسط الگوریتم های سیستمی تعیین می شود که تقاضای کاربر و بررسی های کیفیت را در نظر می گیرند. شما می توانید برای کشف آسان تر محتواهای سایت خود و ایندکس آن توسط موتور جستجوگر از لینک ها استفاده کنید و روند فهرست سازی یا همان ایندکس Google را تحت تأثیر قرار دهید. بدون نشانی‌های اینترنتی یا لینک صفحات شما، سیستم‌های گوگل نمی‌توانند اطلاعات شما را در جستجو کراول و فهرست‌بندی کنند و در نهایت اطلاعات شما را به کاربران ارائه کنند.
NOINDEX یا نو ایندکس چیست
مشاوره سئو یا وب مستر می‌تواند با اضافه کردن یک متا تگ یا هدر noindex در HTTP از نمایش یک صفحه در جستجوی Google جلوگیری کند. وقتی Googlebot آن صفحه را می‌خزد و برچسب یا هدر را می‌بیند، Googlebot آن صفحه را به طور کامل از نتایج جستجوی Google حذف می‌کند، صرف نظر از اینکه سایت‌های دیگر به آن لینک دارند یا خیر.
https://khanomsin.ir/the-amount-of-income-from-google-adsense/
مهم: برای مؤثر بودن دستورالعمل noindex، صفحه یا منبع نباید توسط یک فایل robots.txt مسدود شود و باید برای ربات گوگل قابل دسترسی باشد. اگر صفحه توسط یک فایل robots.txt مسدود شود یا ربات گوگل نتواند به صفحه دسترسی پیدا کند، ربات گوگل هرگز دستورالعمل noindex را نمی بیند و صفحه همچنان می تواند در نتایج جستجو ظاهر شود.اگر به سرور خود دسترسی روت ندارید، استفاده از noindex مفید است، زیرا به شما امکان می دهد دسترسی به سایت خود را به صورت صفحه به صفحه کنترل کنید.
روش پیاده سازی noindex
• دو راه برای پیاده سازی noindex وجود دارد: به عنوان یک متا تگ و به عنوان یک HTTP response header. اما شما روشی را انتخاب کنید که برای سایت شما راحت تر و با نوع محتوا مناسب تر باشد.
• تگ
برای اینکه اکثر خزنده های وب موتورهای جستجو نتوانند یک صفحه را در سایت خود فهرست کنند، متا تگ زیر را در بخش صفحه خود قرار دهید:
برای جلوگیری از ایندکس کردن یک صفحه توسط خزنده های گوگل:
توجه داشته باشید که برخی از خزنده های وب موتورهای جستجو ممکن است دستورالعمل noindex را متفاوت تفسیر کنند. در نتیجه، ممکن است صفحه شما همچنان در نتایج سایر موتورهای جستجو ظاهر شود.
• HTTP response header
به جای متا تگ، می‌توانید هدر X-Robots-Tag را با مقدار noindex یا none درresponse خود برگردانید. response header را می توان برای منابع غیر HTML مانند PDF، فایل های ویدئویی و فایل های تصویری استفاده کرد. در اینجا نمونه‌ای از پاسخ HTTP با X-Robots-Tag است که به خزنده‌ها دستور می‌دهد صفحه را ایندکس نکنند:
HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
چرا ایندکس صفحات مهم است
بیشتر مردم نگران این هستند که چگونه گوگل را وادار به ایندکس کردن صفحات خود کنند. ایندکس کردن صفحات یک سایت برای صاحبان وبسایت ها بسیار کاربردی و مهم است.این کار ترافیک را به صفحات مرتبط هدایت می کند و وقتی کاربران محتوای سایت شما را با استفاده از Google جستجو می کنند، کمک می کند صفحات بی اهمیت ظاهر نشوند. اگر یک صفحه وب ایندکس شود، گوگل می‌تواند آن صفحه را بخزد و فهرست کند. هنگامی که یک صفحه را از فهرست خارج می کنید، گوگل دیگر نمی تواند آن را ایندکس کند. ایندکس شدن صفحات شما برای ایجاد حضور آنلاین شما کاملا ضروری است.اگر صفحات سایت شما ایندکس نشده باشند، در نتایج جستجوی گوگل نمایش داده نمی شوند و با توجه به اینکه کاربران گوگل بیش از ۳.۵ میلیارد جستجو در روز انجام می دهند، این امر فرصت از دست رفته زیادی برای آوردن ترافیک به سایت شما به همراه دارد. دلایل دیگری که سایت شما باید ایندکس شود این است که سایت دچار بازی دومینو نشود برای آنکه بهتر متوجه شوید باید به شما بگوییم که اگر سایت شما ایندکس نشده باشد، در نتایج جستجوی گوگل نمایش داده نمی شود و اگر سایت شما در نتایج جستجو نمایش داده نشود، یافتن سایت شما برای کاربران دشوار خواهد بود. به نوبه خود، بدون توجه به اینکه محتوا، محصولات یا خدمات شما چقدر عالی باشد، پیش بردن یک کسب و کارآنلاین برای شما سخت خواهد بود.
شما می توانید موتور جستجوگر را مثل یک حمل و نقل زیر زمینی مانند مترو در نظر بگیرید. به احتمال زیاد نقشه های مترو را مشاهده کرده اید. گوگل هم یک نقشه جهت کراول کردن محتواهایی که هر روزه به آن اضافه می شود را به همراه دارد. شاید در گذشته به دلیل کمبود محتوا برای نمایش دادن به کاربران، موتورهای جستجوگر هر مطلبی را به کاربران نشان می دادند اما امروزه به لطف تولید کنندگان محتوا هر روزه به محتواهای موتورهای جستجوگر اضافه می شود و بر نحوه فعالیت موتورهای جستجوگر اثر گذاشته است بدین صورت که گوگل تنها نیاز کاربر را در نظر می گیرد و محتوایی را به کاربر نشان می دهد که که نزدیک ترین محتوا یا همان راه حل برای برطرف کردن نیاز کاربر است و از نتایج بی ربط جلوگیری می کند. شاید برای شما این سوال پیش بیاید که همه ی این موارد گفته شده به چه صورتی انجام می شود؟ پس ما با همراه باشید.
CRAWL یا خزیدن چیست
شما زمانی که وارد یک نمایشگاه می شوید یک نقشه راه دریافت می کنید که شما را برای رسیدن به غرفه ها هدایت کامل می کند. برای موتورهای جستجوگر نیز این امر صادق است. شما در نمایشگاه ها به عنوان یک خزنده هستید تا با نقشه ی در دست تان به مقصد خود برسید، گوگل هم به عنوان یک خزنده عمل می کند به این صورت که وقتی شما لینکی را به گوگل معرفی می کنید، تمامی مطالب لینک داده شده اعم از لینک های خارجی و داخلی را بررسی می کند.
این امر تا جایی ادامه پیدا می کند که رابطه ای بین محتواها و لینک های خارجی و داخلی باشد. بعد از آنکه ارتباطی پیدا نشد موتورهای جستجوگر به دنبال چگالی کلمات کلیدی می گردند و هر صفحه ای که بررسی شود مورد ایندکس گوگل قرار می گیرد. پس تا به اینجا متوجه شدید که منظورمان از کراول یا خزیدن موتورهای جستجوگر چه چیزی است.به طور کلی «Google crawl» به فرآیند ورود ربات‌ها به دنیای آنلاین مجازی و یافتن اطلاعات جدید اشاره دارد. ربات ها اطلاعات جدیدی را در اینترنت به همان روشی که ما انجام می دهیم پیدا می کنند، با دنبال کردن پیوندها از یک صفحه به صفحه دیگر. سپس، آنها اطلاعات جدید را به موتورهای جستجو مانند Google ارسال می کنند تا ایندکس شوند.
چگونه سرعت CRAWL را افزایش دهیم
روشی که می تواند به شما در تغییر سرعت کراول ها کمک کند استفاده از ابزار مستر تولز می باشد. برای اینکار در ابتدا باید به قسمت CONFIGURATION/SETTING مراجعه کنید و سرعت آن را روی FASTER تنظیم نمایید. فقط حواستان باشد ممکن است به علت بزرگ بودن سایت و مشکلات سرور ممکن است نتوانید پاسخگوی اضافه باشید و باید سرعت آن را کم کنید. در صورتی که نمی توانید به موقع تغییرات سایت را شناسایی کنید مقدار آن را افزایش دهید.
INDEX یا فهرست مطالب چیست
بعد از کراول کردن محتوای گوگل به اینکدس کردن آن می رسیم. ایندکس کردن به معنای فهرست مطالب می باشد. زمانی که کاربر کلمه ای را سرچ می کند گوگل یک فهرست به او نشان می دهد این فهرست همان ایندکس گوگل است که نتیجه کراول کردن محتواها در گذشته توسط موتورهای جستجوگر می باشد. اگر بخواهیم واضح تر توضیح بدهیم که منظورمان دقیقا چه چیزی می باشد بهتر است بگوییم که زمانی که موتور جستجوگر مطالب را کراول می کند یک فهرست از مطالب مورد تایید خود براساس الگوریتم های گوگل ایجاد می کند. گوگل این فهرست را برای چه زمانی ایجاد می کند؟ برای زمانی که کاربر چیزی را سرچ می کند، تا به او این فهرست یا همان نتایج گوگل را نشان دهد. به همین سادگی!
فهرست بندی محتوای شما توسط گوگل توسط الگوریتم های سیستمی تعیین می شود که تقاضای کاربر و بررسی های کیفیت را در نظر می گیرند. شما می توانید برای کشف آسان تر محتواهای سایت خود و ایندکس آن توسط موتور جستجوگر از لینک ها استفاده کنید و روند فهرست سازی یا همان ایندکس Google را تحت تأثیر قرار دهید. بدون نشانی‌های اینترنتی یا لینک صفحات شما، سیستم‌های گوگل نمی‌توانند اطلاعات شما را در جستجو کراول و فهرست‌بندی کنند و در نهایت اطلاعات شما را به کاربران ارائه کنند.
NOINDEX یا نو ایندکس چیست
مشاوره سئو یا وب مستر می‌تواند با اضافه کردن یک متا تگ یا هدر noindex در HTTP از نمایش یک صفحه در جستجوی Google جلوگیری کند. وقتی Googlebot آن صفحه را می‌خزد و برچسب یا هدر را می‌بیند، Googlebot آن صفحه را به طور کامل از نتایج جستجوی Google حذف می‌کند، صرف نظر از اینکه سایت‌های دیگر به آن لینک دارند یا خیر.
https://khanomsin.ir/the-amount-of-income-from-google-adsense/
مهم: برای مؤثر بودن دستورالعمل noindex، صفحه یا منبع نباید توسط یک فایل robots.txt مسدود شود و باید برای ربات گوگل قابل دسترسی باشد. اگر صفحه توسط یک فایل robots.txt مسدود شود یا ربات گوگل نتواند به صفحه دسترسی پیدا کند، ربات گوگل هرگز دستورالعمل noindex را نمی بیند و صفحه همچنان می تواند در نتایج جستجو ظاهر شود.اگر به سرور خود دسترسی روت ندارید، استفاده از noindex مفید است، زیرا به شما امکان می دهد دسترسی به سایت خود را به صورت صفحه به صفحه کنترل کنید.
روش پیاده سازی noindex
• دو راه برای پیاده سازی noindex وجود دارد: به عنوان یک متا تگ و به عنوان یک HTTP response header. اما شما روشی را انتخاب کنید که برای سایت شما راحت تر و با نوع محتوا مناسب تر باشد.
• تگ
برای اینکه اکثر خزنده های وب موتورهای جستجو نتوانند یک صفحه را در سایت خود فهرست کنند، متا تگ زیر را در بخش صفحه خود قرار دهید:
برای جلوگیری از ایندکس کردن یک صفحه توسط خزنده های گوگل:
توجه داشته باشید که برخی از خزنده های وب موتورهای جستجو ممکن است دستورالعمل noindex را متفاوت تفسیر کنند. در نتیجه، ممکن است صفحه شما همچنان در نتایج سایر موتورهای جستجو ظاهر شود.
• HTTP response header
به جای متا تگ، می‌توانید هدر X-Robots-Tag را با مقدار noindex یا none درresponse خود برگردانید. response header را می توان برای منابع غیر HTML مانند PDF، فایل های ویدئویی و فایل های تصویری استفاده کرد. در اینجا نمونه‌ای از پاسخ HTTP با X-Robots-Tag است که به خزنده‌ها دستور می‌دهد صفحه را ایندکس نکنند:
HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
چرا ایندکس صفحات مهم است
بیشتر مردم نگران این هستند که چگونه گوگل را وادار به ایندکس کردن صفحات خود کنند. ایندکس کردن صفحات یک سایت برای صاحبان وبسایت ها بسیار کاربردی و مهم است.این کار ترافیک را به صفحات مرتبط هدایت می کند و وقتی کاربران محتوای سایت شما را با استفاده از Google جستجو می کنند، کمک می کند صفحات بی اهمیت ظاهر نشوند. اگر یک صفحه وب ایندکس شود، گوگل می‌تواند آن صفحه را بخزد و فهرست کند. هنگامی که یک صفحه را از فهرست خارج می کنید، گوگل دیگر نمی تواند آن را ایندکس کند. ایندکس شدن صفحات شما برای ایجاد حضور آنلاین شما کاملا ضروری است.اگر صفحات سایت شما ایندکس نشده باشند، در نتایج جستجوی گوگل نمایش داده نمی شوند و با توجه به اینکه کاربران گوگل بیش از ۳.۵ میلیارد جستجو در روز انجام می دهند، این امر فرصت از دست رفته زیادی برای آوردن ترافیک به سایت شما به همراه دارد. دلایل دیگری که سایت شما باید ایندکس شود این است که سایت دچار بازی دومینو نشود برای آنکه بهتر متوجه شوید باید به شما بگوییم که اگر سایت شما ایندکس نشده باشد، در نتایج جستجوی گوگل نمایش داده نمی شود و اگر سایت شما در نتایج جستجو نمایش داده نشود، یافتن سایت شما برای کاربران دشوار خواهد بود. به نوبه خود، بدون توجه به اینکه محتوا، محصولات یا خدمات شما چقدر عالی باشد، پیش بردن یک کسب و کارآنلاین برای شما سخت خواهد بود.
ضوابط ثبت شرکت ها در مناطق آزاد