ایندکس گوگل یا google index چیست؟
برای اینکه لندینگ پیجها، وبلاگها، صفحات اصلی و سایر مطالب آنلاین شما در نتایج موتور جستجوی گوگل نشان داده شود، باید مطمئن شوید که وب سایت شما در موتور جستجو ایندکس شده است. ایندکس گوگل (Google Index) اساساً یک پایگاه داده است.
وقتی افراد از موتور جستجو برای جستجوی محتوا استفاده میکنند، گوگل برای ارائه محتوای مربوطه به فهرست آن مراجعه میکند. اگر صفحه شما ایندکس (فهرستبندی) نشده باشد، در موتور جستجوی گوگل هم وجود نخواهد داشت. اگر امیدوار هستید که از طریق جستجوی ارگانیک ترافیک ارگانیک را به وب سایت خود هدایت کنید، باید خبر بدی را به شما برسانیم.
این مقاله راهنمایی کامل در رابطه با ایندکس گوگل و همه جزئیات مربوط به اهمیت آن را در اختیار شما قرار میدهد. همچنین توضیح میدهد که چگونه میتوان ایندکس شدن توسط گوگل را بررسی کرد.
ایندکس گوگل چیست؟
ایندکس گوگل لیستی از تمام صفحات وب است که موتور جستجو از آنها اطلاع دارد. اگر گوگل وب سایت شما را فهرستبندی نکند، سایت شما در نتایج جستجوی گوگل ظاهر نمیشود.
اصطلاحات کلیدی مربوط به ایندکس گوگل
خزیدن (Crawling)
اولین قدم این است که بدانید چه صفحاتی در وب وجود دارد. یک مرکز ثبت برای همه صفحات وب وجود ندارد. به همین دلیل گوگل باید دائماً صفحات جدید را جستجو کرده و آنها را به لیست صفحات شناخته شده خود اضافه کند.
برخی از صفحات توسط گوگل تایید میشوند زیرا گوگل قبلاً آنها را بررسی کرده است. وقتی گوگل لینکی را از یک صفحه شناخته شده به یک صفحه جدید بررسی میکند، صفحات دیگر نیز پیدا میشوند.
هنگامی که صاحب وب سایت لیستی از صفحات (نقشه سایت) را برای خزیدن به گوگل ارائه میدهد، همچنان صفحات جدید کشف میشوند.
ایندکس کردن (Indexing)
پس از شناخته شدن صفحه، گوگل سعی میکند بررسی انجام دهد که طی آن محتوای شما را شناسایی کند. این فرآیند، ایندکس کردن نامیده میشود.
گوگل محتوای صفحه را تجزیه و تحلیل میکند، تصاویر و فایلهای ویدئویی موجود در صفحه را فهرستبندی میکند و با این کار سعی میکند هدف از ایجاد صفحه را درک کند.
رتبهبندی (Serving / Ranking)
هنگامی که کاربر متنی را در گوگل تایپ کند، گوگل بر اساس عوامل متعدد سعی میکند تا مرتبطترین پاسخ را از فهرست خود بیابد.
گوگل تلاش میکند با در نظر گرفتن مواردی مانند موقعیت کاربر، زبان و دستگاه (دسکتاپ یا موبایل)، با کیفیتترین پاسخها را تعیین کرده و ملاحظات دیگری را که بهترین تجربه کاربری و مناسبترین پاسخ را ارائه میدهند، در نظر بگیرد.
به عنوان مثال، جستجوی «سوپرمارکت» پاسخهای متفاوتی را به یک کاربر در تهران نسبت به یک کاربر دیگر در نیویورک نشان میدهد.
چطور صفحات وبسایت را به گوگل معرفی کنیم؟
بهتر است قبل از پی بردن به این مورد روشهای مختلف ارائه صفحات وب سایت به گوگل را بدانیم. به این ترتیب، میتوانیم بهترین روش را برای کسب و کار خود انتخاب کنیم، که میتواند در وقت، پول و درگیریهای تیم شما صرفه جویی کند.
در کنسول جستجوی گوگل (Google Search Console)، میتوانید URLها را به روشهای زیر ارسال کنید:
1. درخواست برای خزیدن (Crawl)
میتوانید از گوگل بخواهید یک نشانی اینترنتی خاص را مورد خزش قرار داده و سپس و ایندکس کند. اگر تیم شما محتوای جدیدی منتشر میکند یا محتوای موجود در صفحه را به روز میکند، این گزینه برای شما مفید است.
با این حالی شما باید همچنان نقشه سایت XML خود را در کنسول جستجوی گوگل به روز کنید و دوباره آن را به گوگل ارسال کنید.
2. نقشه سایت را بارگذاری کنید (Site map)
نقشه سایت متداولترین روش برای افزودن چندین آدرس اینترنتی به گوگل است. این به این دلیل است که نقشه سایت همه (یا بیشتر) لینکها یا صفحات سایت شما را در یک فایل XML واحد جمعآوری میکند.
در بیشتر موارد، نقشه سایت شما دارای ارزشمندترین صفحات شما است، مانند صفحه تماس، صفحه خدمات یا صفحه اصلی محصول.
این صفحات به طور کلی در نوار پیمایش وب سایت شما ظاهر میشوند. اگر وب سایت پیشرفتهتری دارید، بهتر است چندین نقشه سایت مختلف را به جای یک نقشه سایت ایجاد کنید.
روشهای ایندکس شدن در گوگل
اگر اخیرا متوجه شدهاید که سایت یا یکی از صفحات سایت شما توسط گوگل ایندکس نشده است، راه حلهای پایین را امتحان کنید:
- ابتدا وارد سرچ کنسول گوگل شوید
- به قسمت URL inspection بروید
- آدرس URL مورد نظر که میخواهید ایندکس شود را در نوار جستجو وارد کنید.
- منتظر پاسخ گوگل بمانید
- سپس گزینهی «Request indexing» را بزنید
- و بعد از چند ساعت چنین متنی را مشاهده خواهید کرد URL is on Google
این فرآیند برای پستها و یا صفحاتی که به تازگی منتشر شدهاند بسیار مناسب میباشد. در حقیقت شما با انجام این کار به گوگل اعلام میکنید که محتوای جدیدی به وب سایت خود اضافه کردهاید و بهتر است که گوگل نگاهی به آن بیندازد.
با این احتمال وجود داشتن مشکلات زیربنایی که مانع ایندکس شدن صفحهتان میشود نیز وجود دارد که احتمال آن بسیار پایین است. در چنین شرایطی از چک لیستی که در زیر ارائه شده است برای حل مشکل استفاده کنید:
• حذف سدهای موجود کراول در فایل robots.txt
• حذف تگهای اضافی نوایندکس (no index)
• قرار دادن صفحه موردنظر در نقشه سایت (Site map)
• حذف تگهای زائد کنونیکال
• دقت کنید که صفحهتان به صفحه ی یتیم (Orphan Page) تبدیل نشود
• لینکهای داخلی را اصلاح کنید
• لینکهای داخلی قوی قرار دهید
• از یونیک (منحصر به فرد بودن) و ارزشمند بودن صفحه مطمئن شوید
• صفحات بیکیفیت را حذف کنید
• بک لینکهای با کیفیت ایجاد کنید
۱- حذف سدهای کراول در فایل robots. txt
اگر شما جزء آن دسته از سایتهایی هستید که گوگل صفحه شما را ایندکس نمیکند این قسمت را با دقت بخوانید.
یکی از دلایل ممکن است ناشی از وجود مشکل در فایل robots. txt باشد و امکان دارد شما کراول کردن صفحه توسط گوگل را بسته باشید.
برای پیگیری این مورد، به آدرس yourdomain. com/robots. txt بروید و به دنبال کدهای زیر باشید:
• Uset-agent: Googlebot
• Disallow: /
• Uset-agent: *
• Disallow: /
همهی این کدها به ربات گوگل (Google bot) میگویند که اجازهی کراول کردن در صفحات وبسایت را ندارد. برای حل این مشکل، کافیست فقط این کدها را از این قسمت حذف کنید.
۲- حذف تگهای اضافی No index
اگر به گوگل بگویید صفحاتتان را ایندکس نکند، مسلما این کار را انجام نخواهد داد. اما ایندکس نشدن برای خصوصی نگه داشتن بعضی صفحات وب مناسب است.
تگ X-Robots
کراولرها به پاسخ HTTP تگ X-Robots هم اهمیت میدهند. برای اجرای آن میتوانید از زبان سرور مثل PHP استفاده کرده یا آن را در فایل htaccess قرار دهید یا تنظیمات سرور خود را کلا تغییر دهید.
۳- قرار دادن صفحه در نقشه سایت
نقشه سایت (sitemap) به گوگل اعلام میکند که کدام صفحات در وبسایت شما از اهمیت بالایی برخوردار هستند. همچنین نقشه سایت ممکن است یک سری اطلاعاتی دربارهی این که چه زمانی باید مجددا مورد کراول قرار بگیرند را هم به گوگل ارائه دهد.
حتی اگر صفحاتتان را در نقشه سایت قرار ندهید، گوگل همچنان میتواند آنها را پیدا کند ولی بهتر است این کار را خود شما انجام دهید.برای بررسی این که صفحه شما در نقشه سایت قرار دارد یا خیر در سرچ کنسول گوگل آدرس آن صفحه را سرچ کنید.
اگر دوباره با خطای» URL is not on Google» یا «Sitemap: N/A» مواجه شدید، دو حالت دارد. صفحه مورد نظر یا در نقشه سایت قرار نگرفته یا ایندکس نشده.
۴- حذف تگهای زائد کنونیکال
کار تگ کنونیکال این است که به گوگل بگوید شما کدام ورژن صفحه را برای نمایش ترجیح میدهید. این تگ اشاره شده به صورت زیر نوشته میشود : بیشتر صفحات موجود از تگ کنونیکال استفاده نمیکنند یا از تگ کنونیکال به صورت self-referencing استفاده میکنند.
تگ کنونیکال به گوگل میگوید که صفحه ی اصلی همین صفحه بوده و یا احتمالا تنها نسخهی موجود آن در حال حاضر میباشد.به عبارت دیگر شما میخواهید همین صفحه که به گوگل شناسایی کردهاید ایندکس شود.
ولی اگر تگ کنونیکال زائد داشته باشید، در واقع به گوگل گفتهاید که هیچ کدام از نسخههای صفحه را نمیخواهید و در نتیجه نباید ایندکس شوند.
برای بررسی تگ کنونیکال از ابزار URL inspection سرچ کنسول گوگل استفاده کنید. اگر بعد از وارد کردن صفحه با پیغام Alternate page with canonical tag روبرو شوید، باید برای ایندکس شدن سایت در گوگل، تگ مورد نظر را حذف کنید.
همچنین حتما بررسی کنید که اگر صفحه شما ایندکس نشده است، شاید تگ کنونیکال برای صفحه تعریف کرده اید.بنابراین مطمئن شوید که کدام صفحه برای شما از اهمیت بالاتری برخوردار است. اگر هنوز قصد دارید صفحه شما ایندکس شود میتونید تگ کنونیکال را حذف کنید.
۵- بررسی کنید صفحه یتیم (Orphan Page) نباشد
صفحات Orphan page یا یتیم، صفحاتی هستند که هیچ صفحه دیگری از آنها به عنوان لینک داخلی استفاده نکرده است. از آن جایی که گوگل با خزیدن در وب، محتواهای جدید را ردیابی و پیدا میکند، پیدا کردن صفحات یتیم برای آن کاری دشوار است. البته غیر از گوگل، کاربران هم نمیتوانند آنها را پیدا کنند. برای پیدا کردن صفحات یتیم سایتتان، از یک Site Explorer استفاده کنید.
۶- اصلاح لینکهای داخلی Nofollow
این لینکها، حاوی تگ rel= «nofollow» هستند و کارشان جلوگیری از انتقال رتبهی صفحه به URL مقصد است. البته گوگل هم این صفحات را بررسی نمیکند.
۷- قرار دادن لینک در صفحات قوی سایت
گفتیم که گوگل محتوا و مطالب جدید را با خزش در وبسایت شما پیدا میکند. برای ایندکس شدن در گوگل میتوان از لینک داخلی صفحاتی که ایندکس شدهاند استفاده نمود.
برای اینکه صفحهتان هر چه زودتر ایندکس شود، بهتر است یک لینک از url مورد نظر را در صفحات قدرتمند سایت قرار دهید زیرا احتمال خزیدن دوباره صفحات قدرتمند توسط گوگل وجود دارد به این ترتیب لینک صفحه شما هم توسط باتهای گوگل بررسی میشود.
۸- بررسی ارزشمند بودن صفحات
معمولا گوگل به صفحات بیکیفیت اهمیت نمیدهد زیرا برای کاربران بیفایده هستند. اگر تمام مشکلات ایندکس شدن را از حل کرده اید، شاید صفحهتان به اندازه کافی از نظر محتوایی غنی نیست.
پس در چنین موقعیتی باید با دیدی تازه به صفحه نگاه کنید و بپرسید که آیا واقعا محتوا با ارزشی در آن قرار دارد یا خیر، آیا کاربران درصورت مشاهدهی آن در لیست نتایج روی آن کلیک میکنند یا اصلا هیچ ارزش افزودهای را به آنان ارائه نمیدهد؟
۹- حذف صفحات بیکیفیت برای ایندکس شدن سایت
داشتن تعداد زیادی صفحهی با کیفیت پایین و در سایت فقط بودجه خزیدن را هدر میدهد.
که در واقع این کار باعث ایجاد تاخیر در پیدا کردن محتواهای خوب در سایتها میشود. پس برای ایندکس شدن سایت در گوگل، باید به دنبال داشتن صفحاتی با کیفیت و محتوای با ارزش باشید و سعی کنید مقالات و محتوای یونیک با کیفیت بالا تولید و انتشار دهید.
۱۰- ایجاد بک لینک با کیفیت
کار بک لینکها، نشان دادن صفحات مهم وب به گوگل است. اگر کسی به محتوایی لینک دهد، به این معنی است که قطعا محتوا دارای ارزش کافی است.
برای درک بهتر موضوع بهتر است بدانید که گوگل تنها صفحات دارای بک لینک را فهرستبندی نمیکند. میلیاردها صفحهی ایندکس شدهی بدون بک لینک نیز وجود دارند.
هر چند به دلیل این که گوگل صفحات با لینکهای قوی را با اهمیتتر میداند، احتمال خزیدن دوباره گوگل در این صفحات بیشتر از صفحات فاقد لینک میباشد.
اهمیت سریع ایندکس شدن سایت توسط گوگل
با توجه به اینکه رباتهای عنکبوتی گوگل دائماً در حال جستجوی اطلاعات هستند، شاید برای شما این سؤال پیش آمده باشد که چرا باید برای کمک به آنها کارهای اضافی انجام دهید.
به هر حال آنها مدام در حال خزیدن (کراول) و جست و جو هستند، آیا سایت شما را پیدا نمیکنند؟ در جواب باید اینگونه بگوییم که ممکن استثنایی هم وجود داشته باشد.
اما اگر سایت شما نسبتاً جدید است یا اغلب کراول نمیشود، ممکن است چند روز یا حتی هفتهها ایندکس نشود. این امر باعث ایجاد تاخیر در دید موتورهای جستجو میشود که یکی از مهمترین عوامل موفقیت دیجیتال مارکتینگ شما است.
ترافیک منبع فهرست گوگل
ایندکس شدن برای ایجاد رتبهبندی، جذب ترافیک و رسیدن به اهداف سایت شما ضروری است. گوگل به احتمال خیلی زیاد وب سایت را فهرستبندی میکند.
مگر اینکه شما برای ایندکس نشدن کار خاصی انجام داده باشید یا سایت دچار مشکلات فنی اساسی باشد که در بالاتر به آن پرداخته ایم.
اما بحث ما اهمیت سریع ایندکس شدن است. هرچه زودتر صفحات شما ایندکس شوند، زودتر میتوانند با صفحات دیگر رقابت کنند و رتبههای بالاتری را در جست و جو کسب کنند.
در نظر بگیرید که تنها ۵٫۷ درصد از صفحات تازه منتشر شده در یک سال به ده نتیجه برتر خود میرسند. واضح است که دست یافتن به رتبههای بالا یک شبه اتفاق نمیافتد. این دادهها نشان میدهد که گوگل تمایل دارد از محتوای ثابت استفاده کند.
در حقیقت، میانگین رتبه یک صفحه بیش از دو سال است و متوسط صفحه در موقعیت اول تقریباً سهساله است. البته این بدان معنا نیست که صفحات جدید نمیتوانند رتبه خوبی داشته باشند. اما دستیابی سریع به رتبه برتر نادر است.
زمان ایندکس گوگل
معمولا بین ۴ روز تا ۴ هفته طول میکشد تا گوگل سایت جدید شما را ایندکس کند. با این حال افرادی نیز هستند که ادعا میکنند وبسایتهای شما را در کمتر از ۴ روز ایندکس میکنند.
باید بگوییم که این ادعاها کاملا کذب بوده و روند ایندکس شدن همانطور که گفته شد بین ۴ روز تا ۴ هفته (۱ ماه) به طول میانجامد.
جمعبندی و نتیجه گیری
بررسی ایندکس شدن سایتها و سرعت بخشیدن به آن یک روند است که باید با دقت کامل انجام شود. همان طور که گفتیم به مرور وب سایت خود به خود ایندکس میشود ولی ممکن است این زمان بسیار طولانی شود.
پس با ثبت سایت خود در گوگل و رعایت مواردی که در این مقاله گفته شد، راهی برای سریعتر شدن این فرایند باید ایجاد کنید.