راهنمای کاربردی رفع مشکل ایندکس نشدن صفحات فروشگاه در سرچ کنسول
تصور کنید محصول جدیدی را با وسواس زیاد در فروشگاه خود بارگذاری کردهاید. در واقع، عکسهای خوب گذاشتهاید — توضیحات کافی نوشتهاید و لینکسازیهای داخلی را هم انجام دادهاید. حالا منتظر هستید گوگل صفحه را ببیند و کمکم بازدید و فروش شروع شود؛ اما روزها میگذرد و خبری از ایندکسشدن صفحه نمیشود.
این اتفاق از رایجترین مشکلات داد و ستدگاههای آنلاین است و دلایل مختلفی دارد؛ از کیفیت پایین محتوای صفحه یا تکراریبودن آن گرفته تا مشکلات فنی! اما نکته اصلی این است که گوگل همیشه همه صفحات را ایندکس نمیکند. گاهی عمدا بعضی صفحات را اصلاً وارد فهرست خود نمیکند، انگار که وجود ندارند.
در این مطلب دقیقاً بررسی میکنیم چرا بعضی صفحات محل داد و ستدی ایندکس نمیشوند، چه خطاهایی پشت پرده وجود دارد، چطور میتوان آنها را تشخیص داد و برطرف کرد.
ایندکس نشدن یعنی چه و چرا باید جدی گرفته شود؟ (ادامه)
قبل از اینکه غول جستجو بتواند یک صفحه را در نتایج جستجو نمایش دهد، ابتدا باید آن را پیدا کند. در عین حال، وظیفه این کار برعهده رباتهای غول جستجو (Googlebot) پدیدار میشود. این رباتها وارد سایتها میشوند، صفحات را بررسی و اطلاعات آنها را جمعآوری میکنند. در دنیای سئو اصطلاحا به این کار رباتهاخزیدن (crawl)گفته میشود.
وقتی ربات گوگل در صفحهای میخزد، تمام لینکهایی را که داخل آن صفحه قرار دارند دنبال میکند تا به صفحات جدید برسد. این کار آنقدر تکرار میشود تا تمام صفحات سایت بررسی شوند. بعد از اینکه ربات سرچ صفحه را خزید و بررسی کرد، تصمیم میگیرد که آیا آن صفحه ارزش ایندکسشدن دارد یا نه.
پس ایندکس شدن در گوگل یعنی Googlebot صفحه شما را دیده، بررسی کرده و آن را در دیتابیس سرچ ذخیره کردهپدیدار میشود تا در صورت مرتبطبودن، در نتایج جستجو نمایش دهد. در نهایت، با این وجود — اگر صفحهای ایندکس نشود — حتی اگر بهترین محتوا را داشته باشد، در نتایج جستجو ظاهر نمیشود. این یعنی عملاً هیچ شانسی برای جذب ترافیک ارگانیک ندارد.
نکته: ایندکسشدن با رتبهبندی در صفحه سرچ موتور جستجو فرق دارد
عدهای از فروشگاهها تصور میکنند ایندکس همان رتبهبندی صفحه برای نمایش در گوگل است؛ اما ایندکسنشدن یک مرحله قبل از رتبهگرفتن وجود دارد. صفحهای که ایندکس نشده باشد — حتی وارد میدان رقابت با سایتهای دیگر هم نمیشود. برای همین بعد از راهاندازی معاملهگاه آنلاین خود باید به صورت مرتب بررسی کنید و مطمئن شوید که صفحات مهم سایت شما ایندکس شدهاند؛ چگونه؟ با کمک گوگل سرچ کنسول که بعدا مفصل درباره آن صحبت میکنیم.
چرا موتور جستجو همیشه همه صفحات را ایندکس نمیکند؟ یک نکته کلیدی: دلیل ایندکس نشدن صفحه
کمیعجیب است؛ اما باید بدانید که گوگل موظف نیست تمام صفحات سایت شما را ایندکس کند. یک نکته کلیدی: گوگل منابع محدودی دارد و همیشه تلاش میکند بهترین صفحات را انتخاب کند. اگر تشخیص دهد صفحهای ارزش نمایش ندارد، آن را نادیده میگیرد یا دیرتر بررسی میکند.
این موضوع به خصوص در مرکز فروشهای در بستر اینترنت بیشتر دیده میشود. چون محل معاملهها معمولاً تعداد زیادی صفحه مشابه دارند. مثلاً محصولات یک برند که فقط رنگشان فرق دارد یا صفحات فیلترشده که محتوای تکراری تولید میکنند. در واقع، از نگاه غول جستجو، این صفحات ارزش خاصی ندارند و فقط وقت رباتهایش را هدر میدهند.
از آن طرف، بعضی از صفحات نیازی نیست که به همه نمایش داده شوند؛ مثل صفحات سبدخرید یا حساب کاربری که حاوی اطلاعات حساسی هستند. این صفحات عمدا با برچسب "noindex" مسدود میشوند تا موردخزش قرار نگیرند.
بنابراینایندکس نشدن همیشه به این معنی نیست که یک خطای فنی در سایت شما وجود دارد. ممکن وجود دارد گوگل خیلی ساده تصمیم گرفته باشد صفحه شما را فعلاً یا برای همیشه وارد فهرست نکند.
حالا که مقدمات لازم را گفتیم، وقت آن میباشد که به سراغ اصل مطلب برویم: چرا بعضی از صفحات فروشگاهی اصلا ایندکس نمیشوند؟
دلیل اول: صفحه توسط robots.txt مسدود شده است
احتمالا میدانید که فایل robots.txt چیست؛ این فایل به گوگل میگوید کدام صفحات سایت را بررسی کند و کدام بخشها را نادیده بگیرد. اگر مسیر صفحات آیتم یا دستهبندی به اشتباه در این فایل مسدود شده باشد — سرچ اصلاً نمیتواند وارد این صفحات شود؛ چه برسد به اینکه آنها را ایندکس کند.
این مشکل معمولاً زمانی اتفاق میافتد که تنظیمات پیشفرض فروشگاهساز یا قالب درست نباشد. همچنین — ممکن است در زمان طراحی — سایت را برای گوگل بسته و بعد از انتشار فراموش کرده باشید، این محدودیت را بردارید.
برای بررسی این موضوع باید از Google Search Console و بخش robots.txt Tester کمک بگیرید. در عین حال، اگر صفحه در حالت Blocked قرار گرفته باشد — باید مسیر مربوطه را از robots.txt حذف یا اصلاح کنید.
دلیل دوم: تگ noindex روی صفحه فعال هست
دومین دلیل رایجی که باعث ایندکس نشدن صفحات مرکز فروشی میشود، وجود تگ noindex در کد صفحه میباشد. این تگ به غول جستجو میگوید: «این صفحه را بررسی (crawl) کن؛ اما در نتایج موتور جستجو نمایش نده.»
حالا کاربرد این تگ نوایندکس چیست؟ بعضی از صفحات سایت مثل سبدخرید — ورود کاربران و غیره نیازی نیست که در نتایج گوگل ظاهر شوند. به همین خاطر اگر گوگل آنها را ایندکس کند؛ فقط وقت خود را هدر داده است. تگnoindex به این صفحات اضافه میشود تا سرچ بفهمد که نیازی به بررسی آنها نیست. در نهایت، مشکل زمانی ایجاد خواهد شد که این تگ اشتباها در صفحات مهمیمثل آیتم، دستهبندی و غیره فعال میشود. در نهایت، اگر به این موضوع شک دارید — باید سورس صفحه را ببینید و به دنبال این کد بگردید:
وقتی که این تگ وجود داشته باشد، باید تنظیمات افزونه سئو یا سیستم مدیریت محتوای سایت خود را اصلاح کنید تا صفحه از حالت نوایندکس خارج شوند.
دلیل سوم: سیستم مدیریت محتوا صفحات کمارزش تولید میکند
بعضی سیستمهای مدیریت محتوا بهصورت خودکار صفحات زیادی میسازند؛ مثل آرشیو برند، آرشیو تگ، نتایج جستجوی داخلی و موارد مشابه. اگر از این صفحات غافل شوید — سایت پر از URLهایی میشود که محتوای کافی ندارند یا تکراری هستند.
وقتی گوگل وارد چنین سایتی میشود، نظر منفی نسبت به آن پیدا میکند. در نهایت — زمان کمتری برای ایندکس صفحات آن میگذارد. در این حالت، حتی صفحات خوب سایت هم روزها طول میکشد تا ایندکس شوند.
به همین خاطر پدیدار میشود که تاکید میکنید سایت خود را فقط با پلتفرمهای حرفهای راهاندازی کنید. یک نکته کلیدی: یک پلتفرم حرفهای مثلبخششگاه ساز تکوببه شما اجازه میدهد صفحات بیارزش را کنترل کنید و ساختار URL تمیز و منطقی بسازید. در صورت تمایل میتوانید این امکانات تکوب را به صورت رایگان تست کنید:
دلیل چهارم: صفحه Canonical اشتباه دارد
تگ کنونیکال چیست؟ وقتی چند صفحه در سایت شما محتوای تکراری و مشابه دارند — تگCanonical به گوگل میگوید نسخه اصلی کدام است. حالا اگر این تگ اشتباها در صفحهای تنظیم شده باشد، ممکن هست غول جستجو آن را اصلاً ایندکس نکند.
مثلاً فرض کنید شما صفحه محصولی دارید که در کد صفحه آن تگ canonical به یکآدرس دیگر اشاره کرده باشد. در این حالت موتور جستجو فرض را بر این میگیرد که صفحه فعلی نسخه تکراری وجود دارد و صفحه اصلی نیست. بنابراین آن را کنار میگذارد.
این مشکل در فروشگاههای آنلاین خیلی پیش میآید؛ چون یک جنس ممکن است از چند مسیر قابل دسترسی باشد. در واقع، مثلاً از دستهبندیهای مختلف. در چنین صفحاتی اگر تگ کنونیکال درست بهکارگیری نشود، گوگل صفحه را بهعنوان نسخه تکراری تشخیص میدهد. برای حل این مشکل باید تگcanonicalرا دقیقا با آدرس نسخه اصلی آن تنظیم کنید.
دلیل پنجم: محتوای صفحه ضعیف یا تکراری است
از بزرگترین دلایل ایندکس نشدن صفحات محصول، این میباشد که محتوای ضعیف یا تکراری دارند. اگر توضیحات جنس را از سایتهای دیگر کپی کرده یا فقط چند خط کوتاه درباره آن نوشته باشید — احتمالا سرچ صفحه را بیارزش تشخیص میدهد.
وقتی که میخواهید صفحات شما سریعتر ایندکس شوند، باید برای هر محصولی توضیحات اختصاصی بنویسید. در عین حال، مشخصات فنی — مزایا و سوالات متداول را به صفحه اضافه کنید. در عین حال، وقتی محتوای صفحه مفید باشد، شانس ایندکسشدن آن چندبرابر میشود.