كيف تقوم محركات البحث بفهرسة مواقع الانترنت

تقوم محركات البحث ومن أشهرها محرك بحث جوجل و كذلك مُحرك البحث Bing التابع لشركة مايكروسوفت بترتيب صفحات الانترنت وتصنيفها في الفهرس الخاص بها حتى تجعلها مُهيأة للظهور في نتئائح بحث وذلك بترتيب يتناسب مع ما يبحث عنه المستخدمين. الاهتمام بفهم طريقة عمل محركات البحث سوف يُساعدك في احتراف التسويق الإلكتروني.

أول خطوة تقوم بها محركات البحث هي التوغل داخل مواقع الانترنت باستخدام برامج بحث وتنقيب ثم تحاول بعد ذلك فهم محتوى صفحة الانترنت. النتيجة هي تصنيف وفهرسة صفحة الانترنت التي هي جزء من موقع الانترنت. فمثلا حسب محتوى الصفحة قد تصنف على أنها ذات علاقة بموضوع التسويق أو الأسهم السعودية أو مدينة الرياض وتعطي تصنيف درجة وتقييم. كلما زادت درجة التقييم اصبحت الصفحة أكثر ارتباطا بموضوع الأسهم السعودية وهكذا.

بطبيعة الحال يقوم محرك البحث على تحسين برامج التوغل Googlebot وبرامج فهم المحتوى بشكل مستمر لما لهذا التحسين من عائد عالي على ربحية هذه الشركات. أساليب محركات البحث يتغير من عام لعام وحيث أن فهم عمل محركات البحث هو أمر أساسي للمتخصص في تحسين ظهور المواقع في نتائج محركات البحث وهو ما يسمى اختصاراً سيو SEO . لذا سأقوم بشرح كيف تعمل محركات البحث اليوم بفهرسة المواقع بشكل لمختلف عن السابق.

كيف تُسرع من عمل محركات البحث

عندما تُنشئ وتنشر صفحة جديدة في موقعك على الانترنت فإن فهرستها تتم بعدة طرق وأساليب، وابسط طريقة تقوم بها هي أن لا تقوم بفعل أي شيء. فقط انشر الصفحة والمحتوى سيتم غزوه والتوغل فيه بواسطة محركات البحث التي ستتبع الروابط في موقعك وتضيفها إلى فهرسها. حسناً ماذا لو قمت بعمل بعض الطرق والأساليب التي تُسرع من عملية الفهرسة وأسردها هنا كما يلي:

أولاً: ملف خريطة الموقع بصيغة XML

من أقدم الطرق وأكثرها موثوقية من قبل المتخصصين في تحسين نتائج محرك البحث هو استخدام ملف خريطة الموقع. حيث يتم حفظ ملف الخريطة داخل في خادم الاستضافة الذي يتواجد فيه موقعك وذلك بصيغة XML، ويحتوي ملف خريطة الموقع على قائمة فيها روابط صفحات موقعك. عندما يتوغل محرك البحث في هذا الملف فإنها تقوم بفهرسة الصفحات بناء على هذه القائمة. كما يتضمن الملف نبذة عن كل صفحة وتاريخ أخر تعديل تم على هذه الصفحة وجميع هذه المعلومات يتم فهرستها من قبل محركات البحث.

كل ما عليك القيام به لتسريع عملية الفهرسة هو أن تقوم باستخدام أداة في محرك Bing واسمها Bing Webmaster Tools وأداة أخرى في جوجل اسمها Search Consol. هاتين الأداتين تدلهما على مكان ملف خريطة الموقع XML Sitemap حتى تبدأ الفهرسة فوراً وفي كل مرة ستعود محركات البحث لهذا الملف من جديد.

ثانيا: طلب الفهرسة الفورية باستخدام Search Console

عندما تبدأ في نشر صفحة بموقعك وتريد فهرستها فوراً فاستخدم أداة جوجل، وهذه الميزة لا تتوفر في ملف خريطة الموقع XML Sitemap الذي ذكرته سابقاً. للتعرف على خطوات الاستخدام انقر هنا.

بعد ثواني من اتباعك لطريقة فهرسة الصفحة بشكل فوري فستجد الصفحة قد ظهرت في محرك بحث جوجل فوراً ويتحقق بذلك ما يسمى سيو SEO.

ثالثا: برتوكول IndexNow من محرك Bing

لدى محرك البحث Bing برتوكول مفتوح أي متاح للجميع ويعتمد على فكرة الدفع يإشعارات Push Notifications تجاه محركات البحث الأخرى ليشعرها بوجود محتوى جديد أو محتوى تم تحديثه ويمكن لمحركات البحث الأخرى فهرسته. كونه يُشعر محرك البحث فسمي Push Notification وهذا عكس طريقة ملف خريطة الموقع والتي تعتمد على فكرة السحب Pull حيث يقوم محرك البحث بالدخول لموقع وسحب Pull ملف خريطة الموقع.

أحد الفوائد التي تسوق بها شركة #مايكروسوفت عند استخدام برتوكول IndexNow أن البرتوكول يوفر على محركات البحث جميعها الدخول لخادم موقع الانترنت والتتفتيش في داخله مما يؤثر سلباً على أداء خادم الاستضافة وبالتالي يستهلك موارده بشكل كبير ومن ثم تتأثر البيئة سلباً. حتى لحظة كتابة هذه الصفحة فإن البرتوكول مستخدم فقط من محرك بحث Bing وكذلك Yandex وهو محرك بحث روسي.

الاستفادة من برتوكول IndexNow سهل باتباع عدة خطوات ولكنها أسهل على من يستخدم نظام إدارة محتوى المواقع WordPress. توجد إضافة يمكنك تنصيبها بكل سهولة وتجدها على هذا الرابط. إذا كنت غير متحمساً لاستخدام هذا البرتوكول فيمكنك أيضاًُ استخدام أداة Bing Webmaster Tools.

أنواع الزحف والتوغل الخاصة بمحرك بحث جوجل

النوع الأول: الاستكشاف حيث يقوم محرك بحث جوجل باستكشاف الصفحات الجديدة حتى يتم فهرستها.
النوع الثاني: التحديث أو إعادة التنشيط للفهرسة وهي الحالة التي يجد فيها محرك البحث محتوى سابق وتمت فهرسته من قبل ولكن تم تحديثه مؤخراً.