شرح Sitemap، وكيفية إضافتها لموقعك بالشكل الصحيح

حتى يتم فهرسة صفحات موقعك في جوجل بالشكل الصحيح، تحتاج إلى إنشاء خريطة للموقع (Sitemap) لموقعك وتقديم هذه الصفحة إلى جوجل لفهرسات صفحات موقعك، سواءًا كانت مقالات (كما هو في مواقع الأخبار والمدونات)، أو كانت منتجات (كما هو في المتاجر الإلكترونية).

في هذه المقالة سنتعرف على شرح Sitemap وكيف تقوم بإضافتها إلى موقعك حتى يتم فهرسة موقعك بالشكل الصحيح، ويكون مهيئًا للظهور في نتائج البحث.

محتويات المقالة:


ما هو ملف sitemap ؟

خريطة الموقع (sitemap) هي عبارة عن ملف XML يحتوي على كل روابط صفحات وصور وفيديوهات الموقع واي ملفات اخرى ، ويقوم بتنظيمها بشكل يسهل فهمه لأي محرك بحث مثل جوجل، حيث يقرأ محرك البحث الملف ويقوم بالوصول لكل صفحات موقعك بناء على المعلومات التي بهذا الملف .

 ملفات XML بصفة عامة  صممت لنقل وتخزين البيانات وهي ملفات تشبه ملفات HTML التي تظهر صفحاتك على المتصفح، ولكن الفرق بين XML و HTML انها ملفات ناقلة للمعلومات بصورة منظمة وليست مسؤولة عن ظهورها بشكل رسومي ( مثل شكل صفحة هذا المقال).
وبالتالي فإن ملفات XML تظهر نفس ذات المحتويات الخاصة بالموقع ولكن بشكل منظم لمحركات البحث.

 أقصى عدد من الروابط يمكن ان يحتويها ملف الـ sitemap الواحد 50 الف رابط ولمعرفة شكل الروابط داخل ال sitemap لموقعنا مثلا انظر الشكل التالي ، يمكن أن يكون هناك اكثر من ملف لخريطة الموقع بسبب عدم السماح الا ب 50 الف رابط في الملف الواحد فيتم التحايل وعمل اكثر من ملف

 إذا قمت بمعاينة ملف المصدر لملف XML بالضغط على كليك يمين، ثم ضغطت على View Page source

ستجد أن شكل ملف المصدر لخريطة الموقع كالتالي

لاحظ انه بسبب ان الحد الاقصى للروابط التي يمكن أن توجد في ملف خريطة الموقع الواحد لا يمكن أن تتعدى خمسين الف رابط فيتم تقسيم خريطة الموقع على عدة ملفات انظر الشكل التالي كمثال على تقسيم الملفات في موقعنا


شرح ملف robots.txt

حتى يتم فهرسة صفحات موقعك من قبل محرك البحث، فإنه يتم إرسال عناكب ( bot أو robot أو spider ) للوصول إلى المواقع لمعرفة محتواها وفهرستها في قواعد بياناتها لتظهر لنا عند البحث في المحرك عن أي موضوع .

يساعد ملف robots.txt لعمل هذه المهمة، حيث يستخدم للإشارة إلى محركات البحث بالصفحات التي يجب الزحف لها (crawl) والصفحات التي لا تحتاج إلى فهرستها بمحرك البحث، بمعنى اخر ماهي الصفحات المسموح لجوجل بعمل فهرسة لها والممنوع عمل فهرسة لها.

يمتلك كل محرك بحث العناكب الخاصة به، فموقع جوجل له العناكب الخاصة به ومحرك Bing له العناكب الخاصة به، ونفس الأمر لأدوات التحليل والفهرسة (Alexa مثلًا) يمتلك ايضا عناكب خاصة به.

في بعض الأحيان قد تحتاج إلى حجب عناكب الزحف والفهرسة لبعض المواقع لأجل زيادة أمان موقعك من تحليله لدى المنافسين، أو لعدم الوصول لبعض الصفحات التي لا تريد فهرستها في محرك البحث.

 يتم كتابة اكواد خاصة داخل ملف robots.txt كالمثال التالي وهو كود يمنع أي عملية زحف للموقع وفهرسة ما به

#Code to not allow any search engines!
User-agent: *
Disallow: /

لإيقاف الزحف عن مجلد معين يكتب الكود التالي

# Blocks robots from specific folder / directory
User-agent: *
Disallow: /wp-includes/

كيفية إنشاء sitemap لموقعك

إذا كان موقعك يعتمد على الووردبريس، فتستطيع إنشاء Sitemap بسهولة من خلال بعض الإضافات مثل Google XML Sitemaps أو اضافة SEO by yoast .
سنشرح هذه المهمة من خلال إضافة yoast التي تستخدمها غالبًا لتحسين سيو موقعك، فيمكنك بنفس الإضافة عمل خريطة للموقع بأسلوب سهل. فبعد تنصيب وتفعيل الإضافة على موقعك، ستذهب إلى القائمة الفرعية والذهاب إلى تبويبة الإضافة، ثم اختيار عام كالتالي 

سيظهر لك عدة تبويبات نختار منها التبويب مميزات كالشكل التالي

يظهر لك عدة أزرار قم باختيار تشغيل خرائط الموقع sitemap كالتالي

لمعرفة ماهي خرائط الموقع التي تم إنشاؤها اضغط علامة السؤال بجانب خرائط الموقع

يظهر لك رابط لرؤية خرائط الموقع كاملة

اضغط الرابط تظهر لك الملفات كاملة على متصفحك

وبهذا تكون قد أنشأت ملف Sitemap لموقعك بسهولة


كيفية إنشاء ملف robots.txt لموقعك 

كما تحدثنا عن أهمية هذا الملف واستخداماته، فيمكنك أيضًا إنشاء الملف بالإعتماد على إضافة Virtual Robots.txt أو إضافة SEO by yoast و سنشرح لك الطريقة أيضًا باستخدام إضافة yoast فبعد تفعيل الإضافة، اذهب الى القائمة الفرعية واختا أدوات كما بالشكل التالي

يظهر لك الشاشة التالية وتحتوي على محرر الملف قم بالضغط عليه.

الان قم بالضغط على زر انشاء ملف robots.txt 

يظهر لك المحرر ومنه يمكنك اضافة الاكواد التي تريد ثم حفظ الملف

ملحوظة: لا تستخدم أكثر من إضافة تقوم بتفعيل XML site map لموقعك، لأنه قد يحدث تعارض بين هذه الإضافات، أو يكون لموقعك أكثر من خريطة مما يربك محركات البحث في فهم موقعك.


ربط خريطة الموقع بجوجل

لارشفة الموقع بالطريقة الصحيحة يتم اضافة الموقع من خلال ادوات مشرفي المواقع (google search console) بطريقة سهلة.
اذهب إلى Google Search Console ثم ستظهر لك شاشة الترحيب، ومنها يمكنك الضغط على البدء الآن

تظهر لك أدوات مشرفي المواقع جوجل كالتالي قم بعمل اضافة لموقعك حتى تتمكن من ربطه مع خريطة الموقع

تظهر لك شاشة ربط النطاق (اسم موقعك بالكامل) قم بادخال اسم الموقع ثم اضغط متابعة

من الشريط الجانبي اختار ملفات sitemap كالتالي

ستظهر لك شاشة ادخال اسم الخريطة وإرسالها لجوجل حتى يتم الربط

يستطيع الان جوجل الزحف الى موقعك ومعرفة كل الصفحات التي يجب عليه ارشفتها (تذكر أنه عندما تقوم باضافة صفحة جديدة مثل مقال جديد أو منتج جديد يجب عليك ادخالها يدويا من Google Search Console لسرعة أرشفته وعدم انتظار معرفة عناكب جوجل لما هو جديد من اضافه ).


الأسئلة الشائعة

هل يمكن عمل ملف sitemap يدويا ؟
يمكن عمل ذلك ولكن هذا سيأخذ منك وقتًا ومجهودًا أكبر حسب حجم موقعك، في حال إعتمادك على الووردبريس يفضّل استخدام الإضافات الجاهزة كما أعطينا بعض الأمثلة (Google xml sitemap أو Yoast)، لكن

أين يمكن وضع ملف robots.txt ؟
الملف يتم وضعهداخل المجلد الرئيسي public_html الموجود على الخادم (يتم ذلك من خلال الذهاب الى لوحة تحكم الموقع cpanel ثم الى مدير File Manager ثم رفع الملف داخل المجلد public_html). أما في حالة استخدام إحدى الإضافات فيتم إضافتها تلقائيًا في المكان المذكور.

هل الملف robots.txt يمنع وصول أي أحد للملفات والمجلدات ؟
ا هو فقط يمنع الارشفة ولمنع الوصول لاي ملف او مجلد يستخدم ملف آخر يسمى .htaccess