الجزء الثاني من الدرس الثالث: وظيفة و طريقة إنشاء و تركيب ملف الـ Robots و خريطة الموقع

يبقى كده انت عملت ايه؟؟ ... كده انت منعت جميع روبوتات البحث من الدخول لموقعك و أرشفته زي ما شفنا في أول سطرين ... ماعدا جوجل اللي هيدخل جميع الصفحات و يأرشفها ماعدا المجلدين اللي انت حددتهم cgi-bin و privatedir ... طيب لو مسحنا أمرين الـ Disallow بتوع Googlebot و كتبنا Allow – نقطتين – Slash يبقى كده انت بتسمح لروبوت بحث جوجل بس بدخول موقعك و بتمنع أي روبوت بحث غيره ... طيب لو عاوزين نمنع محركات البحث من أرشفة أنواع معينة من الملفات زي ملفات الفلاش مثلاً هنكتب الأمر ده Disallow – نقطتين – Slash – نجمة – نقطة – swf – علامة الـ Dollar Sign ... طيب لو كتبنا الأمر بالشكل ده ... Disallow – نقطتين – Slash – dir – Slash و الأمر اللي بعده Allow – نقطتين – Slash – dir – Slash – نجمة – نقطة – html – علامة الـ Dollar Sign يبقى كدة احنا هنمنع جميع محركات البحث من الدخول لمجلد dir و أرشفة أي ملف جواه ماعدا الملفات ذات الامتداد html ... هاه ... الموضوع بأه أسهل شوية ؟ ... آخر مثال و اللي بيتكتب مرة واحدة بس في ملف الـ Robots هوه الـ Sitemap و بيكون بالطريقة دي Sitemap – نقطتين و بعدين هنكتب الرابط اللي بيؤدي لخريطة موقعك أو الـ Sitemap الخاصة بموقعك و اللي هنتكلم عنها دلوقتي كلام كتير.

و بكده نقدر نمنع و نسمح لمحركات البحث كلها أو بعضها بالدخول لمواقعنا أو أجزاء منها في صورة مجلدات معينة أو صفحات محددة بعينها زي ما شفنا في الأمثلة اللي فاتت بالإضافة لتحديد مكان الـ Sitemap الخاصة بالموقع ... و طبعاً بعد ما نكوّن ملف الـ Robots لازم يكون اسمه بالظبط Robots.txt بنرفعه على المجلد الرئيسي للموقع و مش جوه أي مجلد فرعي تاني ... و يكون الرابط بتاعه كده http://www.yoursite.com/robots.txt مع تغيير yoursite.com طبعاً لدومين موقعك ... عشان هوه ده المكان المتفق عليه مع محركات البحث و اللي بتفتحه و تقرا تعليمات ملف الـ Robots منه الأول قبل ما تبدأ في أرشفة الموقع.

و بكده نكون خلصنا موضوع أوسمة الميتا و عرفنا الحد الأدنى من اللي لازم نعرفه عشان يبقى موقعنا قوي و متماسك و مقبول بالنسبة لمحركات البحث ... تعالو بينا بأه نتكلم عن موضوع جديد أهميته ماتقلش عن أهمية أوسمة الميتا و هوه الـ Sitemap أو خريطة الموقع ... الـ Sitemap دي ببساطة عبارة عن ملف بيضم روابط جميع صفحات موقعك ... و الملف ده له أنواع على حسب محرك البحث و هنركز على أهم نوعين... النوع الأول بسيط ... عبارة عن ملف تكست عادي اسمه urllist.txt و ده مفضل من Yahoo ... و النوع التاني اللي بيفضله Google هوه ملف من نوع xml و أسماء الملفات هنا مش مشكلة و هنعرف ليه في آخر كلامنا عن الـ Sitemap ... طيب ايه أهمية ملفات الـ Sitemap دي اللي بتضم روابط جميع صفحات موقعك ... الإجابة ... توفير وقت كبير على محرك البحث لأرشفة موقعك ... يعني بدل ما محرك البحث يدخل صفحة .. صفحة و يأرشفها و يدور على الروابط الداخلية اللي فيها عشان يكمل أرشفة الموقع زي ما شرحنا ... لأ انت بتقدملة جميع الروابط اللي هوه هيحتاجها عشان يأرشف موقعك ... في ملف واحد و ده بيوفر عليك وقت مش بسيط ممكن يوصل لشهور عشان موقعك يتأرشف بجميع صفحاته على محركات البحث ... بالإضافة لإنك بتقدمله روابط لصفحات يأرشفها ممكن مايكونش ليها روابط في صفحات تانية و مكانش هيقدر يوصلها لولا ملف الـ Sitemap اللي انت جهزتهوله.

طيب احنا عشان نكون ملف Sitemap هل هندخل على صفحات الموقع كلها و نجمع روابطها في ملف عشان نقدمها لمحرك البحث؟ ... طب افرض الموقع صفحاته أكتر من ألف أو ألفين صفحة أو أكتر ... الموضوع هيكون صعب جداً ... لا لا ... كل حاجة و ليها حل ... احنا هنستخدم في الموضوع ده برنامج بسيط جداً و مجاني اسمه GSiteCrawler ... اعمل بحث عنه في جوجل هتلاقيه مجاني على موقعه الرسمي و نزله و ثبته على جهازك ... و يللا بينا نفتح البرنامج و نشوف هنصمم Sitemap مع بعض ازاي.

نفتح برنامج GSiteCrawler ... نضغط على Add new project ... نضغط Next ... نكتب عنوان الموقع الرئيسي هنا و ليكن مثلاً ... http://www.your-elegance.com/ و نسمي الـ Project بتاعنا أي اسم و نضغط Next ... البرنامج دلوقتي بيختبر الاتصال بالموقع ... الصفحة دي فيها بعض الاختيارات هنعدي عليهم بسرعة كده ... أول واحد بيقولك هل الروابط و أسماء الملفات Case Sensitive يعني حساسة لحالة الأحرف الانجليزية الكبيرة و الصغيرة؟ ... لأن سيرفر اللينكس مثلاً لو رفعت عليه ملفين ليهم نفس الاسم لكن حالة الأحرف في كل واحد غير التاني بيعتبرهم ملفين مختلفين تماماً ... التاني بيقولك انه هيفلتر المتغيرات اللي بتكون في آخر الروابط زي الـ id أو الـ phpsessid و اللي بتكون في المواقع المتبرمجة بلغة برمجة web زي الـ php و .NET ... المثال المعروف للنوع ده من المواقع هو منتديات الفي بي و أخواتها ... طبعاً في حالة المواقع دي بنشيل العلامة من الاختيار ده ... و تحت هنا كاتبلك أنواع الملفات اللي هيضم روابط ليها من موقعك لخريطة الموقع ... زي ملفات الصور و الفيديو و المستندات الـ pdf و الـ doc و غيرهم ... طبعاً ده اختياري حسب رغبتك انت ... نضغط Next ... هنا بيخيرك لو انت عاوز ترفع الملفات بالـ ftp على سيرفرك بعد تكوينهم من نفس البرنامج ... انا شخصياً بفضل رفع الملف في خطوة تانية منفصلة بعد ما الملفات تتنشئ ... نضغط Next ... هنا اختيارات تانية ... الأول بيسألك يقرا ملف الـ Robots الموجود في الموقع قبل ما يعمل الـ Sitemap و للا لأ ... التاني بيسألك يفحص ملفات خطأ الـ 404 ... الصفحة المطلوبة غير موجودة الخاصة بالموقع ... التالت هل يدور على الصفحات المتأرشفة فعلاً في جوجل ... و آخر اختيار بيقولك انه هيبدأ في تكوين ملفات الـ Sitemap في الخطوة اللي جاية ... طبعاً احنا هنا هنسيب كل الاختيارات زي ما هيا و هنشيل العلامة الموجودة على تالت اختيار عشان نكون Sitemap نضيفة من غير ما نستخدم الصفحات الموجودة في جوجل ... لأن ممكن جوجل يكون مخزن عنده صفحات انت مسحتها أو عدلت روابطها ... و نضغط Finish.

هيبدأ البرنامج في فحص موقعك و تجميع الروابط عشان يكون بعد كده الـ Sitemap ... نسيبه لما يخلص خالص و يجيبلك الرسالة دي ... بعد كده هنضغط على Generate و في المربع ده نضغط Generate files ... نفتح الفولدر اللي ملفات الـ Sitemap اتخزنت فيه هنلاقيه بالشكل ده ... البرنامج بيعمل أكتر من نوع لملفات الـ Sitemap عشان يقدمها لأكبرعدد ممكن من محركات البحث ... نفتح برنامج الـ ftp اللي بنرفع بيه ملفاتنا على سيرفر الموقع و نعمل مجلد جديد باسم Sitemaps و نرفع جواه الملفات دي كلها ... و بكده نكون عملنا ملفات الـ Sitemap لموقعنا لكن فاضلنا خطوة أخيرة و هيا اننا نوجه روبوتات البحث للملفات دي و احنا قلنا قبل كده اننا بنكتب أمر في ملف الـ Robots عشان نوضح مسار أو رابط الملفات دي لكن ده مش كفاية.

هنتكلم في الفيديو اللي جاي ان شاء الله عن الطريقة المثالية اللي هنخلي بيها محركات البحث تدخل و تقرا الـ Sitemap بتاعتنا ... و هنتعرف على أدوات جديدة بتقدمها محركات البحث نفسها لأصحاب المواقع و ازاي نستخدمها ... و هنتكلم كمان عن موضوع جديد كنت اتكلمت عنه في عجالة و انا بشرح ازاي عناكب البحث بتأرشف المواقع ... و هوه الروابط الخارجية و دورها و أهميتها الكبيرة في أرشفة المواقع و اللي بنسميها الـ Backlinks ده موضوع مهم للغاية يا جماعة أكتر مما تتخيلوا.

و بكده الدرس ده انتهى و اشوفكم على خير في الدرس اللي جاي ان شاء الله ... و السلام عليكم و رحمة الله و بركاته.