الجزء الثاني من الدرس الثالث: وظيفة و طريقة إنشاء و تركيب ملف الـ Robots و خريطة الموقع

يبقى كده انت عملت ايه؟؟ ... كده انت منعت جميع روبوتات البحث من الدخول لموقعك و أرشفته زي ما شفنا في أول سطرين ... ماعدا جوجل اللي هيدخل جميع الصفحات و يأرشفها ماعدا المجلدين اللي انت حددتهم cgi-bin و privatedir ... طيب لو مسحنا أمرين الـ Disallow بتوع Googlebot و كتبنا Allow – نقطتين – Slash يبقى كده انت بتسمح لروبوت بحث جوجل بس بدخول موقعك و بتمنع أي روبوت بحث غيره ... طيب لو عاوزين نمنع محركات البحث من أرشفة أنواع معينة من الملفات زي ملفات الفلاش مثلاً هنكتب الأمر ده Disallow – نقطتين – Slash – نجمة – نقطة – swf – علامة الـ Dollar Sign ... طيب لو كتبنا الأمر بالشكل ده ... Disallow – نقطتين – Slash – dir – Slash و الأمر اللي بعده Allow – نقطتين – Slash – dir – Slash – نجمة – نقطة – html – علامة الـ Dollar Sign يبقى كدة احنا هنمنع جميع محركات البحث من الدخول لمجلد dir و أرشفة أي ملف جواه ماعدا الملفات ذات الامتداد html ... هاه ... الموضوع بأه أسهل شوية ؟ ... آخر مثال و اللي بيتكتب مرة واحدة بس في ملف الـ Robots هوه الـ Sitemap و بيكون بالطريقة دي Sitemap – نقطتين و بعدين هنكتب الرابط اللي بيؤدي لخريطة موقعك أو الـ Sitemap الخاصة بموقعك و اللي هنتكلم عنها دلوقتي كلام كتير.

و بكده نقدر نمنع و نسمح لمحركات البحث كلها أو بعضها بالدخول لمواقعنا أو أجزاء منها في صورة مجلدات معينة أو صفحات محددة بعينها زي ما شفنا في الأمثلة اللي فاتت بالإضافة لتحديد مكان الـ Sitemap الخاصة بالموقع ... و طبعاً بعد ما نكوّن ملف الـ Robots لازم يكون اسمه بالظبط Robots.txt بنرفعه على المجلد الرئيسي للموقع و مش جوه أي مجلد فرعي تاني ... و يكون الرابط بتاعه كده http://www.yoursite.com/robots.txt مع تغيير yoursite.com طبعاً لدومين موقعك ... عشان هوه ده المكان المتفق عليه مع محركات البحث و اللي بتفتحه و تقرا تعليمات ملف الـ Robots منه الأول قبل ما تبدأ في أرشفة الموقع.

و بكده نكون خلصنا موضوع أوسمة الميتا و عرفنا الحد الأدنى من اللي لازم نعرفه عشان يبقى موقعنا قوي و متماسك و مقبول بالنسبة لمحركات البحث ... تعالو بينا بأه نتكلم عن موضوع جديد أهميته ماتقلش عن أهمية أوسمة الميتا و هوه الـ Sitemap أو خريطة الموقع ... الـ Sitemap دي ببساطة عبارة عن ملف بيضم روابط جميع صفحات موقعك ... و الملف ده له أنواع على حسب محرك البحث و هنركز على أهم نوعين... النوع الأول بسيط ... عبارة عن ملف تكست عادي اسمه urllist.txt و ده مفضل من Yahoo ... و النوع التاني اللي بيفضله Google هوه ملف من نوع xml و أسماء الملفات هنا مش مشكلة و هنعرف ليه في آخر كلامنا عن الـ Sitemap ... طيب ايه أهمية ملفات الـ Sitemap دي اللي بتضم روابط جميع صفحات موقعك ... الإجابة ... توفير وقت كبير على محرك البحث لأرشفة موقعك ... يعني بدل ما محرك البحث يدخل صفحة .. صفحة و يأرشفها و يدور على الروابط الداخلية اللي فيها عشان يكمل أرشفة الموقع زي ما شرحنا ... لأ انت بتقدملة جميع الروابط اللي هوه هيحتاجها عشان يأرشف موقعك ... في ملف واحد و ده بيوفر عليك وقت مش بسيط ممكن يوصل لشهور عشان موقعك يتأرشف بجميع صفحاته على محركات البحث ... بالإضافة لإنك بتقدمله روابط لصفحات يأرشفها ممكن مايكونش ليها روابط في صفحات تانية و مكانش هيقدر يوصلها لولا ملف الـ Sitemap اللي انت جهزتهوله.

طيب احنا عشان نكون ملف Sitemap هل هندخل على صفحات الموقع كلها و نجمع روابطها في ملف عشان نقدمها لمحرك البحث؟ ... طب افرض الموقع صفحاته أكتر من ألف أو ألفين صفحة أو أكتر ... الموضوع هيكون صعب جداً ... لا لا ... كل حاجة و ليها حل ... احنا هنستخدم في الموضوع ده برنامج بسيط جداً و مجاني اسمه GSiteCrawler ... اعمل بحث عنه في جوجل هتلاقيه مجاني على موقعه الرسمي و نزله و ثبته على جهازك ... و يللا بينا نفتح البرنامج و نشوف هنصمم Sitemap مع بعض ازاي.

نفتح برنامج GSiteCrawler ... نضغط على Add new project ... نضغط Next ... نكتب عنوان الموقع الرئيسي هنا و ليكن مثلاً ... http://www.your-elegance.com/ و نسمي الـ Project بتاعنا أي اسم و نضغط Next ... البرنامج دلوقتي بيختبر الاتصال بالموقع ... الصفحة دي فيها بعض الاختيارات هنعدي عليهم بسرعة كده ... أول واحد بيقولك هل الروابط و أسماء الملفات Case Sensitive يعني حساسة لحالة الأحرف الانجليزية الكبيرة و الصغيرة؟ ... لأن سيرفر اللينكس مثلاً لو رفعت عليه ملفين ليهم نفس الاسم لكن حالة الأحرف في كل واحد غير التاني بيعتبرهم ملفين مختلفين تماماً ... التاني بيقولك انه هيفلتر المتغيرات اللي بتكون في آخر الروابط زي الـ id أو الـ phpsessid و اللي بتكون في المواقع المتبرمجة بلغة برمجة web زي الـ php و .NET ... المثال المعروف للنوع ده من المواقع هو منتديات الفي بي و أخواتها ... طبعاً في حالة المواقع دي بنشيل العلامة من الاختيار ده ... و تحت هنا كاتبلك أنواع الملفات اللي هيضم روابط ليها من موقعك لخريطة الموقع ... زي ملفات الصور و الفيديو و المستندات الـ pdf و الـ doc و غيرهم ... طبعاً ده اختياري حسب رغبتك انت ... نضغط Next ... هنا بيخيرك لو انت عاوز ترفع الملفات بالـ ftp على سيرفرك بعد تكوينهم من نفس البرنامج ... انا شخصياً بفضل رفع الملف في خطوة تانية منفصلة بعد ما الملفات تتنشئ ... نضغط Next ... هنا اختيارات تانية ... الأول بيسألك يقرا ملف الـ Robots الموجود في الموقع قبل ما يعمل الـ Sitemap و للا لأ ... التاني بيسألك يفحص ملفات خطأ الـ 404 ... الصفحة المطلوبة غير موجودة الخاصة بالموقع ... التالت هل يدور على الصفحات المتأرشفة فعلاً في جوجل ... و آخر اختيار بيقولك انه هيبدأ في تكوين ملفات الـ Sitemap في الخطوة اللي جاية ... طبعاً احنا هنا هنسيب كل الاختيارات زي ما هيا و هنشيل العلامة الموجودة على تالت اختيار عشان نكون Sitemap نضيفة من غير ما نستخدم الصفحات الموجودة في جوجل ... لأن ممكن جوجل يكون مخزن عنده صفحات انت مسحتها أو عدلت روابطها ... و نضغط Finish.

هيبدأ البرنامج في فحص موقعك و تجميع الروابط عشان يكون بعد كده الـ Sitemap ... نسيبه لما يخلص خالص و يجيبلك الرسالة دي ... بعد كده هنضغط على Generate و في المربع ده نضغط Generate files ... نفتح الفولدر اللي ملفات الـ Sitemap اتخزنت فيه هنلاقيه بالشكل ده ... البرنامج بيعمل أكتر من نوع لملفات الـ Sitemap عشان يقدمها لأكبرعدد ممكن من محركات البحث ... نفتح برنامج الـ ftp اللي بنرفع بيه ملفاتنا على سيرفر الموقع و نعمل مجلد جديد باسم Sitemaps و نرفع جواه الملفات دي كلها ... و بكده نكون عملنا ملفات الـ Sitemap لموقعنا لكن فاضلنا خطوة أخيرة و هيا اننا نوجه روبوتات البحث للملفات دي و احنا قلنا قبل كده اننا بنكتب أمر في ملف الـ Robots عشان نوضح مسار أو رابط الملفات دي لكن ده مش كفاية.

هنتكلم في الفيديو اللي جاي ان شاء الله عن الطريقة المثالية اللي هنخلي بيها محركات البحث تدخل و تقرا الـ Sitemap بتاعتنا ... و هنتعرف على أدوات جديدة بتقدمها محركات البحث نفسها لأصحاب المواقع و ازاي نستخدمها ... و هنتكلم كمان عن موضوع جديد كنت اتكلمت عنه في عجالة و انا بشرح ازاي عناكب البحث بتأرشف المواقع ... و هوه الروابط الخارجية و دورها و أهميتها الكبيرة في أرشفة المواقع و اللي بنسميها الـ Backlinks ده موضوع مهم للغاية يا جماعة أكتر مما تتخيلوا.

و بكده الدرس ده انتهى و اشوفكم على خير في الدرس اللي جاي ان شاء الله ... و السلام عليكم و رحمة الله و بركاته.

الجزء الأول من الدرس الثالث: وظيفة و طريقة إنشاء و تركيب ملف الـ Robots و خريطة الموقع

بسم الله الرحمن الرحيم

أهلاً بيكو في الفيديو التالت من دورة السيو المتقدمة ... قبل ما نكمل كلامنا عن أوسمة الميتا في الدورة بتاعتنا ... عاوز بس أطلب طلب صغير من أي حد بيشاهد الفيديو ده ... الفيديو ده هوه الفيديو التالت في سلسلة الفيديوهات التعليمية اللي بتتكلم عن الـ SEO ... لو كنت استفدت من المعلومات اللي اتشرحت لغاية دلوقتي في الدورة عاوز منك حاجة مهمة جداً بالنسبالي ... عاوزك تنشر الفيديو ده و الفيديوهات التانية في الدورة لأصحابك و أصدقاءك ... يعني لو انت بتشوف الفيديو ده على اليوتيوب أو الفيس بوك أو غيره ... أتمنى انك تستخدم خاصية النشر الموجودة على الموقع اللي انت بتشاهد الفيديو ده من خلاله و تبعته لأكبر عدد ممكن من أصحابك ... و بكده أكون شاكر ليك جداً.

نكمل كلامنا ... اتكلمنا في الدرس اللي فات عن أوسمة الـ Title و الـ Description و الـ Keywords و عرفنا ازاي بنكونهم بطريقة مظبوطة متوافقة مع محركات البحث ... و عملنا تحليل ليهم قبل التركيب و بعد التركيب عشان نعرف احنا ماشيين صح و للا غلط ... في الدرس ده ان شاء الله هنتكلم على آخر أهم أوسمة الميتا و هوه الـ Robots و هنعرف هوه بيتكون من ايه و ازاي نكتبه و نركبه و أهميته بالنسبة للموقع و محركات البحث ... و هنتكلم عن موضوع جديد مختلف عن أوسمة الميتا لكن له علاقة قوية بيها و أهمية كبيرة عند محركات البحث و بيوفر عليك وقت و مجهود كبير جداً و هنعرف ازاي.

كلمة Robots بتشير إلى روبوتات البحث أو عناكب البحث ... و عشان نفهم معنى كلمة عناكب البحث كويس لازم نعرف ازاي محرك البحث بيأرشف أي موقع بيزوره ... أولاً لازم يكون فيه سبب يعرّف محرك البحث ان موقعك موجود أساساً على شبكة الانترنت ... لأن الموقع على شبكة الانترنت عامل زي نقطة أو منطقة صغيرة و محدودة جداً في صحرة واسعة جداً لو محدش دلك على مكان المنطقة دي بالظبط مش هتعرف توصلها ... و الموضوع ده مهمة جداً جداً و هيكون موضوع درسنا الجاي ان شاء الله ... خلونا منبعدش عن موضوعنا ... قلنا محرك البحث هيوصل لصفحة من صفحات موقعك بطريقة ما ... و هيبدأ يدور في الـ Meta Tags الموجودة فيها و يخزنها مع رابط الصفحة دي على الداتا بيز بتاعته ... و بعد ما يخلص ... هيدور في نفس الصفحة على الروابط الموجودة فيها ... و الروابط في أي صفحة نوعين ... روابط داخلية لصفحات تانية في نفس الموقع ... و روابط خارجية لمواقع تانية ... طبعاً محرك البحث بيهتم بالنوعين جداً ... لكن عشان يكمل أرشفة موقعك بيكمل في اتجاه الروابط الداخلية ... و بيدخل على كل رابط منها و كل رابط هيوصّله لصفحة تانية من صفحات الموقع و كل صفحة ليها بيانات و أوسمة ميتا مختلفة ... بيخزن بيانات كل صفحة وصلها مع الرابط بتاعها على الداتا بيز و بيكمل على الروابط اللي في كل صفحة من الصفحات اليي تم أرشفتها هكذا ... ها ... حاسس بإيه دلوقتي ... حاسس انك قدام عنكبوت بيغزل بيته و بيربط كل خيط في التاني و بيكون شبكة مترابطة ... من هنا سميناها عناكب البحث لأنه مش عنكبوت واحد... و إلا مكانش هيلاحق على الكم الهائل من المواقع الموجودة على شبكة الانترنت ... من الكلام اللي احنا قلناه دلوقتي هنسأل نفسنا ... طب افرض فيه صفحة من صفحات الموقع ملهاش أي رابط في الصفحات التانية ... طبعاً روبوت البحث مش هيعرف انها موجودة أصلاً و مش هياخد باله منها و هتبقى كأنها صفحة ميته معزولة ... عشان كده الموقع القوي لازم يكون متماسك و كل صفحة فيه بتؤدي للتانية من خلال الروابط.

كده فهمنا يعني ايه روبوتات أو عناكب البحث ... نرجع نكمل كلامنا عن وسم الـ Robots ... زي ما قلنا في تعريفه في الدرس الأول هوه وسم بيدي لعناكب البحث بعض التعليمات عشان موقعك يتأرشف بالطريقة اللي انت عاوزها ... طيب الطريقة دي يعني ايه ... يعني لو انت مثلاً مش عاوز صفحة معينة أو مجموعة من الصفحات تتأرشف ... أو فيه محرك بحث معين مش عاوزه يأرشف موقعك خالص ... أو ممكن كمان تعرف محركات البحث مكان خريطة الموقع بتاعك اللي هنتكلم عنها النهاردة ان شاء الله.

الـ Content الخاص بوسم الـ Robots له قيم محدده و مش كتير و كل قيمة ليها وظيفة معينة و ليها قيمة عكسية بتمنع الوظيفة دي حاجة كدة زي الأمر و الأمر المضاد و من أهم القيم دي الـ INDEX و الـ FOLLOW و الـ ARCHIVE... و من مميزات وسم الـ Robots ان كل القيم دي بتتكتب مع بعض في نفس السطر داخل قوسين الـ Content و بنفصل بين كل قيمة و التانية بـ Coma أو فاصلة ... نمسك كل قيمة و نعرف معناها ... أول واحدة INDEX و معناها أمر لروبوت البحث بأرشفة الصفحة و تخزين بياناتها و عرضها في نتايج البحث ... و ده هوه السلوك الافتراضي الطبيعي اللي بتقوم بيه روبوتات البحث حتى لو القيمة دي مش موجودة في وسم الـ Robots و القيمة المضادة ليها NOINDEX و ده أمر مباشر لروبوت البحث انه ميدخلش يأرشف الصفحة اللي مكتوب فيها القيمة دي ... تاني قيمة FOLLOW و معناها أمر لروبوت البحث بتتبع الروابط الموجودة في الصفحة ... و برده هوه ده السلوك الافتراضي لروبوتات البحث و القيمة اللي بتمنع الروبوتات من تتبع الروابط هيه NOFOLLOW ... تالت قيمة ARCHIVE و معناها أمر لروبوت البحث بأرشفة الصفحة بس من غير ما تظهر في نتايج البحث ... و القيمة المضادة ليها NOARCHIVE ... و آخر قيمة هيه ALL و دي بتوجه عناكب البحث لتنفيذ جميع القيم الافتراضية التانية اللي قلناها ... يبقى خلينا نتفق على حاجة ... روبوتات البحث دايماً بتوجه سلوكها لمصلحة الموقع و أرشفته بالطريقة الكاملة و السليمة إلا إذا أخدت تعليمات بغير كده ... و طبعاً التعليمات دي بتاخدها من الـ Content بتاع وسم الـ Robots ... أو من خلال ملف الـ Robots.txt.

طيب ... ايه بأه ملف الـ Robots.txt و بيتكون من ايه و ايه وظيفته و ازاي نركبه على الموقع؟ ... ببساطة شديدة الملف ده عبارة عن ملف تكست عادي جداً لكن لازم اسمه يكون Robots بيكون فيه عدد بسيط جداً من السطور اللي بتلخص مجموعة من التعليمات الموجهة لروبوتات البحث ... هوه بيغني عن وسم الـ Robots لكن لازم الوسم يكون موجود في الصفحات لأنه من العوامل اللي بتساعد على رفع نظرة محرك البحث لموقعك ... و بيدل على انك مهتم بأرشفة الموقع و بتخاطب محركات البحث من خلاله ... و الملف ده مكانه على الموقع في المجلد الرئيسي يعني مش جوه أي محلد فرعي تاني ... الأوامر في ملف الـ Robots.txt نوعين اتنين بس Allow و Disallow و الأمر بيتكتب بطريقة معينة تعالو بينا نشوف ازاي.

هندي شوية أمثلة لأوامر ملف الـ Robots كل واحد هيفهم من خلالها ان شاء الله أنسب الأوامر اللي هيكتبها في الموقع بتاعه ... نفتح ملف تكست فاضي ... و نكتب User-agent – نقطتين – مسافة – نجمة و نضغط Enter و نكتب Disallow – نقطتين – مسافة – Slash ... الـ User-agent بيعبر عن روبوت البحث اللي انت عاوز تديله أمر ... و رمز النجمة ده معناه انك بتدي الأمر لجميع روبوتات البحث اللي هتدخل موقعك ... و Disallow ده أمر منع دخول الموقع و أرشفته ... يعني بالسطرين المكتوبين دول انت اديت أمر لجميع روبوتات البحث بعدم الدخول لموقعك و أرشفته ... طبعاً احنا مش هنرفع ملف الـ Robots على الحالة دي ... ده بس مثال ... طيب لو كتبنا Googlebot-Image بدل رمز النجمة ... كده يبقى انت بتمنع روبوت جوجل الخاص بالصور من دخول موقعك و أرشفة الصور الموجودة فيه ... يعني أي صورة على موقعك مش هتظهر أبداً في نتايج بحث جوجل و ده مفيد في الحفاظ على الـ Bandwidth بتاع موقعك ده لو موقعك مش موقع صور أصلاً ... طيب لو رجعنا النجمة و كتبنا 3 أوامر Disallow ... في الأول هنضيف /cgi-bin/ و في التاني هنضيف /privatedir/ و في التالت هنضيف /tutorials/blank.htm ... كده انت منعت جميع روبوتات البحث من الدخول على مجلد cgi-bin و privatedir و صفحة tutorials/blank.htm و أرشفتهم ... طيب لو رجعنا للمثال الأول اللي بنمنع فيه جميع عناكب البحث و زودنا تحته User-agent – نقطتين – مسافة – Googlebot نضغط Enter و نكتب أمرين Disallow الأول هنضيفله /cgi-bin/ و التاني هنضيفله /privatedir/ يبقى كده انت عملت ايه؟؟ ... كده انت منعت جميع روبوتات البحث من الدخول لموقعك و أرشفته زي ما شفنا في أول سطرين ... ماعدا جوجل اللي هيدخل جميع الصفحات و يأرشفها ماعدا المجلدين اللي انت حددتهم cgi-bin و privatedir ...