Iran Developers Network

با استفاده از تکنیک هایی که تاکنون مطرح شده است تمام سعی ما براین بود که هر چه بیشتر از صفحات سایت خود را به بایگانی موتورهای جستجوگر وارد کنیم. در این راه هر بار که متوجه ورود صفحه دیگری از سایت به بایگانی یک موتور جستجوگر می شدیم، هیجان زده احتمالا از خوشحالی فریاد می زدیم! (من که این گونه هستم، شما را نمی دانم!).
اما این تنها روی اول سکه است. روی دیگر سکه این است که گاهی دوست نداریم موتورهای جستجوگر بعضی از صفحات یک سایت را بخواند و سعی می کنیم آنها را از دسترسی به محتوای بعضی از صفحات دور نگه داریم. مثلا می توانید صفحات زیر ساخت سایت خود را از دسترسی موتورهای جستجوگر دور نگه دارید.

دو پروتکل عمده برای منع کردن موتورهای جستجوگر از بایگانی منابع وب وجود دارد:

• پروتکل robots
• پروتکل robots meta tag

بیشتر موتورهای جستجوگر تمایل به پشتیبانی آنها را دارند اما هیچ کدام مجبور به رعایت آنها نیستند. در واقع پروتکل های یاد شده فقط مواردی را به موتورهای جستجوگر توصیه می کنند و رعایت و یا عدم رعایت این توصیه ها به موتورهای جستجوگر بستگی دارد.

پروتکل robots
می توان با یک فایل متنی و بسیار ساده، میزان دسترسی موتورهای جستجوگر به محتوای سایت ها را کنترل کرد. این فایل robots.txt نام دارد و پروتکل حاکم بر آن پروتکل robots نام دارد.
موتور جستجوگر قبل از آنکه وارد سایتی شود، ابتدا فایل یاد شده را درخواست می کند و تمام محدودیت های پیش روی خود در آن سایت را می خواند. نبود این فایل در یک سایت به معنای نبودن هیچ گونه محدودیتی برای تمام اسپایدرها است (حالت پیش فرض).
موتور جستجوگر بعد از آنکه تمام فایل ها و مسیرهای ممنوع را دانست. شروع به خواندن مطالب سایت می کند و البته به محدودیت های موجود نیز احترام می گذارد (اگر یک اسپایدر مودب باشد!).
عده ای از آنها به طور کامل و صد در صد به محتوای این فایل وفادار نیستند. مثال شکارچی را به یاد آورید، آیا همه شکارچیان به تمام توصیه های زیست بانان عمل می کنند؟

نوشتن robots.txt
پروتکل روبوتز تنها دو دستور دارد که به کمک آنها محدودیت های زیر مشخص می شوند:

• کدام اسپایدرها محدود شوند.
• کدام مسیرها محدود شوند.

user-agent:
با این دستور، روبوت ها مشخص می شوند. روبوت (اسپایدر) هر موتور جستجوگر نام مشخصی دارد و برای محدود کردن موتورهای جستجوگر کافی است که نام روبوت های مورد نظر را به همراه این دستور به کار گیریم. ای دستور به صورت زیر به کار می رود:

user-agent: robot name
به عنوان مثال وقتی که روبوت مورد نظر مربوط به گوگل است خواهیم داشت:

user-agent:googlebot

و همین طور اگر روبوت NorthernLight مورد نظر باشد،آنگاه:

user-agent:gulliver

با هر دستور user-agent تنها می توان یک روبوت را مشخص کرد.

disallow:
با این دستور مسیرهای ممنوع مشخص می شوند که به صورت زیر به کار می رود:

disallow:/path/

و مثال هایی از آن به صورت زیر می باشند:

disallow:/sales/
disallow:/shopping_card/

با هر دستور disallow: تنها می توان یک مسیر را مشخص کرد و کابرد آن به صورت زیر اشتباه است:

disallow:/sales/,/shopping/

برای محدود کردن هر روبوت ابتدا آنرا مشخص کرده و سپس تمام مسیرهای محدود شده برای آنرا ذکر می کنیم:

user-agent: googlebot
disallow:/test/
disallow:/sales/

در مثال زیر روبوت موتور جستجوگر آلتاویستا از دسترسی به فولدرهای ۱ ، ۲ و ۳۳ ممنوع شده است:

user-agent: scooter
diallow:/1/
disallow:/2/
disallow:/33/

و با دستور زیر همه روبوت ها می توانند محتوای تمام مسیرها را بخوانند:

user-agent:*
disallow:

کاربرد * به همراه user-agent به معنای تمام روبوت ها است. در مثال زیر به تمام روبوت ها گفته می شود که خوش آمدید، اینجا خبری نیست، لطفا دور شوید (با زبان خوش!).

user-agent:*
disallow:/

کاربرد / به همراه disallow به معنای تمام مسیرها است. همچنین برای نوشتن توضیحات در فایل robots.txt از # به صورت زیر استفاده می شود:

# all robots are allowed
user-agent:*
disallow:

چند مورد از اشتباهات رایج:

User-agent:*
Disallow: slurp

جلوی disallow نمی توان نام روبوت را قرار داد. و یا

User-agent:spot
Disallow: /Jacky/
Allow: /Jill/

فقط disallow داریم و از allow در این پروتکل خبری نیست!
کاربرد توضیحات به صورت زیر اشکالی ندارد اما توصیه می شود توضیحات را در خطوط جداگانه قرار دهید:

Disallow: /cgi-bin/ #comments

شما اگر گالیور بودید و قصد سفر به سایت آدم کوچولوها را داشتید با دیدن دستورات زیر چه می کردید؟

User-agent:*
Disallow:/

User-agent:Gulliver
Disallow:

فایل robots.txt را کجا باید قرار داد؟
از مثالهای زیر کمک گرفته و فایل را در محل مناسب آن قرار دهید.

http://www.iranseo.com/robots.txt

http://www.iranseo.com:6446/robots.txt

http://iranseo.com/robots.txt

و نکات دیگر:
• حتی اگر سایت شما هیچ گونه محدودیتی ندارد توصیه می شود که این فایل را بر روی سرور خود قرار دهید. در این صورت کافیست که به صورت زیر عمل کنید:

user-agent:*
diallow:

بودن این فایل به صورت ذکر شده و نبودن آن در هر دو صورت برای موتورهای جستجوگر یک معنا دارد:

آزادی در دسترسی به محتوای سایت

اما وجود robots.txt می تواند نشان از حرفه ای بودن سایت باشد و شاید در رتبه بندی سایت هم مورد لحاظ قرار گیرد.

آزادی در پرتو یک قانون بدون محدودیت بهتر است از آزادی ناشی از بی قانونی!

• همواره یک مسیر را ممنوع کنید و نه یک فایل را.
گیریم که شما فایل rtg.html را برای گوگل به صورت زیر محدود کرده باشید:

user-agent:googlebot
diallow:/project/html-resources/rtg.html

user-agent:*
disallow:

همانطور که می دانید تنها موتورهای جستجوگر فایل robots.txt را نمی خوانند و در واقع همه کاربران با خواندن این فایل می توانند بفهمند که شما چه فایلی را محدود کرده اید و به راحتی می توانند به آن مراجعه کنند. مثلا آدرس آن می تواند آدرس زیر باشد:

http://www.your-site-name.com/project/html-resources/rtg.html

در حالیکه اگر شما یک مسیر را محدود کرده باشید کاربران چون نام فایل های موجود در آن فولدر را نمی دانند، نمی توانند سر از کار شما در بیاورند (سخت تر می توانند). کمی بعد با علت این کار بیشتر آشنا می شوید.

• تمام مسیرهای درون این فایل را با حروف کوچک انگلیسی بنویسید. وب سرورهای نصب شده بر روی سیستم های عامل یونیکس به بزرگی و کوچکی حروف در URL حساس هستند.
• هر سایت تنها می تواند یک فایل robots.txt داشته باشد.
• بعد از آنکه فایل robots.txt را بر روی سرور سایت خود قرار دادید با بررسی Server Logs سایت خود می توانید بفهمید که آیا موتورهای جستجوگر به محدودیت هایی که تعریف کرده اید وفادار بوده اند یا خیر.
اگر یک موتور جستجوگر به محتوای آن توجه نکرده باشد، می توانید با آنها مکاتبه کرده و علت را جویا شوید و از آنها بخواهید که فایل های مسیر مورد نظر را از بایگانی خود حذف کنند.
• در ابتدا و انتهای تمام مسیرهای قرار گرفته در Disallow از / استقاده کنید.

آیا با این پروتکل می توان دسترسی به صفحه اصلی را هم محدود کرد؟

بعد از آنکه فایل روبوتز مربوط به سایت خود را نوشتید می توانید صحت آنرا بررسی کنید برای این کار عبارت robots validator را در گوگل جستجو کنید و سایت مناسبی را برای این کار برگزینید.
محتوای www.bbc.co.uk/robots.txt در زیر آورده شده است.

www.bbc.co.uk/robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /cgi-perl
Disallow: /cgi-store
Disallow: /furniture
Disallow: /navigation
Disallow: /images
Disallow: /weather/broadband/
Disallow: /education/bitesize
Disallow: /education/dev
Disallow: /education/navigation
Disallow: /education/nav
Disallow: /education/ximages
Disallow: /education/images
Disallow: /worldservice/images/
Disallow: /worldservice/ssi/
Disallow: /films/gateways
Disallow: /worldservice/psims/
Disallow: /nav/
Disallow: /includes/
Disallow: /print/
Disallow: /eoltools/
Disallow: /paintingtheweather/zoom/

برای یافتن این فایل روی سایت های ایرانی، بررسی های زیادی انجام دادم اما متاسفانه سایتی که
این فایل را داشته باشد، نیافتم.

پروتکل robots meta tag
با استفاده از robots.txt توانستیم بعضی از مسیرهای سایت خود را برای همه و یا تنی چند از موتورهای جستجوگر محدود کنیم. می توان با استفاده از یکی از شناسه های HTML هم محدودیت هایی را برای یک صفحه تعریف کرد.
این شناسه میزان دسترسی به یک صفحه را معین می کند و به یکی از چهار صورت زیر به کار می رود:

<meta name=”robots” content=”index,follow”>
<meta name=”robots” content=”noindex,follow”>
<meta name=”robots” content=”index,nofollow”>
<meta name=”robots” content=”noindex,nofollow”>

Index
به معنای این است که موتور جستجوگر می تواند محتوای صفحه را بایگانی کند. آوردن no بر سر آن به معنای این است که موتور جستجوگر نمی تواند محتوای صفحه را بایگانی کند.

Follow
به این معناست که موتور جستجوگر می تواند لینک های موجود در صفحه را دنبال کند. آوردن no بر سر آن به این معنا است که موتور جستجوگر نباید لینک های صفحه را دنبال کند.

با استفاده از این شناسه محدودیت ها به تمام موتورهای جستجوگر اعمال می شود و نمی توان محدودیت های موردی اعمال کرد: همه یا هیچ کدام!
اگر در صفحه ای از این شناسه استفاده نشده باشد، به معنای index, follow است. یعنی محتوای صفحه خوانده شود و لینک های آن دنبال گردد (حالت پیش فرض).
می دانید هر یک از چهار ترکیب یاد شده برای چه صفحاتی مناسب می باشند؟

برخی از موتورهای جستجوگر نیز META robots مخصوص به خود دارند ( نظیر گوگل) که می توانید از آنها نیز استفاده کنید. برای اطلاع از چگونگی استفاده از آنها می توانید از Help همان موتور جستجوگر کمک بگیرید.

آیا می دانید کاربرد هر یک از چهار ترکیب یاد شده برای چه صفحاتی مناسب است؟

صفحات دینامیک امروزه بسیار محبوب شده اند. آنها و پایگاه های داده به سایت ها قدرت فراوانی ارزانی کرده اند. صفحه دینامیک صفحه ای است که در پاسخ به درخولست کاربر ساخته می شود و بیشتر محتوای آن از یک پایگاه داده فراهم می شود.
تنها با انتخاب چند گزینه توسط کاربران صفحه ای که مورد نظر وی بوده است، ساخته می شود. این گونه صفحات به کاربران توانایی دسترسی سریع به حجم عظیمی از اطلاعات و به مدیران سایت ها سرعت و سادگی به روز رسانی اطلاعات را هدیه می کنند زیرا تنها اطلاعات پایگاه داده به روز رسانی می شود، نه صدها صفحه دیگر!
ممکن است هنوز هم آنها کمی برای شما پیچیده به نظر برسند. اگر اینگونه است آخرین باری که در گوگل جستجو کرده اید را به خاطر آورید. صفحه ای که نتایج جستجو را در اختیار شما قرار داد یک صفحه دینامیک بود!
صفحه دینامیک در حقیقت وجود ندارد و تنها با توجه به درخواست کاربر ساخته می شود. برای ساخت اینگونه صفحات از تکنولوژی هایی نظیر دات نت، PHP, ASP, JSP, Cold Fusion, Perl استفاده می شود.

این صفحات از دیدگاه کاربران فوق العاده هستند اما از دیدگاه موتورهای جستجوگر می توانند مشکل زا باشند. اما مشکل چیست؟

گفته شد که برای ساخته شدن این صفحات باید متغیرهایی انتخاب شوند و سپس دکمه ای فشرده شود. مشکل هم در همین جا نهفته است: اسپایدرها توانایی انتخاب این گزینه ها را ندارند و لذا صفحه ای ساخته نمی شود که آنرا بخوانند.
آدرس اینگونه صفحات اغلب دارای علامت سوال (?) است. همینطور وجود علامتهای % ، = ، +، $ یا & در یک آدرس می تواند بیانگر داینامیک بودن آن باشد. به تمام آنچه که بعد از علامت سوال می آید Query String گفته می شود.
بسیاری از موتورهای جستجوگر امکان دسترسی به صفحات دینامیک را ندارند زیرا توانایی فراهم کردن متغیرهای لازم برای ساخته شدن آن صفحات را ندارند. این عدم توانایی موتورهای جستجوگر، مفهوم وب پنهان را برجسته تر می کند.
در واقع بسیاری از اطلاعات وب که گفته می شود در حدود ۶۰ درصد است از طریق موتورهای جستجوگر قابل دسترسی نیست. لذا به هنگام جستجوی اطلاعات، ضروری است که کاربران ابتدا به کمک موتورهای جستجوگر، وب های پنهان موجود را شناسایی نموده، سپس با مراجعه به آنها به جستجوی اطلاعات مورد نیاز خود بپردازند.

آیا اگر مستقیما به صفحات داینامیک لینک داده شود، آیا موتورهای جستجوگر این صفحات را می خوانند؟ موتور جستجوگر به هنگام رسیدن به علامت سوال و دیگر علامتها، پرچم زرد احتیاط را بالا می برد. اما چرا احتیاط؟
دلایلی که موتورهای جستجوگر با اینگونه آدرسها با احتیاط برخورد می کنند، عبارتند از:

• جلوگیری از بایگانی شدن محتوای یکسان
در سایتهای داینامیک اغلب اتفاق می افتد که محتوایی مشخص، آدرسهای متفاوتی داشته باشد. کاربران نیز دوست ندارند، صفحاتی با محتوایی یکسان در نتایج جستجو نمایش داده شوند لذا موتورهای جستجوگر برای جلوگیری از این مورد به هنگام برخورد به علامت سوال، احتیاط پیشه می کنند. موتورهای جستجو، در واقع تا قبل از علامت سوال را بایگانی می کنند که آدرس صفحه ای مشخص خواهد بود هر چند که تمام کارکترهای بعد از علامت سوال در آن حذف شده است. سایتهایی که از Session ID در آدرسهای صفحات خود بهره می گیرند نیز این مشکل را دارند.

• موتورهای جستجوگر می خواهند نتایج دقیقی را ارایه دهند.
موتورهای جستجوگر، پایگاه داده خود را در بازه زمانی مشخصی که معمولا چهار تا هشت هفته است، به روز رسانی می کنند. لذا اتفاق می افتد که محتوای صفحه ای بعد از اینکه توسط موتور جستجوگر بایگانی شد، تغییر یابد. در صفحات استاتیک محتوای جدید معمولا مرتبط با محتوای قدیم همان صفحه است. اما در صفحات داینامیک اینگونه نیست.
فرض کنید یک سایت فروش کتاب در ماه رمضان، کتاب پیشنهادی ماه به کاربران را یک کتاب مذهبی قرار داده است. بعد از اینکه ماه رمضان سپری شود کتاب پیشنهادی ماه سایت تغییر می کند و یک رمان جای آن قرار می گیرد. حال اگر موتور جستجوگر این صفحه داینامیک را در ماه رمضان بایگانی کند و بعد از ماه رمضان برای به روز رسانی محتوای جدید آن صفحه مراجعه نکند، کاربرانی را روانه صفحه می کند که کتاب مذهبی را جستجو می کنند در حالیکه در آن صفحه کتاب رمانی معرفی شده است.

با بایگانی نکردن برخی از صفحات داینامیک، موتورهای جستجوگر از تکرار مواردی مشابه پیشگیری می کنند.

• جلوگیری از گیر افتادن در پایگاه داده ای خاص
ممکن است با بایگانی شده صفحه ای از یک سایت، صفحات بی نهایت دیگری به اسپایدر موتور جستجوگر خورانده شود که منجر به از کار افتادن اسپایدر یا اتلاف وقت آن می شود. این حالت زمانی اتفاق می افتد که حلقه ها در برنامه نویسی سایت بسته نشوند (حلقه های if یا while).

در حال حاضر بسیاری از موتورهای جستجوگر مشکلی با صفحاتی که تنها دارای یک پارامتر در آدرس خود هستند، ندارند. نمونه ای از این آدرسها در زیر آمده است:

www.mywebsite.com/products.asp?no=20

اما زمانیکه پارامترهای یک آدرس چندین مورد می شود، برای موتور جستجوگر تشخیص اینکه آیا آدرس مورد نظر محتوایی غیر تکراری و منحصر بفرد را ارایه می دهد، سخت تر می شود. در یک آدرس داینامیک می توان یک صفحه را با چندین پارامتر که از هم به کمک & جدا شده اند، نمایش داد. در آدرس زیر که دو پارامتر دارد موتور جستجوگر راهی برای تشخیص اینکه کدام پارامتر یک صفحه جدید را نشان می دهد و کدام پارامتر تنها برای مقاصدی دیگری از قبیل دسته بندی اطلاعات و … به کار رفته است، ندارد:

www.mysite.com/products.asp?no=20&cat=app

بنابراین یک راه مناسب برای طراحی سایتهایی داینامیک که مشکلات کمتری با موتورهای جستجوگر دارند، کاهش دادن تعداد پارامترهایی است که در آدرسها به کار می روند. راههای دیگر استفاده از صفحات اطلاعاتی، طراحی نسخه ای از صفحات مهم داینامیک به صورت استاتیک، اصلاح کاراکترهای آدرسهای صفحات و حضور در نتایج جستجو به کمک روشهایی مانند PFI یا PPC است.

امروزه مقوله بهینه سازی سایتهای فروشگاهی که عمدتا به صورت داینامیک هستند، بسیار جدی است زیرا اگر این سایتها نتوانند بینندگان قابل ملاحظه ای از موتورهای جستجوگر کسب کنند، فروش آنها به میزان زیادی کاهش می یابد.

در مقالات بعدی روشهای معرفی شده، توضیح داده خواهند شد.

پیج رنک روش گوگل برای اندازه‌گیری “اهمیت” صفحات است. زمانیکه تمام فاکتورهای دیگر نظیر درصد تکرار کلمات در عنوان صفحه، درصد تعداد تکرار کلمات در متن صفحه، ارزش مکانی کلمات و … محاسبه شدند، گوگل از‍ پیج رنک برای تنظیم نتایج جستجو، استفاده می‌کند و لذا سایتهایی که مهمتر هستند به رده‌های بالاتر می‌آیند.

نحوه رتبه بندی در گوگل، ‌‌ بدین شرح است :

• ابتدا تمام صفحات مرتبط با عبارت جستجو شده را در پایگاه داده اش، می‌یابد.
• صفحات یافته شده را با توجه به پارامترهای موجود در خود صفحات، رتبه بندی می‌کند.
• پارامترهای صفحات که به لینک‌های ورودی و سایتهای لینک دهنده به آنها مرتبط است را محاسبه می‌کند.
• سایتها و صفحات را با توجه به دو مرحله قبل رتبه بندی می کند.
• نتایج جستجوی مرتب شده در مرحله قبل را با توجه به پیج رنک مرتب می‌کند.

PageRank چه مفهومی دارد؟
تئوری گوگل، اینگونه بیان می‌کند: وقتی‌ صفحه A به صفحه B، لینک می دهد، یعنی اینکه از دیدگاه صفحه A ، صفحه B یک صفحه مهم است. پیج رنک همچنین اهمیت لینک‌هایی که به صفحه شده است را لحاظ می کند. اگر صفحه‌هایی که اهمیت بالایی دارند، به صفحه‌ای لینک بدهند؛ آنگاه لینک‌های آن صفحه به صفحات دیگر هم، اهمیت بیشتری می یابند. گفتنی است که پیج رنک با متن لینک ارتباطی ندارد.

PageRank چگونه محاسبه می گردد؟
زمانیکه گوگل، هنوز یک پروژه دانشگاهی بود، طراحان آن، فرمول اصلی خود را در محاسبه پیج رنک بدین گونه بیان کردند. البته امکان دارد که آنها دیگر از این فرمول استفاده نکنند، اما امروزه هم به اندازه کافی دقیق به نظر میرسد.

PR(A)=(1-d)+d*{PR(T1)/C(T1)+PR(T2)/C(T2)+…+PR(Tn)/C(Tn)}

PR (A)، یعنی پیج رنک صفحه A

d یک فاکتور تضعیف است که معمولا برابر هشتاد و پنج صدم در نظر گرفته میشود. T1, T2,…, Tn صفحاتی‌اند که به صفحه A لینک داده اند. C(T1) نیز تعداد لینک‌هایی است که از صفحه T1، خارج شده است.

برای محاسبه پیج رنک هر صفحه نیاز به دانستن پیج رنک تمام صفحاتی است که به آن لینک داده اند. در مثال زیر نحوه محاسبه پیج رنک، برای تنها چهار صفحه، بررسی می‌شود. صفحات A، B، C و D به صورت نشان داده شده در شکل (۱) به یکدیگر لینک داده اند:

در ابتدا چون پیج رنک هیچ کدام از صفحات، معلوم نیست، همه آنها برابر ۱ فرض می شوند:

با قرار دادن d=0.85، پیج رنک چهار صفحه محاسبه می شود:

PR (A) =1-0.85+0.85{PR(C)/1} = 0.15+0.85{1/1}=1 PR (B) =0.575, PR (C) =2.275, PR (D) =0.15

شکل(۳)، پیج رنکهای جدید را نشان می‌دهد:

این محاسبات نشان می دهد که صفحه C اهمیت بیشتری دارد. اما چون این محاسبات با در نظر گرفتن پیج رنک یکسان برای همه صفحات شروع شده است، چند بار دیگر هم محاسبات تکرار می شود تا پیج رنک واقعی صفحات محاسبه شود. در تکرار دوم پیج رنکها به صورت زیر خواهند بود:

PR (A) = 2.58375, PR (B) = 0.575 PR(C) = 1.19125, PR (D) = 0.15

حال محاسبات، آنقدر تکرار می شود تا اینکه تغییرات در پیج رنک، ناچیز گردد. بعد از ۲۰ تکرار، پیج رنکها به مقادیر زیر می‌رسند:

PR (A) = 1.4901259564, PR (B) = 0.7832552713 PR(C) = 1.5766187723, PR (D) = 0.15

و به این ترتیب پیج رنک تمام صفحات بدست می‌آید.

فیدبک در PageRank
همانطور که صفحه C باعث تقویت پیج رنک صفحه A می گردد، پیج رنک جدید صفحه A هم باعث تقویت پیج رنک صفحه C می گردد. این فیدبک موجود در محاسبه پیج رنک، در کارکرد مناسب آن بسیار موثر است.

چگونه می‌توان PageRank ‌ یک صفحه را دانست؟
برای این کار می‌توان تولبار مخصوص گوگل را از آدرس زیر دان لود کنید:

http://toolbar.google.com

پس از نصب آن، با مراجعه به هر سایت، پیج رنک آن که عددی بین صفر تا ده است، در تولبار نشان داده میشود. البته اگر سایت در فهرست گوگل قرار داشته باشد می توان با مراجعه به محل سایت در فهرست گوگل و مشاهده کدهای HTML صفحه به مقدار دقیقتری از آن که عددی بین صفر تا ۳۰ است، دست یافت.

تولبار گوگل چقدر دقیق است ؟
باید توجه کرد پیج رنکی که گوگل در تولبارش نشان می دهد با آنی که عملا در سیستم رتبه بندی اش از آن استفاده می کند، تفاوت دارد. در حقیقت تولبار گوگل دیر به دیر به روزرسانی می گردد و خود گوگل نیز به این موضوع اعتراف کرده است. لذا مدیران سایتها نباید نگران پیج رنک پایین سایت خود در تولبار گوگل باشند زیرا امکان دارد پیج رنک واقعی سایت آنها بیشتر از مقدار نشان داده شده باشد.

همچنین تولبار گوگل‌ در بیان پیج رنک خیلی دقیق نیست. این تولبار دو محدودیت دارد:

• تولبار بعضی وقت ها حدس می زند. اگر کاربر، صفحه‌ای را مشاهده کند که در بایگانی گوگل وجود ندارد، اما صفحه‌ای خیلی نزدیک به آن در بایگانی گوگل وجود دارد، تولبار تخمینی از پیج رنک را نشان می‌دهد.
• تولبار تنها جایگزینی از پیج رنک واقعی را نشان می دهد. در حالیکه پیج رنک خطی است، گوگل از یک گراف غیر خطی برای نشان دادن آن استفاده کرده است. لذا در تولبار تغییر از ‍PR=2 به PR=3 نیاز به افزایش کمتری دارد، نسبت به حالتی که تغییری از PR=3 به PR=4 انجام گیرد.

مثال مقایسه‌ای زیر، این موضوع را بهتر توضیح می دهد( اعداد واقعی نیستند).

اگر PageRank واقعی بین دو عدد زیر باشد. ————– تولبار، عدد زیر را نشان می دهد.

ده به توان منفی هشت و ۵———————- ۱

۶ و ۲۵————————- ۲

۲۶ و ۱۲۵—————- ۳

۱۲۶و ۶۲۵————- ۴

۶۲۶ و ۳۱۲۵———– ۵

۳۱۲۶ و ۱۵۶۲۵———–۶

۱۵۶۲۶ و ۷۸۱۲۵————- ۷

۷۸۱۲۶ و ۳۹۰۶۲۵————— ۸

۳۹۰۶۲۶ و ۱۹۵۳۱۲۵—————– ۹

۱۹۵۳۱۲۶ و بی نهایت——————— ۱۰

گوگل، از یک گراف غیر خطی برای بیان پیج رنک استفاده می‌کند. حرف آخر پیج رنک موضوع بسیار پیچیده‌ای است که غالبا اشتباه فهمیده می شود. در حال حاضر اطلاعات کافی در اختیار نیست تا از همه چیز اطمینان صد در صد حاصل شود. گوگل نیز تنها جایگزینی از پیج رنک را در تولبارش نشان می دهد و در زمان استفاده از آن باید این نکته را به خاطر داشت که تولبار گوگل خیلی دقیق نیست و همچنین دیر به دیر به روز رسانی می شود. اما در هر صورت تنها چیزی است که دیدگاه گوگل را بیان می‌کند. پیج رنک تاثیرش را در پروسه رتبه بندی دارد. این تاثیر به اندازه‌ای که خیلی ها تصور می‌کنند، زیاد نیست. تمرکز بیش از حد بر روی پیج رنک برای بالا بردن رتبه ها در گوگل بی مورد است. در حقیقت سایتهای می توانند با بهینه سازی صفحات و ارایه محتوای مناسب به رتبه های مناسبی دست یابند.

گرفتن لینک از سایتهای دیگر
بسیاری از مدیران به دلیل آشنا نبودن با پیج رنگ گوگل به هنگام لینک گرفتن یا لینک دادن تنها به صفحات دارای پیج رنک بالا فکر می کنند. این تصور اشتباه است، شما اگر مدیر سایتی هستید به محتوای سایتها بیشتر توجه کنید تا پیج رنک آنها. در حقیقت لینک از یک صفحه مرتبط با پیج رنک کم در بالا رفتن رتبه سایتان بسیار موثر است. اگر درخواست لینکی از یک سایت مرتبط اما با پیج رنک کم از شما می شود، آنرا رد نکنید! این لینک به سایت شما همانند یک “بوسه داغ” است!

هات بات، تیوما، ویویزیمو، یوجیکو، …  اشتباه نکنید! قرار نیست با این کلمات جمله ای ساخته شود. اینها تنها نام برخی از موتورهای جستجوگر است. می توان صدها مورد دیگر را به این لیست اضافه نمود. در حقیقت موتورهای جستجوگر بسیاری وجود دارد اما تقریبا همه کاربران وب، دنیای جستجو و موتورهای جستجوگر را با گوگل و یاهو می شناسند. اما به راستی یک موتور جستجوگر چیست؟

انسان یک موجود اجتماعی است. به عبارت دیگر ما برای زندگی بهتر به دیگران، اطلاعات و تجربه آنها نیازمندیم. در گذشته محدودیتهای زمانی و مکانی امکان استفاده از تجربه و اطلاعات دیگران را برای همه امکان پذیر نمی ساخت اما پدید اینترنت این محدودیتها را برداشته است. اگر در گذشته از نبود اطلاعات رنج می بردیم امروزه با کثرت اطلاعات مواجه هستیم. اینترنت این امکان را به ما داده است که در هر مکان و هر زمانی به اقیانوسی از اطلاعات دسترسی داشته باشیم.

اینترنت این خاصیت را دارد که همه کس با هر سواد و تجربه ای می توانند در آن اطلاعات منتشر کنند. همچنین میلیونها سایت و منبع اطلاعاتی وجود دارد که اطلاعات بسیاری با موضوعات مختلف را منتشر می کنند. اما سوال همواره مطرح این است که در میان این اقیلانوس پهناور، اطلاعات مورد نیاز ما کجاست؟ راه دسترسی به اطلاعات مورد نیاز چیست؟ از میان حجم عظیم اطلاعات، کدامها موثق و قابل استناد هستند؟ آیا می توان به هر اطلاعاتی استناد کرد؟

جستجو زمانی معنا می یابد که به دنبال اطلاعات باشیم. جستجوی کفش ورزشی مورد علاقه، مقاله مورد نیاز، تلفن یک اداره دولتی و … در تمام این موارد اطلاعات، گمشده اصلی ماست.

موتور جستجوگر نیز ابزاری است که به ما کمک می کند، جستجو کنیم. ابزاری است که ما را از به خاطر سپردن آدرس سایتهای بسیار بی نیاز می کند. راههای بسیاری برای جستجوی اطلاعات وجود دارد اما موتور جستجوگر همواره یک گزینه مطمئن دنیای امروز بوده است.

می توان گفت که موتور جستجوگر یک سایت است که به سوالات ما پاسخ می دهد. با مراجعه به یکی از آنها ابتدا می گوییم که چه می خواهیم بعد از آن است که موتور جستجوگر صدها، هزاران و شاید میلیونها پاسخ برای آن به ما ارایه می دهد.

عده ای اینگونه تصور می کنند که موتور جستجوگر برای پاسخ دادن به سوالات ما در همان لحظه تمام اینترنت را می گردد. این تصور درست نیست بلکه موتور جستجوگر برای سرعت دادن به فرایند پاسخ دهی به سوالات کاربران، ابتدا پایگاه داده ای از تمام سایتهای که می شناسد، تشکیل می دهد. سپس برای پاسخ دادن به سوالات از همین پایگاه داده کمک می گیرد.

هر چه این پایگاه داده بزرگتر باشد و اطلاعات آن به روزتر باشد، موتور جستجوگر شانس کسب موفقیت بیشتری دارد زیرا کاربران همواره اطلاعات جدید می خواهند. ارایه اطلاعات سوخته و قدیمی وقت و هزینه کاربر را تلف می کند. بنابراین موتور جستجوگر به طور مداوم اطلاعات پایگاه داده خود را به روز رسانی می نماید، سایتهای مرده را حذف و سایتهای جدید را به آن اضافه می کند.

دقت اطلاعاتی که ارایه می شود و یا پاسخهایی که داده می شود بسیار مهم است. در حقیقت بهتر آن است که بگوییم کاربران اطلاعات تازه و دقیق می خواهند. دقت پاسخهای داده شده مهمترین تفاوت بین موتورهای جستجوگر است چیزی که گوگل با تمرکز بر آن توانسته است از رقبای خود پیشی بگیرد.

موتور جستجوگر نرم افزاری دارد که لحظه به لحظه اطلاعات پایگاه داده اش را افزایش داده، به روز رسانی می کند. به هنگام پاسخ دادن به سوالات نیز موتور جستجوگر با مراجعه به این پایگاه داده پاسخها را می یابد و بهترین پاسخها را در ابتدای نتایج جستجوی خود قرار می دهد.
هر موتور جستجوگر برای تشخیص بهترین پاسخها از الگوریتمی مختص به خود کمک می گیرد. هر چه این الگوریتم بهتر عمل کند، پاسخهای داده شده بهتر خواهند بود و موتور جستجوگر محبوب تر می شود. محبوبیت گوگل نیز ناشی از در اختیار داشتن بهترین الگوریتم در ارایه نتایج جستجو است.

دقت پاسخها، تعداد پاسخها و جدیدتر بودن این پاسخها سه حوزه ای هستند که موتورهای جستجوگر در آن به جنگ یکدیگر می پردازند زیرا می دانند که کاربران دقیقا این سه مورد را می خواهند. این سه مورد پاسخ این سوال هستند که چرا همه موتورهای جستجوگر مانند گوگل و یاهو معروف نمی شوند؟

بیایید اینگونه فرض کنیم که موتور جستجوگر طراحی شده است که دقیقا به سوال کاربر پاسخ می گوید و دقیق ترین و جدیدترین پاسخ را به وی ارایه می دهد. آیا در این صورت همه می توانند به آنچه که می خواهند دست یابند؟
متاسفانه پاسخ منفی است. زیرا رفتار کاربران نیز مهم است. ما اگر نتوانیم به موتور جستجوگر بگوییم که چه می خواهیم، آن نیز نمی تواند پاسخی درست به ما بدهد. “۳۱ روز بعد از اول اسفند” برای گوگل همان “۳۱ روز بعد از اول اسفند” است در حالیکه مقصود من “اول بهار” یا “اول فروردین ماه” بوده است!

آیا با این نوع سوال پرسیدن می توانم به خواسته خود برسم؟ این احتمال وجود دارد که با این روش به اطلاعاتی که می خواهم دست یابم اما مطمئنا به سختی و خیلی دیر به آنها دست خواهم یافت: “آمدی جانم به قربانت ولی حالا چرا …”

آشنایی کاربران با تکنیکهای جستجو به آنها کمک میکند، بهتر و سریعتر به آنچه که می خواهند دست یابند. مقوله دیگری که در جستجوی اطلاعات باید مد نظر قرار داده شود، ارزیابی اطلاعات است. به عبارت دیگر آیا هر چه که در اینترنت وجود دارد، اطلاعات موثق و معتبری می باشد؟ پاسخ منفی است.

توجه به این موضوع بسیار مهم است. ما همواره به دنبال اطلاعاتی هستیم که نیاز ما را برآورده کند. شاید پاسخهای داده شده در یک جستجو، بسیار دقیق و معتبر باشند اما ممکن است فراتر از نیاز کاربر باشد. آیا مقاله ای که برای دانشجویان سال آخر مهندسی برق تنظیم شده است برای یک دانش آموز دوره راهنمایی که به دنبال اطلاعاتی درباره نیروگاه برق می گردد، مفید خواهد بود؟ خیر.

لذا کاربران باید هم با مقوله جستجو در اینترنت و کار با موتورهای جستجوگر آشنا باشند و هم با مقوله ارزیابی اطلاعات.

اطلاعات موجود در اینترنت را می توان از دیدگاه تجاری به سه دسته تقسیم بندی کرد:

الف – اطلاعات رایگان و پیدا
ب – اطلاعات رایگان و ناپیدا
ج – اطلاعات تجاری

موتور جستجوگر هر چقدر هم از پایگاه داده بزرگی برخوردار باشد نمی تواند تمام اطلاعات وب را در خود داشته باشد. ماهیت تجاری بودن بسیاری از سایتها و همینطور محدودیتهای تکنولوژیکی موتور جستجوگر را از دسترسی به تمام اطلاعات وب دور می کند. گفته می شود اگر اطلاعات تمام موتورهای جستجوگر بر روی هم ریخته شود حداکثر ۵۰ درصد وب را شامل می شود.

در حقیقت بخش اعظم وب از دسترسی موتورهای جستجوگر دور است که به آن وب پنهان گفته می شود. بنابراین برای یک جستجوی کامل نیاز به مراجعه به سایر ابزار جستجو نیز داریم. ابزاری نظیر کتابخانه های مجازی و وبهای پنهان.

بسیاری از اطلاعاتی که کاربران به دنبال آن هستند، ماهیت تجاری دارند بنابراین موتورهای جستجوگر هم از دید کاربران و جستجوی اطلاعات و هم از دید دارندگان سایتها مهم است. ممکن است اطلاعات جستجو شده، آخرین آهنگهای یک خواننده معروف و یا قیمت و فروشنده پیراهن تیم فوتبال مورد علاقه کاربر باشد.

سایتها برای بقا در وب به بیننده نیاز دارند، سایتی که بیننده ندارد، وجود نداشته باشد بهتر است. سایتی که بیننده بیشتری دارد از سایت کم بیننده تر، ارزش تجاری بیشتری دارد. آیا ارزش یک فروشگاه پر از خریدار با ارزش فروشگاهی که در انتهای یک کوچه بن بست در محله ای کم جمعیت قرار دارد یکسان است؟

دارندگان سایتها همواره در صدد جذب بیننده بیشتر به سایت خود هستند. هر چه بیننده یک سایت بیشتر باشد شانس آن برای فروش و سود بیشتر، افزایش می یابد.

بازاریابی الکترونیک امروزه روشهای بسیاری را در اختیار مدیران سایتها قرار داده است اما مهمترین روش همواره استفاده تجاری از موتورهای جستجوگر بوده است. وقتی کاربری چیزی را جستجو می کند در بیشتر مواقع بدان معناست که به آن نیاز دارد بنابراین حاضر به پرداخت هزینه برای در اختیار داشتن آن می باشد.

بازاریابی با موتورهای جستجوگر بدین معناست که کاری کنیم تا موتور جستجوگر سایت ما را در رتبه های بالاتر قرار دهد تا شانس مراجعه به سایت ما افزایش یابد. موتور جستجوگر ممکن است میلیونها سایت را در پاسخ به سوال کاربر نمایش دهد اما آیا کاربران تمام این سایتها را بازدید می کنند؟ خیر در اغلب موارد آنها نیاز اطلاعاتی خود را با مراجعه به سایتهای رتبه یک تا ۳۰ برآورده می کنند. بنابراین نیازی به مراجعه به سایتهای دیگر نخواهند داشت.

معنای واضح این رفتار کاربران این است که سایتهایی که رتبه های بالاتر از ۳۰ دارند شانس کمتری برای جذب بیننده بیشتر دارند و چه از این بدتر برای یک مدیر سایت!

تجارت الکترونیک امروزه خود را با رتبه های موتورهای جستجوگر هماهنگ کرده است زیرا مدیران سایتها دریافته اند که کاربران عجول و کم حوصله اند و در اغلب موارد سایتهای رتبه یک تا ۳۰ را بازدید می کنند و از بقیه سایتها صرفنظر می کنند.

موتورهای جستجوگر هر روز مهم تر و مهم تر می شوند. در اهمیت آنها همین بس که گوگل چند سال متوالی به عنوان نام تجاری سال انتخاب شد و بالاتر از نامهایی نظیر کوکاکولا قرار گرفت.

امروزه جنگ موتورهای جستجوگر برای کسب سهم بیشتری از میزان جستجوهای کاربران وارد حوزه های دیگری شده است. در حال حاضر رقابت اصلی میان گوگل، یاهو و MSN است.

دنیای جستجو و موتورهای جستجوگر، دنیای جذابی است. هر روز اخبار بسیاری از فعالیت موتورهای جستجوگر منتشر می شود، سایتهای بسیاری درباره موضوعات مختلف دنیای جستجو، محتوا منتشر می کنند و هر ساله کنفرانسهای متعددی درباره آن برگزار می شود.

موتورهای جستجوگر هر روز هوشمندتر می شوند و ماهیت تجاری بیشتری می یابند. سوالی که شاید خیلی ها می پرسند این است که آیا گوگل نیز رتبه های عادی خود را خواهد فروخت؟ به عبارت دیگر آیا می توان با پرداخت هزینه، جایی در صدر نتایج عادی گوگل داشت؟

از دنیای جستجو بسیار می توان گفت و شنید. دنیای جستجو حتی رقص دارد. شغلهای بسیاری تنها بر اساس جستجو و موتورهای جستجوگر ایجاد شده است. شاید بالا و پایین شده رتبه ها برای ما که فقط اطلاعات می خوایم چندان مهم نباشد اما بد نیست بدانید همین بالا و پایین شدن رتبه ها دغدغه اصلی افراد بسیاری در سراسر دنیاست.

از دیدگاه کاربرانی که از موتورهای جستجوگر برای دسترسی به اطلاعات مورد نیاز استفاده می کنند، مهمترین مقوله های مورد توجه عبارتند از:

• استفاده از کدام ابزار جستجو
• تکنیکهای موثر جستجو برای صرفه جویی در وقت و هزینه
• تحلیل نتایج جستجو
• ارزیابی اطلاعات بدست آمده
• …

از دیدگاه دارندگان سایتها و تجارت الکترونیک که موتور جستجوگر را ابزار نخست بازاریابی خود می دانند، مقوله های زیر مد نظر است:

• میزان وابستگی به رتبه ها تا چه میزان
• رتبه های بالا در کدام موتور جستجوگر
• رتبه های بالا در موتورهای جستجوگر پولی یا موتورهای جستجوگر رایگان
• چگونگی کسب رتبه های بالا
• رتبه های بالا با چه عباراتی
• تحلیل ترافیک سایت
• …

برخی موضوعات مورد توجه از دیدگاه تکنولوژی های جستجو و موتورهای جستجوگر نیز عبارتند از:

• کسب درآمد بیشتر
• طراحی بهترین الگوریتم برای رتبه بندی صفحات
• راهکاری تشخیص تقلب در رتبه ها از سوی دارندگان سایتها
• نزدیک تر کردن جستجو به زبان محاوره کاربر
• فشرده سازی اطلاعات و بزرگتر کردن هر چه بیشتر پایگاه داده
• طراحی روشهای سریعتر بازیابی اطلاعات
• جستجوی بهتر در فایلهای صوتی و تصویری
• …

با تمام پیشرفتهای انجام شده، موتورهای جستجوگر هنوز جای کار دارند و محدودیتهای بسیاری دارند. تغییرات مداوم در ذائقه کاربران نیز در مسیر حرکت موتورهای جستجوگر موثر است. بنابراین انتظار ارایه خدمات بهتر و رقابت شدیدتر موتورهای جستجو می رود که در این میان رقبات اصلی میان گوگل، یاهو و MSN است.

وب اطلاعات بسیاری دارد اما موفقیت خود را مدیون موتورهای جستجوگر است. به راستی اگر راهی نبود که بدانیم اطلاعات مورد نیاز ما کجای وب قرار دارد، آیا وب به اندازه امروز، محبوب می شد؟

واقعیت آن است که چالش عمده ما در حال حاضر، نبود اطلاعات نیست، بلکه دسترسی به اطلاعات مهمتر شده است. آنهم دسترسی به اطلاعات دقیق و معتبر و در زمان مورد نیاز. گفته می شود وب منبع بزرگ اطلاعاتی عصر حاضر است و تقریبا درباره هر موضوعی می توان در آن اطلاعاتی یافت. در آن می توانیم درباره موضوعاتی از “پرورش لاک پشت” تا “طراحی موشک” اطلاعاتی بیابیم. اما کجا؟ به عبارت دیگر در کدام سایت؟

وب راهنمایی دارد که به کاربران برای یافتن اطلاعات کمک کند. سایتهایی وجود دارند که کاربران وب با مراجعه به آنها پاسخ سوالات خود را می یابند. ما اینگونه سایتها را با عنوان “موتورهای جستجوگر” می شناسیم. در حقیقت موتور جستجوگر سایتی است که کاربر وب با مراجعه به آن و نوشتن چند کلمه می تواند هزاران پاسخ برای سوال خود بیابد. علاوه بر مراجعه به موتورهای جستجوگر یکی از راههای دیگر جستجوی اطلاعات، استفاده از “وب پنهان” است. به راستی وب پنهان چیست؟

انواع اطلاعات اطلاعات موجود در اینترنت را می توان به سه دسته زیر تقسیم بندی کرد:

• اطلاعات رایگان و پیدا
• اطلاعات رایگان و ناپیدا
• اطلاعات تجاری

اطلاعات رایگان و پیدا اطلاعاتی هستند که در دسترس همگان قرار داده شده اند و با جستجو در موتورهای جستجوگر می توانیم آنها را بیابیم. موتور جستجوگر هر چقدر هم از پایگاه داده بزرگی برخوردار باشد نمی تواند تمام اطلاعات وب را در خود داشته باشد.

اطلاعات تجاری اطلاعاتی هستند که برای استفاده از آن باید مبلغی پرداخت شود. و در آخر اطلاعات رایگان و ناپیدا اطلاعاتی اند که نمی توانیم از طریق موتورهای جستجوگر به آنها دسترسی داشته باشیم.

وب پنهان چیست؟

در حقیقت بخش اعظم وب از دسترسی موتورهای جستجوگر دور است که به آن وب پنهان گفته می شود. در مقابل می توانید وب نمایان را بخشی از وب بدانید که موتورهای جستجوگر می توانند به آن دسترسی داشته باشند و در نتایج جستجو به مراجعه کنندگان خود نمایش دهند.

پایگاههای داده قابل جستجو
بخش اعظم وب پنهان همین پایگاههای داده هستند. برای استفاده از اطلاعات موجود در آنها ابتدا باید کاربر فرمی را پر کند. چون موتور جستجوگر توانایی انجام این کار را ندارد بنابراین نمی تواند به اطلاعات آن دسترسی داشته باشد. در این پایگاههای داده متناسب با نیاز کاربر صفحه ساخته می شود و با توجه به حجم بالای اطلاعات عملا نمی توان تمام حالتهای مورد نیاز کاربر را شناسایی کرد و از قبل برای آن صفحه ای ساخت. اگر کاربری لینک مستقیمی به یکی از این صفحات تولید شده ایجاد کند آنگاه موتور جستجوگر شاید بتواند به آن اطلاعات دسترسی پیدا کند.

صفحات منفک شده
پاره ای از صفحات نیز به دلایلی از تیررس موتورهای جستجوگر دور نگاه داشته شده اند. سیاست کاری صاحبان سایتهاو ضعف طراحان سایتها مهم ترین این دلایل هستند. فایلهای پنهان، اسناد نیازمند رمز عبور برای خواندن و پایگاههای داده تجاری مواردی (استفاده از اطلاعات به شرط پرداخت حق عضویت در سایت) را می توان در این گروه قرار داد.

آخرین مطالعه آکادمیک صورت گرفته نشان می دهد که وب نمایان ۱۱٫۵ میلیارد سند دارد و موتورهای جستجوگر ۸۵ درصد آنرا می شناسند. این مطالعه همچنین حجم “وب پنهان” را ۵۰۰ میلیارد سند برآورد کرده است. در این مطالعه گوگل با بایگانی کردن ۸٫۱ میلیارد سند رتبه اول را دارد (۶۹٫۶ درصد) و پس از آن یاهو با ۶٫۶ میلیارد صفحه (۵۷٫۴ درصد) در جایگاه دوم قرار گرفته است. با این که مطالعه انجام شده بر اساس تخمینهای بسیار بوده است اما در نوع خود یکی از آخرین تلاشها برای برآورد حجم واقعی وب و میزان پوشش آن توسط موتورهای جستجوگر است.

وب “پنهان” را چگونه “نمایان” کنیم؟

برای استفاده از وب پنهان ابتدا باید آدرس یکی از آنها را به کمک موتورهای جستجوگر بیابید. به عنوان مثال اگر موضوع پزشکی مد نظر شماست، کافیست که در گوگل اینگونه جستجو کنید: پایگاه داده پزشکی یا پایگاه داده علوم پزشکی. در هر صورت کلمه “پایگاه داده”-Database- یک کلمه کلیدی است.

فراموش نکنید که “وب پنهان” به هر حال وجود دارد و صرف کمی وقت برای استفاده از آنها می تواند مکمل مناسبی باشد برای آنچه که از طریق موتورهای جستجوگری نظیر یاهو و گوگل می یابید.برخی از آنها عبارتند از:

• Librarians Index
• AcademicInfo
• Infomine

با استفاده از www.invisible-web.net می توانید موارد بسیار دیگری از وب پنهان متناسب با نیازتان را مشخص کنید.

اینترنت منبع مهمی برای دستیابی به اطلاعات معتبر و موثق است. مهم آن است که کاربر تکنیکهای جستجو و ارزیابی اطلاعات را بداند تا بتواند بهتر و سریعتر به آنچه که می جواهد دست یابد. از سوی دیگر تمام اطلاعات از طریق موتورهای جستجوگر قابل دسترسی نیست.

ماهیت تجاری بسیاری از سایتها و همینطور محدودیتهای تکنولوژیکی موتور جستجوگر را از دسترسی به تمام اطلاعات وب دور می کند. در این مورد کاربر باید بتواند از اطلاعات موجود در “وب پنهان” بهره گیرد.

مهران در روستایی زیبا نزدیک منطقه حفاظت شده ابیورد واقع در شمال شرقی ایران زندگی می کند. او شکارچی ماهری است و همیشه با گوشت لذیذ شکار از میهمانانش پذیرایی می کند.

تابستان گذشته بدون اطلاع قبلی به او سر زدم. آنجا که رسیدم خیلی خسته بودم و البته گرسنه. درست یکساعت بعد در حالیکه شکمی از عزا درآورده بودم به این فکر می کردم که مهران چگونه به آن سرعت، غذایی خوشمزه از گوشت آهو برایم آماده کرد؟ او که همان لحظه به شکار نرفته بود!

این سوال من را یاد سوال یکی از مشتریانم انداخت که قبلا به من گفته بود: چگونه گوگل در کمتر از یک ثانیه به سوالات ما پاسخ می دهد؟ مگر گوگل می تواند در این مدت کوتاه در تمام وب بگردد؟

چه فانتزی! می توانم رفتار مهران را با رفتار یک موتور جستجوگر مقایسه کنم. این مقایسه برای من که کسب و کاری آنلاین دارم جذاب است. شاید برای شما هم جذاب باشد!

مهران برای شکار، به مجوز نیاز دارد هر چند که می تواند غیر قانونی هم این کار را بکند. او می تواند از راههای بسیاری وارد منطقه حفاظت شده شود. می تواند آهو شکار کند یا کبک یا خرگوش و … . ممکن است شب به شکار برود و یا روز. جالب است بدانید که او گاهی دست خالی و بدون شکار بر می گردد.

موتور جستجوگر نیز می تواند از راههای متفاوتی به یک سایت وارد شود. این راهها همان لینکها هستند. موتور جستجوگر برای خواندن صفحات سایت مجوزهای لازم و محدودیتها را در فایل ROBOTS.TXT بررسی می کند. هر چند که می تواند آن مجوزها را به طور کلی نادیده بگیرد. موتور جستجوگر می تواند انواع فایل را بخواند: فایل DOC، PDF، HTML، PHP و … شب به سایت سر بزند و یا روز. گاهی هم که به سایت سر می زند با دست خالی بر می گردد زیرا سرور سایت جواب نمی دهد و سایت موقتا و یا برای همیشه فعال نیست.

مهران بخشهای زاید شکار را همانجا دور می ریزد و بقیه را باخود به خانه اش می آورد. گوشت را بسته بندی می کند و در فریزر قرار می دهد تا در روزهای آینده از آن استفاده نماید.

موتور جستجوگر نیز بعد از خواندن محتوای سایت بخشهای زاید را دور می ریزد (کلمات بنجل) و بقیه را با خود می آورد، گروه بندی می کند، فشرده سازی می کند و در پایگاه داده اش قرار می دهد تا بعدا از آن استفاده نماید.

مهران اگر لذیذترین گوشت را هم در اختیار داشته باشد اما آشپز خوبی نباشد و نتواند غذای خوبی طبخ کند، برای من که کمی شکمو هستم، اوضاع نگران کننده است و او آشپز محبوب من نخواهد بود.

موتور جستجوگر هم اگر بهترین اطلاعات را در اختیار داشته باشد اما نتواند پاسخهای خوبی به سوالات کاربران بدهد، موتور جستجوی محبوب کاربران وب (گرسنگان اطلاعات) نخواهد بود.

برداشتهای فنی:

• سایت شما نباید منطقه حفاظت شده باشد.
  از سایتهای دیگر بخواهید که به شما لینک کنند. ساختار سایت را به گونه ای طراحی و تدوین کنید که موتور جستجوگر به راحتی بتواند به بخشهای مختلف آن سر بزند. اگر شکارچی سرخود راهی “شرق” نمی شود تا منطقه ای حفاظت شده در آن سو بیابد موتور جستجوگر نیز تا راهی (لینکی) به سایت شما نداشته باشد روانه آن نمی شود.
• مجوز لازم را به موتور جستجوگر بدهید.
  سایت طراحی شده است که اطلاعاتی عرضه کند بنابراین ضرورتی ندارد دسترسی به آنها را محدود کنید. پس با دقت فایل robots.txt سایت خود را تهیه کنید. حتی اگر سایت شما محدودیتی ندارد این فایل را تهیه کنید و در سایت خود قرار دهید. حالا سایت شما حرفه ای تر است چون برای خود قانون دارد!
• در انتخاب میزبان وب سایت خود دقت کنید.
  وب سایت شما باید همواره در دسترس باشد تا موتور جستجوگر بتواند با مراجعه به آن فایلهای مختلف را شکار کند.
• راه ورود به سایت شما تنها صفحه اول آن نیست!
  اشتباه بسیاری از مدیران این است که تمام لینکها را به صفحه اول سایت خود ارجاع می دهند. اگر از سایتهای دیگر لینک درخواست می کنید به صفحات داخلی سایتتان نیز لینک کنید. صفحه اول سایتها معمولا محتوای کمی دارد و شانس کسب رتبه بالا را کاهش می دهد.
• هر موتور جستجوگری مهم نیست.
  وقت خود را با تمرکز بر روی موتورهای جستجوگر غیر مهم تلف نکنید. آنها هیچ ارزشی برای سایتان ندارند زیرا ترافیک ناشی از آنها در عمل برابر صفر است. گوگل، یاهو، MSN و ASK در اغلب موارد کافی اند. من نیز این قانون را رعایت می کنم و به کار مهران ایمان دارم و سراغ شکارچی دیگری نمی روم.

های مهدی! امروز تو هم باید با من بیایی. با این صدا بود که من از دغدغه های ذهنی ام خارج شدم. وب و گوگل را فراموش کردم. دنیای مهران هم می تواند جذاب باشد هر چند که او اصلا نمی داند گوگل چیست!

موتورهای جستجوگر از جمله گوگل از نرم افزاری به نام عنکبوت برای جمع آوری اطلاعات وب استفاده می کنند. آنها به محض اینکه سایتی را پیدا کردند، متن صفحات را می خوانند و لینکها را دنبال می کنند. همه مدیران سایتها تلاش می کنند تا میزان مراجعه عنکبوت به سایت و زمان حضور آن در سایت خود را افزایش دهند.

با بکارگیری تکنیکی که در زیر معرفی شده است شما می توانید با عنکبوت گوگل مهربان تر باشید تا شانس حضور موثرتر سایتتان در نتایج جستجوی گوگل افزایش یابد. برای این کار شما فایلی با نام sitemap.xml می سازید و در روت سایت خود قرار می دهید.

سایت مپ سایت ایران سئو ( www.iranseo.com/sitemap.xml ) در زیر آمده است:

<?xml version=”1.0″ encoding=”utf-8″ ?>
- <urlset xmlns=”http://www.google.com/schemas/sitemap/0.84“>
- <url>
<loc>http://www.iranseo.com/index.php</loc>
<changefreq>always</changefreq>
<priority>1.0</priority>
</url>
- <url>
<loc>http://www.iranseo.com/rouseoblog/index.php</loc>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
- <url>
<loc>http://www.iranseo.com/articles/index.php</loc>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
</urlset>

• <loc> و </loc> آدرس صفحه را مشخص می کنند.
• <changefreq> و </changefreq> دوره به روزرسانی شدن محتوای صفحه را مشخص می کنند. شما می توانید ازalways, hourly, daily, weekly, monthly, yearly, never برای این تگ استفاده کنید.
• <priority> و </priority> میزان اهمیت هر صفحه در مقایسه با کل صفحات سایت را نشان می دهد که عددی بین صفر و یک است. سعی نکنید به همه عدد یک داده شود. برای سایت ایران سئو تنها برای سه صفحه عدد یک در نظر گرفته ام. در هر صورت به خاطر داشته باشید که اهمیت همه صفحات سایت شما یکسان نیست و برخی مهمترند!
• استفاده از تگهای <loc> و <urlset> و <url> و اجباری است و بقیه تگها اختیاری می باشند.دقت کنید که تنها موارد مهم در این مقاله ذکر شده است تا از پیچیدگی مطلب کاسته شود.

آدرس چند نمونه دیگر که خیلی ساده آنها را تنظیم کرده ام را می توانید در آدرسهای زیر ملاحظه نمایید:

www.irpedia.com/sitemap.xml

www.persianblog.com/sitemap.xml

برای کسب اطلاعات بیشتر حتما به آدرس زیر مراجعه نمایید:

https://www.google.com/webmasters/sitemaps/docs/en/about.html

بعد از آنکه سایت مپ سایت شما آماده شد و بر روی سرور سایتتان قرار دادید با مراجعه به آدرس زیر و عضویت در گوگل سایت مپ می توانید سایت مپ (های) خود را به گوگل معرفی کنید. گوگل مراجعه به آنها و وضعیت هر یک را بعد به شما نشان خواهد داد.

https://www.google.com/webmasters/sitemaps/login