خزنده های گوگل چگونه صفحات وب سایت ها را در موتور جستجو فهرست می کنند؟

قبل از این که شروع به جستجو کنید، خزندگان وب اطلاعات را از میلیارد ها صفحه وب جمع آوری می کنند و آن ها را در فهرست موتور جستجو سازماندهی می کنند. 

کار خزندگان با لیستی از آدرس های صفحات وب ارائه شده از خزندگان گذشته و نقشه های سایت ارائه شده توسط صاحبان وب سایت ها شروع می شود. در همان حال که خزندگان در حال پیمایش این صفحات هستند از لینک های موجود در صفحات استفاده کرده و صفحات دیگر را پیدا می کنند. این نرم افزار توجه ویژه ای به سایت های جدید، تغییرات در سایت های موجود و لینک های شکسته شده و از بین رفته دارد. برنامه های کامپیوتری تعیین می کنند که کدام وب سایت ها، چه میزان و کدام صفحات باید پیمایش شوند. 

 

ابزار های وبمستر اطلاعاتی را در اختیار افراد قرار می دهند که به آن ها گزارشاتی درباره پیمایش سایت خود و رتبه کلمات سایت خود در موتور جستجو ارائه می دهد. همچنین می توانید درخواست پیمایش مجدد یک صفحه را داده و یا با استفاده از فایل “robots.txt” دسترسی ربات ها به صفحات مختلف را مشخص کنیم.

یافتن اطلاعات وب سایت با استفاده از خزنده ها

دنیای وب مانند یک کتابخانه در حال رشد با میلیاردها کتاب و بدون هیچ سیستم مرکزی است. ما از نرم افزار هایی به نام crawler برای کشف و یافتن صفحاتی که دسترسی به آن ها در دنیای وب عمومی است استفاده می کنیم. آن ها از لینک های برای به دست آوردن اطلاعات و ارسال آن ها به سرور های گوگل استفاده می کنند. خزنده ها به صفحات وب سایت نگاه می کنند و لینک های موجود در آن ها را هم دنبال می کنند.

 

سازماندهی اطلاعات با فهرست کردن

هنگامی که خزنده های گوگل وب سایتی را پیدا می کنند، محتوا آن را بررسی می کنند و بر اساس کلمات کلیدی موجود در آن برای فهرست بندی آن در گوگل تصمیم می گیرند. فهرست جستجوی Google شامل صدها میلیارد صفحه وب است و بیش از 100،000،000 گیگابایت حجم آن است. 

 

گوگل تلاش دارد تا با استفاده از گراف دانش، درک بیشتری از محتوا صفحات وب پیدا کند تا بتواند نتایج بهتری درباره خواسته های کاربران در موتور جستجو به آن ها ارائه دهد. امروزه موتور جستجو گوگل به شما کمک می کند تا اطلاعات مورد نیاز خود را از بین میلیون ها کتاب از کتاب خانه های بزرگ در سراسر دنیای پیدا کنید.

 منبع: سئو و بهینه سازی نوپرداز