Mesin Indeks Google bernama Caffeine

Baru saja Google mengumumkan selesainya sistem web indexing  baru yang disebut dengan Caffeine. Caffeine diharapkan memberikan hasil 50 persen lebih segar untuk pencarian web dari indeks terakhir, dan sistem ini memiliki koleksi terbanyak dari konten web yang pernah kita tawarkan.. Apakah itu berita, blog atau posting forum, sekarang Anda dapat menemukan link ke konten yang relevan lebih cepat setelah diterbitkan daripada yang mungkin pernah ada sebelumnya.

Perlu Anda ketahui bagi anda yang tidak membangun search engine seperti Google adalah ketika Anda mencari di Google, sebenarnya Anda sedang tidak mencari sebuah live web melainkan Anda mencari indeks web tersebut dari Google. Hal ini persis seperti ketika anda melihat indeks pada buku yang membantu Anda menemukan halaman yang tepat untuk materi yang Anda cari.

Jadi, mengapa kita membangun sebuah sistem pencari indeks terbaru? Konten di web ini berkembang. Perkembangan ini tidak hanya dalam ukuran dan jumlah tetapi dengan adanya perkembangan video, gambar, berita dan real-time update, rata-rata halaman Web lebih bervariasi dan lebih kompleks. Selain itu, harapan masyarakat untuk ”search” lebih tinggi daripada dulu. Masyarakat ingin menemukan konten yang relevan terbaru dan penerbit/pemilik web berharap akan ditemukan secara cepat oleh masyarakat.

Untuk mengikuti evolusi web dan untuk memenuhi meningkatnya harapan pengguna, Google telah membangun Caffeine. Gambar di bawah ini menggambarkan bagaimana sistem pengindeksan lama kita bekerja dibandingkan dengan Caffeine.

Indeks lama  memiliki beberapa lapisan, beberapa diperbaharui dengan tingkat yang lebih cepat daripada yang lain; lapisan utama akan diperbaharui setiap dua minggu. Untuk me-refresh lapisan indeks lama, Google akan menganalisis seluruh web, yang berarti ada penundaan yang signifikan antara saat Google menemukan halaman dan membuatnya tersedia untuk Anda.

Dengan Caffeine, Google menganalisis web dalam porsi kecil dan memutakhirkan indeks pencarian secara terus menerus, secara global. Saat engine ini menemukan halaman baru, atau informasi baru pada halaman yang ada, kita bisa menambahkan langsung ke indeks. Itu berarti Anda dapat menemukan informasi terbaru lebih cepat daripada sebelumnya-tidak peduli kapan atau di mana ia dipublikasikan.

Caffeine memungkinkan Google mengindeks halaman web dalam skala besar. Bahkan, setiap detik Caffeine memproses ratusan ribu halaman secara bersamaan. Jika ini adalah tumpukan kertas maka dapat terlihat seperti bertambah tiga mil lebih tinggi setiap detik. Caffeine membutuhkan hampir 100 juta gigabyte penyimpanan dalam satu database dan menambahkan informasi baru pada tingkat ratusan ribu gigabyte per hari. Anda akan membutuhkan 625.000 dari iPod kapasitas terbesar untuk menyimpan informasi yang banyak, jika ini disambung satu demi satu semuanya akan mencapai panjang lebih dari 40 mil.

Google telah membangun Caffeine dengan masa depan dalam para engineer Google . Dengan ini memungkinkan kita untuk membangun sebuah search engine yang lebih cepat dan komprehensif seiring dengan skala pertumbuhan informasi online, dan bahkan memberikan hasil pencarian yang lebih relevan bagi Anda. Jadi nantikan terus perkembangan yang terus menerus sedang terjadi sampai bulan-bulan ke depan.

sumber : disini