El buscador Google ha presentado Caffeine, un nuevo sistema de indexación de la web que proporciona resultados un 70% más actualizados que los del último índice de Google, además de añadir el mayor volumen de contenido web que Google ha ofrecido hasta el momento. Tanto si se trata de noticias como de entradas de un blog o de un foro, con Caffeine se puede encontrar enlaces a contenido relevante más rápidamente y poco después de su publicación.
Tal como han destacado los responsables de la compañía, la creación de Caffeine responde a dos motivos: en primer lugar, el contenido en Internet está en constante crecimiento; no sólo está aumentando en volumen sino que con la llegada de imágenes, vídeos, noticias y actualizaciones en tiempo real, una página web normal es cada vez más rica y compleja. Y porque conforme evoluciona la web, las expectativas de los usuarios cuando hacen una búsqueda son también más altas y quieren encontrar el contenido relevante más reciente, y aquellos que publican ese contenido esperan que se encuentre justo después de haberlo publicado.
Cuando se busca en Google, lo que se hace es buscar en el índice que ha creado Google de la web. Es similar a un índice de un libro que permite identificar exactamente la información que se necesita. “La herramienta usada hasta el momento estaba compuesto por varias secciones algunas de las cuales se actualizaban con más frecuencia que otras. Una gran parte del índice se actualizaba cada dos semanas. Para actualizar una sección del antiguo índice, teníamos que analizar toda la web, lo que significaba un retraso considerable entre el momento en que lo encontrábamos y el momento en que estaba disponible para los usuarios”, explican desde la compañía.
Lo que hace Caffeine es analizar Internet dividiéndola en segmentos (por ejemplo: vídeos, libros, tweets etc.) y permite actualizar el índice de búsqueda de forma continua y global. Así, a medida que se encuentran nuevas páginas o información actualizada en páginas ya existentes, se pueden añadir estos resultados directamente al índice. Esto significa que cuando se hace una búsqueda es posible encontrar la información más reciente, independientemente de cuándo y dónde se publicara.
La nueva herramienta permite además indexar páginas web a gran escala. De hecho, cada segundo Caffeine procesa cientos de miles de páginas en paralelo. Esto equivaldría a una columna de papeles de aproximadamente cinco kilómetros de altura (apilado, indexado y vuelto a apilar cada segundo). Caffeine tiene un tamaño de casi 100 millones de gigabytes de almacenamiento en una base de datos y añade información nueva a una velocidad de cientos de miles de gigabytes al día.
