Neviditelný web

Neviditelný web (často označovaný jako „invisible web“ nebo „deep web“) obsahuje dokumenty, které jsou obtížně vyhledatelné. Opakem je viditelný web (též „visible web“ nebo „surface web“), který označuje běžně dostupné stránky. Přesnou velikost viditelného a neviditelného webu nelze určit. Odhaduje se, že neviditelný web je až 550x větší než web viditelný.

Důvody neviditelnosti

  • odpojené stránky – robot nemůže sledovat spojení na stránku
  • stránka obsahuje hlavně obrázky, video, audio – nedostatek textu, aby robot porozuměl obsahu
  • stránka obsahuje hlavně soubory pdf, postscript, flash apod. – stránka se většinou neindexuje z ekonomických důvodů
  • obsah v relačních databázích – roboty nedokážou vyplnit požadovaná pole v interaktivních formulářích
  • obsah se mění v reálném čase – obrovské množství dat, které se neustále mění
  • dynamicky vytvářený obsah – personalizovaný obsah není zajímavý pro většinu uživatelů
  • soukromé weby a placený či heslem zabezpečený přístup

Vyhledávače pro neviditelný web

CompletePlanet umožňuje vyhledávání ve více než 100 000 databází a specializovaných vyhledávacích nástrojích, u záznamů je uvedená míra relevance, popularita, spojení a kategorie, ve které se nachází v adresáři.
Turbo 10 zpřístupňuje informace z více než 800 databází. Lze přizpůsobovat výsledky vyhledávání, zobrazují se se screen shotem.
Scirus obsahuje 410 mil. dokumentů odborné povahy. Najdete skrze něj preprinty, patenty, prohledává institucionální repozitáře.