Wat is Deep Web?

Deep Web klinkt als de titel van de nieuwste science fiction film. Zo ver van de waarheid verwijderd is die associatie nou ook weer niet, want de term "deep web" is behoorlijk nieuw en mysterieus. Deep Web verwijst naar alle informatie, die wel op het World Wide Web staat maar niet of nauwelijks vindbaar is. En dat Deep Web schijnt 500 keer groter te zijn dan het deel van het web dat we wel kunnen zien! Deep Web groeit bovendien sterk. Hoe kunnen we Deep Web vinden? Deep Web. Invisible web. Dark Web. Hidden web. Het "zichtbare web" is eigenlijk alles wat je op Internet kunt vinden via de meest gangbare zoekmachines. Alles wat je niet op die manier kunt vinden ligt meer verborgen en is niet zo eenvoudig op te roepen. Dat verborgen deel van het world wide web wordt in de volksmond ook wel "Deep Web" genoemd.

Michael K. Bergman zegt hierover in "The Deep Web: Surfacing Hidden Value": "Searching on the Internet today can be compared to dragging a net across the surface of the ocean. While a great deal may be caught in the net, there is still a wealth of information that is deep, and therefore, missed."

De laatste tijd is Deep Web dit een groot topic en er wordt dan ook veel energie ingestoken om zoekmachines uit te vinden, die wél toegang kunnen krijgen tot deze verborgen lagen van informatie. De reden hiervoor is dat naar schatting tussen de 93% en 99,98% van het world wide web verborgen zou zijn en zou behoren tot het "deep web". Net zo als bij een ijsberg hebben wij enkel toegang tot een heel klein gedeelte aan informatie, terwijl er een hele grote massa aan data, databases en websites verborgen ligt onder de oppervlakte.

De vermoedelijke definitie van het Deep Web

• Het Deep Web is 400 tot 550 keer groter dan het World Wide Web zoals we dat nu kennen en zien
• Het Deep Web bevat 7500 terrabyte aan informatie (versus 19 terrabyte op het meer oppervlakkige web)
• Het Deep Web bevat 550 miljard documenten (versus 1 miljard op het "normale web")
• Het Deep Web bevat meer dan 200.000 websites

Wat kunnen we inmiddels al wel zien van het deep web?

• Pagina's, die non-HTML zijn zoals Powerpoint presentaties, Word, Excel of PDF
• Pagina's, die gebaseerd zijn op scripts
• Pagina's, die dynamisch worden gegenereerd door database software

Wat kunnen we nog steeds niet zien?

• De inhoud van databases met een eigen zoekfunctie (de web navigator programma's kunnen niet zelf typen of denken)
• Pagina's die door de zoekmachines worden uitgesloten (zoekmachines sluiten bepaalde onderwerpen bewust uit)
• Pagina's, die door de eigenaars van sites worden uitgesloten
• Content, die wordt uitgewisseld via peer-to-peer file-sharing networks (darknet)

Hoe vinden we het onzichtbare web alsnog?

• Ga op zoek naar specifieke databases met een zoekfunctie (bijvoorbeeld academisch, medisch etc)
• Ga op zoek binnen nieuwsarchieven
• Ga op zoek naar specifieke informatie via peer-to-peer filesharing netwerken (denk bijvoorbeeld aan edonkey of fileshare)
• Wacht op de nieuwe ontwikkelingen: Er worden speciale zoekmachines ontwikkeld, die meer en beter toegang verschaffen tot de verborgen kant van het World Wide Web. Google is bezig met zo'n prototype zoekmachine en heeft de bèta versie de naam Deeper Web meegegeven.