La double profondeur du web

Les métaphores océaniques du web

Nous crawlons le web, nous surfons le web comme sur la mer, nous y naviguons comme sur l'océan. Nous en y découvrons des continents électroniques. Et nous en soupçonnons la profondeur, les abîmes inaccessibles. Nos moteurs de recherche y pratiquent le cabotage sans s'éloigner des côtes. Et les spécialistes nous disent qu'au-delà des dix milliards de pages web indexées par exemple par Google, il existe quelques cinq cents milliards de plus de pages dans le web profond, que seuls des moteurs de recherche spécialisés, peuvent atteindre éventuellement.
La compagnie américaine Bright Planet (www.brightplanet.com) souligne que ces innombrables informations ne sont accessibles qu'au sein de centaines de milliers de sites web, où elles ne sont pas indexées, sans compter celles, incalculables, qui exigent un mot de passe pour y accéder et demeurent donc invisibles aux robots de plongée.
Michael K. Bergman, qui s'est spécialisé dans ces questions, a recensé quelques 275 moteurs de recherche sémantique spécialisés, qui font de la plongée (http://www.mkbergman.com/?p=291). Le site de CompletePlanet propose un inventaire de plus de 70.000 moteurs de recherche et sites spécialisés (http://aip.completeplanet.com). Le site présente: A comprehensive listing of dynamic searchable databases. Find databases with highly relevant documents that cannot be crawled or indexed by surface web search engines:
Et on pourra voir dans la liste de domaines proposés, que le web profond concerne tous les thèmes d'activité.
All Topics >>
Agriculture, Games & Hobbies, Military, Religion, Arts & Design, Government, Music, Science, Business,
Health, News, Search Engines, Computing & Internet, Home & Garden, Newspapers, Shopping, Education,
Humanities, People, Social Sciences, Energy, Jobs & Careers, Places, Sports, Engineering, Law, Politics,
Transportation, Environment, Literature, Products & Technology, Travel, Family, Living things, Recreation,
Weather, Finance & Economics, Magazines & Journals, References, Food & Drink, Media & Entertainment,
Regional

On trouvera dans wikipedia en anglais et en français un article significatif sur l'historique et le développement du web profond: (fr.wikipedia.org/wiki/Web_profond ). Je recommande aussi le site suivant sur le web invisible: http://c.asselin.free.fr/french/invisible_web.htm

La double profondeur du web

Il ressort de cette constatation que la difficulté de la veille spécialisée tient non seulement à l'expertise préalable requise, et à l'analyse qui validera et articulera les informations colligées, mais aussi à ce défi qu'il faut relever: accéder aux informations les plus récentes, les plus pointues et donc les plus spécialisées: précisément celles qui sont souvent invisibles aux moteurs de recherche connus. Nous nous heurtons là à une double profondeur du web, si je puis dire: trouver les bons moteurs de recherche, souvent inconnus, pour trouver les bonnes informations, souvent invisibles.

On peut se demander si l'océan du web va devenir de plus en plus profond, ou si les grands moteurs de rechercher vont se regrouper ou se fédérer pour assurer le relais automatique de l'un à l'autre dans la pêche profonde et arrimer leurs filets pour râcler plus efficacement le fond de l'océan. Demeureront ceux qui veulent réserver l'accès de leurs banques de données (intranets ou contrôles de billetterie, et ceux qui veulent échapper à toute surveillance.

Il y a aussi les pirates et les détectives, ceux qui tentent d'entrer dans les sites sous haute sécurité pour faire de l'espionnage militaire, économique, financier, et ceux qui veulent pour des raisons de sécurité percer tous les encryptages. Le fond des océans risque d'être très fréquenté un de ces jours.
Hervé Fischer