Comment apprivoiser Googlebot
Dans le nouveau blog Google destiné aux webmasters, Vanessa Fox fait quelques recommendations intéressantes pour éviter les mauvaises surprises et améliorer l’efficacité des visites du robot de Google....
View ArticleHostload et vitesse d’exploration de Googlebot
Nous avons déjà parlé de la nouvelle option de contrôle de la vitesse d’exploration de Googlebot proposée par Google. De nombreux commentaires fantaisistes apparaissent sur les forums à propos de...
View Articlerobots.txt et sous-domaine
Vous avez ajouté un sous-domaine à votre site, mais vous ne souhaitez pas que ce nouveau sous-domaine soit indexé par les moteurs de recherche ? Voici la marche à suivre en utilisant robots.txt. Pour...
View ArticleYahoo! Slurp supporte * et $ dans robots.txt
Le blog de Yahoo! Search annonce que, comme Googlebot et MSNbot, Yahoo! Slurp supporte maintenant les caractères spéciaux * et $ dans les directives Disallow: du fichier robots.txt. L’astérisque *...
View ArticleRobots msnbot de Live Search
Il y a quelques jours, Microsoft a publié des informations sur les robots utilisés par Live Search. Voici les user-agents exacts de ces robots: msnbot/1.0 (+http://search.msn.com/msnbot.htm) est le...
View ArticleSitemap dans robots.txt
Google et ses partenaires pour le sitemap proposent aux webmasters d’ajouter un lien vers l’URL du sitemap dans le fichier robots.txt. Cette nouvelle possibilité évite de devoir informer séparément les...
View ArticleAdSense et le robot de Microsoft
Depuis quelques semaines, des webmasters ont signalé notamment sur Webmaster Hub (referer MSN) que des robots de Microsoft visitent des pages de leurs sites en se faisant passer pour des visiteurs...
View ArticleMunax
Connaissez-vous Munax ? Munax est un outil de recherche et d’extraction d’informations (data mining) développé en Suède. Il en est encore au stade expérimental, mais ses concepteurs ont de grandes...
View ArticleAVG Anti-Virus et AdWords
Depuis quelques semaines, mon excellent AVG Anti-Virus Free Edition (Grisoft) m’invitait à remplacer ma version 7.5 par la nouvelle version. Après le n-ième rappel, j’ai fini par me décider à...
View ArticleNouveau robot Yahoo!
Les robots de Yahoo qui visitent nos sites affichent généralement un user agent qui contient les mots Yahoo! Slurp. Par exemple: Mozilla/5.0 (compatible; Yahoo! Slurp;...
View Article
