Importer des logs de serveur
- Episode N° 21
- Difficulté intermédiaire
- Publié le 05/06/2019 par Ronan HELLO
- Dernière mise à jour le 21/12/2023
Matomo possède de sérieux atouts, et l’import de log en fait partie. Imaginez que votre site internet ait été créé il y’a déjà quelques années, mais que vous n'avez pas de solution d’analyse d’audience mise en place ? Et bien tout n’est pas perdu, vous allez pouvoir retrouver et lire ces données qui étaient stockées sur votre serveur depuis tout ce temps !
À chaque fois qu’un visiteur à chargé une page de votre site, le serveur à collecté des informations sur ces visites. Toutes ces informations sont condensées en petite ligne qu’on appellera ‘log’, et qui sont stockées dans un ou plusieurs fichiers sur votre serveur.
Récupérer les logs de son serveur
La première question à se poser est "comment récupérer ces logs ?". Si vous avez un serveur que vous avez configuré vous-même, il est fort à parier que les logs se trouvent dans le dossier d’installation d'Apache ou de Nginx. Si vous avez acheté un serveur déjà paramétré chez un hébergeur, ce dernier vous donnera très probablement un moyen d'accéder à vos logs dans l'interface d’administration.
Je vais vous montrer comment récupérer vos logs pour une configuration ‘classique’ chez OVH. Il vous faut dans un premier temps vous rendre dans votre espace membre, puis sélectionnez votre serveur. Dans la barre de menu latérale, sélectionnez ‘Plus +’, puis cliquez sur ‘Statistiques et logs’ dans le menu déroulant.
Cliquez ensuite sur l’URL sous le mot ‘Logs’, puis cliquez sur le lien ‘WEB’. Cliquez ensuite sur le fichier log que vous souhaitez collecter (ils sont organisés par date). Le fichier .log devrait alors se télécharger. Une fois vos logs téléchargés, nous allons devoir les importer.
Importez vos logs dans Matomo
Matomo possède un outil d’import de log assez efficace, cependant, il ne dispose pas d’interface graphique, c’est-à-dire qu’il faudra lui parler par ligne de commande en python (installez python si vous ne l’avez pas). Ne vous inquiétez pas, ce n’est qu’une seule ligne !
Pour débuter, rendez-vous dans le répertoire d’installation de Matomo sur votre serveur, puis dans le dossier /misc/log-analytics. Utilisez un client FTP (FileZilla par exemple) pour vous connecter et envoyer le fichier log fraîchement téléchargé sur le serveur, je vous conseille de le copier dans le dossier /misc/log-analytics également pour réduire le nombre de manipulations à effectuer.
Utilisez ensuite votre terminal de commande préféré et adaptez la ligne de commande suivante à votre configuration :
python /chemin/vers/matomo/misc/log-analytics/import_logs.py --url="http://monsite.com" --idsite="1" --recorders=4 --enable-http-errors --enable-http-redirects --enable-static /chemin/vers/meslogs.log
Pas si compliqué que ça non ? Allez, je vous explique :
Le premier paramètre est le chemin vers l’outil d’import de log.
Ensuite, vous devez mentionner l’URL de Matomo.
Une série de paramètres utiles à l'import (détaillés plus bas)
Et pour terminer le chemin d’accès du fichier log téléchargé.
Lire ses logs dans Matomo
Vous pourrez retrouver et étudier vos logs dans Matomo, dans la partie ‘Visiteurs’ puis ‘Logs Visiteurs’, ou de manière générale dans les différents rapports de Matomo.
Il est possible d'étudier toutes les visites réalisées depuis la création du site, même si vous n’aviez pas pensé à mettre en place un outil d’analyse d’audience avant.
Aller plus loin dans l’import de logs
L’utilitaire d’import de logs vous permet d’utiliser des paramètres d’importation supplémentaires au moment de l’import. Par exemple, si vous avez une affinité SEO, vous pourrez prendre en charge la détection des bots et donc facilement suivre à la trace les bots de Google sur votre site. Je vous mets une petite liste de paramètres (flags) supplémentaires :
- Importer les logs de bots :
--enable-bots - Importer les logs d’image/fichiers :
--enable-static - Importer les logs d’erreurs :
--enable-http-errors - Importer les logs de redirection :
--enable-http-redirects - Activer le reverse DNS :
--enable-reverse-dns - Nombre de threads (CPU) à utiliser pour l'import:
--recorders=10 - Import des logs en masse (volume par batch) :
--recorder-max-payload-size=200 - Exclure un UserAgent :
--useragent-exclude - Whitelister un domaine :
--hostname - Exclure des URLs spécifiques :
--exclude-path
Pour plus d'informations, je vous invite à retrouver la documentation en anglais sur le site officiel de Matomo.
Vous devez être connecté pour pouvoir commenter. Se connecter
ne fonctionne pas avec python 2 uniquement python 3.5 ou plus
Bonjour Sébastien,
Merci pour ces précisions ! J'ai mis à jour le contenu de l'article.
Ronan