Importer des données de Google Analytics
- Episode N° 29
- Difficulté difficile
- Publié le 16/05/2022 par Ronan HELLO
- Dernière mise à jour le 21/12/2023
Dans ce nouvel épisode, nous allons apprendre à importer les données de votre compte Google Analytics directement dans Matomo en utilisant le plugin “Google Analytics Importer” et les différentes API proposées par Google.
Préparer Matomo à l'import de données
Avant d’importer des données, il faut s’assurer que votre instance de Matomo soit à jour et dispose d’une configuration optimale.
Prérequis
Vous devez vous assurer d’avoir les droits suffisants pour lire et exporter des données avec votre compte Google, utilisez un compte administrateur pour la propriété et la vue de votre compte Analytics.
Configuration et version de PHP
Assurez-vous que votre instance de Matomo fonctionne avec une version de PHP à jour.
Vous pouvez vérifier votre configuration serveur en vous rendant directement dans l’administration puis dans “Diagnostic > Vérification du système”
- Votre instance de Matomo doit être en version
>= 3.12.0 - Assurez-vous d’avoir l’extension PHP
shell_exec()ouexec()activée (vous trouverez cette information dans la ligne “Autres fonctions” du rapport de vérification du système). - Votre serveur doit pouvoir exécuter PHP CLI
Si votre serveur ne remplit pas ces fonctions, vous devez mettre à jour votre configuration. Profitez-en pour utiliser la dernière version stable de PHP.
Activation du CRON d’archivage
Il est nécessaire que le CRON d’archivage automatique de Matomo soit en place. Si ce n’est pas le cas, je vous invite à le mettre en place en suivant ce tutoriel.
Vous pouvez également vérifier que votre CRON est en place en vous rendant directement dans l’administration puis dans “Système > Paramètres généraux > Paramètres d’archivage”. Assurez-vous que le champ “Archiver les rapports lorsqu’ils sont affichés depuis le navigateur” soit bien sur “Non”.
Installer le plugin depuis la marketplace
Maintenant que notre serveur à la configuration requise pour importer les données, nous allons installer et activer le plugin officiel “Google Analytics Importer”.
Pour cela, rendez vous dans l’administration puis dans “Système > Extensions”. Cliquez ensuite sur le lien “Installant des plugins depuis le marché” dans le paragraphe situé en haut de la page.
Recherchez ensuite le plugin “Google Analytics Importer” et installez-le (Votre mot de passe est requis pour installer un nouveau plugin).
Une fois installé, activez le plugin. Une fois activé, un nouvel onglet de configuration devrait apparaître dans “Système > Import depuis Google Analytics”. Pour terminer la configuration du plugin, nous devons importer un fichier de configuration. Ce fichier de configuration est à récupérer sur les services pour développeurs de Google, ne vous inquiétez pas, je vais vous guider pas à pas pour l’obtenir.
Configuration de l’API Google Analytics
Pour accéder aux données de votre Compte Google Analytics, nous allons passer par l’API officielle de Google. Une API permet (entre autre) de faire communiquer deux outils entre eux, c’est ce procédé que nous allons utiliser pour faire migrer vos données depuis GA vers Matomo.
Création du compte Google API Console
Afin d’accéder à cette fameuse API, nous allons avoir besoin d’un compte Google dédié aux développeurs. Pour cela, rendez-vous sur le site Google Developer Console et connectez-vous avec votre compte Google (de préférence, celui utilisé par votre compte Google Analytics).
Création du projet Developer Console
Une fois votre compte créé, vous allez devoir créer un projet. Ce projet est une sorte de dossier qui contiendra toute la configuration nécessaire à la migration. Je vous propose de nommer votre projet “Matomo”. Il vous sera utile pour la suite et vous serez peut-être amené à le réutiliser.
Activation des API Google Analytics et Google Analytics Reporting
Une fois votre compte et votre projet créé, rendez vous dans l'onglet “Bibliothèque” situé dans le menu latéral.
Dans la barre de recherche, saisissez le les mots clés “Google Analytics” pour rechercher les librairies associées.
Dans la liste des résultats de recherche, activez les deux API suivantes :
- Google Analytics Reporting API
- Google Analytics API
Pour activer une API, il suffit de cliquer dessus et de cliquer ensuite sur le bouton bleu “Activer”. Assurez-vous de bien avoir activé ces deux API avant de poursuivre ce tutoriel.
Cliquez ensuite sur le logo Google Cloud Platform pour revenir sur le tableau de bord.
Configuration de l'écran de consentement OAuth
Maintenant que nos deux API sont activées, nous devons configurer l’écran de consentement OAuth de Google.
Étape 1 : Écran de consentement OAuth
Cliquez sur "Écran de consentement' OAuth” dans le menu latéral pour débuter la configuration.
Vous devrez ensuite ajouter votre nom de domaine aux domaines autorisés. Cliquez simplement sur “+ Ajouter un domaine” et saisissez le sans le protocole.
Par exemple : mon-domaine.com
Dans le tunnel de configuration, remplissez vos informations comme suivant :
Nom de l’application : “Matomo”
Adresse email d’assistance utilisateur : contact@mon-domaine.com
Logo: Ne pas mettre de logo
Descendez ensuite dans la page pour compléter le champ “Domaines autorisés" et ajoutez votre domaine, à nouveau sans protocole.
Par exemple : mon-domaine.com
Terminer cette étape en complétant les coordonnées du développeur en ajoutant simplement votre adresse email. Cliquez ensuite sur Enregistrer et continuer.
Étape 2 : Niveaux d’accès
Dans cette seconde étape, nous allons limiter le champ d’action de Matomo à un import simple des données. Pour cela, cliquez sur “Ajouter ou supprimer des champs d’application”.
Cochez uniquement la ligne concernant “Google Analytics API” qui contient le niveau d’accès .../auth/analytics.readonly et la description “Consulter et télécharger vos données”.
Une fois sélectionné, cliquez sur “Mettre à jour” en bas du volet actuellement ouvert. Puis en bas de la page, cliquez sur “Enregistrer et continuer” pour passer à l’étape suivante.
Étape 3 : Utilisateurs de tests
Dans cette troisième étape de configuration, vous allez devoir ajouter des utilisateurs de afin de tester votre application. C’est grâce à ce procédé que nous pouvons nous passer de la validation de Google pour l’importation des données.
Pour ajouter un nouvel utilisateur de test, cliquez sur le bouton “+ Add users” (petit manque de traduction de la part de Google ?) et renseignez l’adresse email du compte Google Analytics à exporter.
Cliquez ensuite sur “Enregistrer”.
Étape 4 : Résumé
Validez les informations précédemment renseignées, n’hésitez pas à les corriger si jamais vous trouvez une erreur dans les informations affichées.
Si tout est bon, vous pouvez retourner sur le tableau de bord pour continuer ce tutoriel.
Configuration du portail OAuth
Notre portail OAuth est configuré, mais il nous manque les identifiants permettant de connecter Matomo à cet écran de consentement. Pour cela, rendez-vous dans l’onglet “Identifiants” du menu latéral.
Cliquez ensuite sur le bouton “+ Créer des identifiants” situé en haut de la page et sélectionnez “ID Client OAuth” et suivez pas à pas la configuration suivante.
Définissez le type d’application sur “Application Web”, puis renseignez le nom de votre application avec “Matomo”.
Vous devrez ensuite ajouter une origine JavaScript autorisée; cliquez simplement sur “Ajouter un URI”. Dans le champ saisissez l’URL de votre instance de Matomo, par exemple:https://matomo.mon-domaine.com
Pour le champ suivant “URI de redirection autorisé” vous devrez saisir le domaine précédemment utilisé, complété de l’URL suivante : /index.php?module=GoogleAnalyticsImporter&action=processAuthCode
Ce qui devrait donner :https://matomo.mon-domaine.com/index.php?module=GoogleAnalyticsImporter&action=processAuthCode
Cliquez ensuite sur “Enregistrer” et le tour est joué !
Maintenant que votre portail OAuth est correctement configuré, vous pouvez télécharger le fichier de configuration au format JSON en cliquant simplement sur la flèche située au bout de la ligne ou en retournant sur la configuration et en cliquant sur le bouton “Télécharger JSON”. Ce fichier nous servira par la suite à importer cette configuration directement dans le plugin Matomo installé précédemment.
Si vous avez correctement réalisé cette première partie, vous pouvez fermer cet onglet, la suite se passe principalement sur Matomo.
Autoriser Matomo à accéder au portail OAuth
Félicitation, vous avez passé l’étape la plus complexe de ce tutoriel !
On se retrouve maintenant sur votre instance de Matomo. Connectez-vous avec votre compte “Super Utilisateur” et rendez-vous dans l’administration puis dans “Système > Import depuis Google Analytics”.
Pour autoriser Matomo à se connecter via l'écran de consentement OAuth, il vous suffit de cliquer sur le gros bouton “Fichier de configuration" et de sélectionner le fichier que vous venez de télécharger à l’étape précédente. Cliquez ensuite sur “Enregistrer”.
Pour autoriser Matomo à se connecter à votre compte Google Analytics, vous devez maintenant cliquer sur “Autoriser”.
Vous vous retrouvez alors sur votre propre écran de consentement OAuth, sélectionnez le compte Google associé à votre Google Analytics si ce n’est pas déjà le cas.
Vous tomberez ensuite sur un message d’erreur et c’est tout à fait normal ! Notre application n’a pas été validée par Google, et on ne le souhaite pas, cela serait beaucoup trop long et surtout inutile. Pour passer cette erreur, cliquez sur le petit bouton “Continuer” et à nouveau sur le bouton “Continuer”.
Félicitations, vous venez de connecter Matomo à Google Analytics !
Lancer l’importation des données
Votre instance de Matomo et votre Compte Google Analytics peuvent maintenant communiquer simplement. Il ne reste plus qu'à programmer l’import des données.
Configuration du compte Google Analytics
Pour réaliser un import, complétez le formulaire en sélectionnant la plage de date à importer.
Saisissez votre date de début et votre date de fin, attention, plus la plage de date est grande, plus l’importation sera longue, ce qui peut poser un véritable problème, Je vous explique tout ça juste après.
Il faudra ensuite renseigner vos identifiants de propriété, de compte et de vue Google Analytics. Vous trouverez ces trois informations directement dans les réglages de votre propriété Google Analytics.
Vous trouverez votre numéro de compte en cliquant dans la première colonne sur “Paramètres du compte” puis sous l’intitulé “Numéro de compte”.
Vous trouverez votre numéro de propriété en cliquant dans la deuxième colonne sur “Paramètres de la propriété” puis sous l’intitulé “ID de suivi”.
Vous trouverez votre numéro de vue en cliquant dans la troisième colonne sur “Paramètres de la vue” puis sous l'intitulé “Identifiant de la vue”.
Si votre propriété Google Analytics est une propriété d’application mobile, vous devrez cocher la case “Application mobile”, sinon laissez-là décochée.
Importer vos dimensions personnalisées
Dans certains cas, votre compte Google Analytics dispose de dimensions personnalisées propres à votre secteur d’activité. Vous avez la possibilité d’importer ces données très simplement en renseignant le nom interne de votre dimension et sa portée dans les champs de mappage de dimensions personnalisées supplémentaires.
Saisissez le nom interne de votre dimension (Le nom doit correspondre au nom interne de votre compte GA).
Et définissez ensuite la portée des dimensions, vous pouvez choisir “Visite” ou “Action” suivant la configuration réalisée sur votre compte Analytics.
L’importation se chargera ensuite de répartir les données aux bons endroits et de créer les rapports adéquats.
Si vous souhaitez importer plus de 5 dimensions personnalisées, ou que vous avez déjà des dimensions dans votre instance de Matomo, je vous recommande fortement de cocher la case “Ignorer la limite d’emplacement de dimension personnalisée” afin de dépasser la limite des 5 dimensions définie par défaut par Matomo.
Importer les dimensions de Google non supportées par Matomo
Il existe dans Google Analytics des dimensions natives proposées par Google qui ne sont pas supportées par Matomo. Si vous souhaitez importer les données existantes de GA (elle ne sera donc plus collectée par Matomo dans l’avenir), vous pouvez le faire simplement en créant deux nouvelles dimensions personnalisées directement sur Matomo.
Pour importer le genre ou la tranche d'âge de vos visiteurs :ga:userAgeBracket avec pour portée des dimensions “Visite”.
Pour importer le genre de vos utilisateurs :ga:userGender avec pour portée des dimensions “Visite”.
Vous trouverez la liste complète des dimensions utilisées par Google Analytics dans la page UA dimensions & Metrics Explorer du site GA Dev Tools.
Lancer l’importation
Maintenant que votre outil d’importation est correctement configuré, je vous invite à cocher la case pour activer la journalisation détaillée, cela nous permettra par la suite de comprendre ce qui à causé une éventuelle erreur lors de l’import des données dans Matomo.
En, cliquant sur début, Matomo va créer une tâche d’importation des données, cette tâche débutera toute seule à l’heure indiquée. Si votre compte Google Analytics dispose d’un gros jeu de données, l'importation peut prendre plusieurs jours (voir semaines dans certains cas, nous parlerons de cette limite dans quelques lignes).
SI tout se passe bien, vous découvrirez alors l’ensemble de vos données dans votre nouvelle instance de Matomo. Félicitations, vous pouvez maintenant arrêter d’utiliser Google Analytics et vous concentrer sur Matomo !
Lorsque l’import est terminé, réussi ou non, vous trouverez un rapport dans le répertoire tmp/logs/ de votre instance. Si votre import à correctement été réalisé, vous pouvez supprimer ce fichier de log (optionnel).
Si votre import à échoué, vous trouverez les différentes raisons de cet échec dans ce rapport.
Importer les données depuis la console (Optionnel)
Si vous êtes familier avec les terminaux et la console de Matomo, vous pouvez déclencher l’importation directement depuis la console pour développeur sans avoir à compléter le formulaire de l’étape précédente.
Vous pouvez simplement utiliser cette ligne de commande :
php ./console googleanalyticsimporter:import-reports --property=<property-id> --view=<view-id> --dates=<dates>
Vous constaterez le manque d’options concernant les dimensions personnalisées. Vous devrez également basculer cette action en tâche de fond afin de la laisser s'exécuter sur plusieurs jours.
Étant habitué à manipuler la console interne de Matomo, je ne vous recommande pas de passer par cette commande pour gérer vos l’importation de vos données, sauf cas spéciaux (par exemple : automatisation des tâches d'impôts pour plusieurs clients/instances).
Limitations
Comme évoqué précédemment, l’importation des données depuis Google Analytics vers Matomo présente quelques limitations.
Limite d’appels API quotidien
Les API de Google Analytics ne sont pas totalement libres d’accès, elles sont soumises à une limitation d’environ 50000 appels par jour. Au-delà de cette limite, l’API bloquera l’importateur qui ne pourra reprendre l’importation que le lendemain. L’importateur fonctionnera donc seulement quelques heures par jour avant de reprendre, cela à pour effet d’étaler le processus d’importation des données sur plusieurs jours.
Expiration des autorisations OAuth au bout de 7 jours
La connexion avec l’API de Google Analytics n’a pas une durée de vie infinie, du fait que notre application Google Developer Console n'a pas été soumise à la validation par Google, l’autorisation de Matomo à accéder aux API expire automatiquement au bout de 7 jours.
Dans la plupart des cas, l’import des données ne devrait pas excéder 7 jours, mais si vous disposez de beaucoup de données, cela peut devenir gênant. Pour lever cette limitation, vous avez la possibilité de vous créer un compte Google Workspace Premium. En utilisant ce compte, vous pourrez créer une application Google Developer Console privée, et donc lever cette limitation de 7 jours.
Compte Analytics avec énormément de données
Dans le cas ou vous disposez d'énormément de données, il peut être judicieux de se poser des questions stratégiques sur le rôle de l’importation des données :
- Ai-je réellement besoin d’importer ces 10 dernières années ?
- Ai-je besoin d’importer toutes ces propriétés dans Matomo ?
- Quels rapports nécessitent autant de données pour être pertinents ?
- Quel est le coût du stockage d'un jeu de données de cette taille pour ma société ?
Les réponses à ces questions devraient vous motiver à n'importer qu’une plage réduite de données utilisables pour votre instance de Matomo.
Bonnes pratiques après l’importation
Maintenant que vous savez comment importer vos données, je vous invite à adopter une certaine vigilance vis-à-vis de votre installation de Matomo. N’oubliez pas que vous êtes en charge de la sécurité des données. Lorsque vous utilisez Google Analytics, la sécurité était en grande partie déléguée à Google, vous allez devoir prendre le relai et vous assurer que rien ne puisse fuiter. Pour cela je vous invite à suivre les différents tutoriels sur les configurations sécurisées et/ou grand compte pour Matomo.
Une fois votre import terminé, vous pouvez si vous le souhaitez, désactiver le plugin nécessaire à l’importation des données et désactiver les API depuis la Google Developer Console. Pensez également à archiver vos logs.
Vous devez être connecté pour pouvoir commenter. Se connecter
Bonjour, savez-vous s'il est possible d'importer une propriété GA3 (en ayant sélectionné les données qui m'intéressent au préalable) et de l'importer sur Matomo sans passer par le plugin et donc l'API de Google qui est limitée en nombre de requêtes ?
Merci d'avance
Bonjour Maxence, L'API est le seul moyen de récupérer les données de Google Analytics, donc techniquement non, la limite serait la même avec et sans interface, donc autant utiliser le plugin. Ronan