Téléchargement de l'enquête

Editorial de Jean-Michel Hubert

Cette enquête, conduite par Thales Idatys, s’est déroulée sur 6 semaines, entre mi-octobre et fin novembre 2001. Plus de 26 000 appels et 2 800 envois de messages courts ont été réalisés, dans les conditions d’utilisation courantes du téléphone mobile.

Les problématiques " couverture " et " qualité de service "

Ainsi que je l’annonçai l’an dernier, l’Autorité a réalisé en 2001, pour la première fois, deux types d’enquêtes pour mieux rendre compte de deux problématiques distinctes, mais complémentaires, de la téléphonie mobile :

Principales évolutions par rapport à l’enquête menée en 2000

L’enquête menée en 2001 a évolué sur un certain nombre de points par rapport à celle menée en 2000 :

Au vu des résultats de l’enquête, il est possible de tirer plusieurs enseignements :

• En agglomération, le taux de communications réussies, maintenues 2 minutes tend globalement à se stabiliser au-dessus de 95% ce qui constitue un très bon résultat, compte tenu notamment de la forte croissance du nombre de clients de services de téléphonie mobile (plus de 24% de croissance entre le 31 décembre 2000 et le 31 décembre 2001).
  
  
• Il peut exister, toutefois, des disparités importantes concernant la part des appels de qualité auditive parfaite, en fonction de la localisation géographique, du créneau horaire ou du type d’usage ;
• Comme en 2000, les agglomérations de plus de 400 000 habitants connaissent une variation effective de la qualité de service en fonction de la charge du réseau. Ainsi, dans les 12 plus grandes agglomérations françaises, le taux d’échec et de coupure peut être multiplié par 2, entre les heures chargées et les heures creuses, qui ne sont d’ailleurs pas toujours les mêmes pour les trois opérateurs. Toutefois, l’impact pour les utilisateurs reste, comme en 2000, relativement faible ;
• Les mesures réalisées sur les SMS font ressortir une très bonne fiabilité de ce service, puisque tous les messages émis et acceptés par le réseau ont été reçus sans erreur en moins de quelques minutes. Ces mesures innovantes ouvrent la voie à l’évaluation future de la qualité d’autres services de données (WAP, MMS, …) en technologie GSM, GPRS, voire UMTS ;
• Enfin, les résultats des mesures dans les TGV sont significativement meilleurs que ceux de 1999, témoignant ainsi des efforts des opérateurs ; cependant, des progrès importants restent encore à accomplir, tout comme dans les trains de banlieue.

Je tiens par ailleurs à remercier, pour la qualité de son travail, Thales Idatys qui a réalisé l’enquête.

Jean-Michel Hubert
Président

L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile en France.

Les opérateurs concernés par l’étude, à savoir France Télécom, SFR et Bouygues Télécom, ainsi que des associations de consommateurs et d’utilisateurs ont été associés à la définition du cahier des charges de l’étude.

L'évaluation porte sur la qualité des services de téléphonie mobile perçue par les clients, dans les conditions où ceux-ci les utilisent au quotidien. Toutefois, cette évaluation est menée sur une période limitée, qui demeure donc la seule sur laquelle il est rendu compte du fonctionnement de ces services.

Il convient de souligner que les opérateurs apportent en permanence des améliorations à leur réseau, tant en matière de qualité de service que pour accroître la couverture. Les travaux qu'ils mènent dans ce but peuvent, pendant leur durée d’exécution et sur des zones géographiquement limitées, entraîner une dégradation momentanée de la qualité de service.

Afin notamment de rendre l’étude plus représentative de l’usage des services de téléphonie mobile, chacun des trois réseaux a été testé avec deux terminaux bi-bande correspondant aux meilleures ventes récentes de packs de chaque opérateur. Les différences de performances existant naturellement entre les terminaux ont pu avoir une incidence, difficile à évaluer, sur les résultats des mesures effectuées sur chaque réseau.

Enfin, il convient de rappeler que, comme dans tout sondage, les résultats de la présente enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle qui contient le résultat selon une probabilité de 95%. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance.

Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la présente enquête ont été arrondis au % le plus proche. Il convient de rappeler que :

• la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme ;
• le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit.

Les enquêteurs munis de téléphones mobiles et les enquêteurs munis de téléphone fixe s’appellent entre eux sur les différents réseaux de téléphonie mobile à tester. Ils testent l’obtention de l’appel (absence d’échec), le maintien de la communication pendant 2 minutes (absence de coupure) et la qualité auditive de la communication.

Les appels sont passés pour partie du fixe vers le mobile (33%), et pour partie du mobile vers le fixe (67%).

Plusieurs situations d’utilisation sont testées :

• en voiture, en situation passager (sans antenne de toit),
• en piéton à l’extérieur,
• en piéton à l’intérieur de bâtiments,
• à bord des trains de banlieue,
• à bord des TGV.

Un complément de mesures est réalisé pour les SMS (service de messages courts).

Pour toutes les situations d’utilisation, les mesures sont menés simultanément sur les trois réseaux, au même endroit géographique. Chaque réseau est testé par un " binôme " d’enquêteurs, l’un mobile et l’autre fixe. Pour les SMS, les messages sont envoyés simultanément de chaque réseau à tester vers le même réseau et toujours au même endroit géographique.

En voiture, dans les trains de banlieue ou dans les TGV, un kit oreillette est utilisé. En mode piéton, le mobile est tenu à la main.

Les mesures piétons en intérieur (bureaux et habitations privés) sont réalisées en 1^er jour (pièces avec fenêtres), à moins de 3 mètres des ouvertures. Elles sont réparties entre les rez-de-chaussée et les étages de manière équitable, les sous-sols étant exclus.

Les horaires de mesures sont réparties de la manière suivante :

• pour les agglomérations de plus de 400 000 habitants : équi-répartition entre 12h et 22h en semaine,
• pour les agglomérations de 50 000 à 400 000 habitants : partage entre heures de pointe de 12h à 14h et de 17h à 21h en semaine (50%) et heures creuses de 9h à 12h et de 14h à 17h en semaine (50%),
• pour les trains de banlieue : entre 12h et 22h,
• pour les TGV : entre 9h et 21h,
• pour les SMS : entre 12h et 22h.

Les appels ont été effectués, à même proportion, avec deux types de mobiles bi-bande pour chaque réseau :

• NOKIA 3310 et ALCATEL One Touch 501 pour Orange,
• NOKIA 3310 et NOKIA 3210 pour SFR,
• NOKIA 3310 et SIEMENS A36 pour Bouygues Télécom.

Le choix des mobiles correspondent aux " packs " les plus vendus de chaque opérateur au cours des mois de mai, juin et juillet 2001.

Pendant tout le déroulement de l’enquête, les opérateurs ne connaissaient ni les jours, ni les lieux où s’effectuaient les mesures. Ils ne connaissaient pas non plus la liste des villes tirées au sort parmi les agglomérations de moins de 400 000 habitants et les abonnements utilisés dans le cadre de l’enquête.

L’échantillon a été construit de manière à :

• distinguer les différentes catégories de situations (voiture, piéton intérieur, piéton extérieur, zones géographiques, …),
• disposer d’un nombre suffisant de mesures dans chaque catégorie en vue d’obtenir une précision statistique satisfaisante,
• répartir les mesures, au sein de chaque catégorie, selon des conditions représentatives des utilisations les plus courantes.

Les mesures pour chaque opérateur sont réparties de la manières suivante 

2.1 Sélection des agglomérations

Les grandes agglomérations, de plus de 400 000 habitants, sont, depuis le recensement de la population française de mars 1999, au nombre de 12 : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. Toutes ont été retenues et testées, en distinguant les " zones très denses " et " autres zones denses " selon les critères suivants :

• Zones très denses : centre ville de la ou des communes principales, zones de transit (gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et autoroutes dans les limites de l’agglomération,
• Autres zones denses : continuum bâti autour de la zone très dense, autres centres villes de plus de 5000 habitants, autres axes urbains au sein de l’agglomération.

Pour les agglomérations 50 000 à 400 000 habitants, un tirage au sort a été effectué selon la même méthode que les années précédentes :

• choix d’un nombre d’agglomérations optimal de manière à effectuer, dans chaque agglomération, un nombre de mesures qui soit cohérent avec sa taille,
• tirage aléatoire des agglomérations, avec une probabilité fonction logarithmique de la population,
• rectification du tirage pour équilibrer les diverses régions du territoire.

Cette méthode de tirage renforce volontairement la représentation des petites agglomérations par rapport à un tirage où chaque agglomération aurait été affectée d’une probabilité proportionnelle à sa population.

Les 20 villes tirées au sort sont par ordre alphabétique : Amiens, Angers, Bayonne, Beziers, Bourg-en-Bresse, Bourges, Calais, Clermont-Ferrand, Dunkerque, Le Havre, Maubeuge, Meaux, Montluçon, Montpellier, Nancy, Niort, Rouen, St-Nazaire, Tours et Valence.

La sélection des agglomérations est récapitulée dans le tableau suivant :

2.2 Conditions de mesures dans les agglomérations

Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte :

• Localisation des mesures

D’une façon générale, l’extension de chaque agglomération testée correspond à la définition de l’INSEE donnant la liste des communes appartenant à l’agglomération.

Les grandes agglomérations de plus de 400 000 habitants sont subdivisées en " zones très denses " et " autres zones denses " comme il est expliqué plus haut. Dans les autres agglomérations, sont distinguées la " ville ", qui est la commune principale, et la " banlieue " qui correspond au reste de l’agglomération.

• Mesures en voiture

Dans les grandes agglomérations de plus de 400 000 habitants, le territoire à tester est divisé en zones de surfaces équivalentes, avec un certain nombre d’appels à effectuer. Certains points de passage obligés sont déterminés. Les enquêteurs ajustent leurs parcours en fonction du terrain (circulation et sens interdits), l’objectif étant de couvrir équitablement la zone.

Dans les autres agglomérations, les mesures sont réparties pour 2/3 en ville et 1/3 dans le reste de l’agglomération. Elles sont effectuées sur des parcours incluant les axes principaux et, dans les zones bâties (centre ville, aéroport, gare, lieux touristiques, zones d’activités), avec certains points de passage obligés établis pour chaque agglomération.

• Mesures piétons

La répartition des mesures effectuées à pied à l’extérieur et à l’intérieur des bâtiments est donnée par le tableau du début du §2.

Dans les grandes agglomérations de plus de 400 000 habitants, les mesures sont réparties selon le même principe de division en zones de surfaces équivalentes que pour les mesures en voiture. Dans les autres agglomérations, les mesures sont effectuées dans les zones bâties, avec une répartition 2/3 en ville, 1/3 dans le reste de l’agglomération. Partout, il a été évité de faire des mesures aux mêmes endroits que celles effectuées en voiture et ces mesures ont été dispersées le plus possible sur le territoire à tester.

Les mesures sont faites pour 2/3 en déplacement et 1/3 à l’arrêt. En chaque point mesuré, une seule mesure est réalisée de façon à obtenir la meilleure dispersion géographique. Les emplacements sont choisis parmi les zones fréquentées par les piétons (zones bâties, parcs et jardins, plages, ...).

Tous les appels sont passés en 1^er jour (pièce avec fenêtre) à moins de 3 mètres des ouvertures, sans se déplacer, aux rez-de-chaussée et dans les étages, les sous-sols étant exclus.

Dans certains lieux publics (gares par exemple) la notion de 1^er jour n’a pas de sens particulier. Les mesures se font alors dans les emplacements fréquentés. Aucune mesure n’est faite en sous sol.

Les mesures sont réparties selon le type de bâtiment : 50% dans les lieux publics, 30% dans les immeubles de bureaux privés, 20% dans des locaux d’habitation privés. La dispersion des mesures est assurée de la façon suivante :

• dans les lieux publics de grande superficie : 3 à 4 mesures ;
• dans les lieux publics de petite surface : 2 mesures ;

• dans les lieux privés (bureaux ou habitations) : 2 à 4 mesures selon la surface, réparties dans l’ensemble du bâtiment, entre étages et pièces
  

L’importance du réseau de banlieue est très inégale selon les agglomérations. Seules Paris, Lyon, Marseille-Aix-en-Provence et Lille ont des réseaux de banlieue importants, par rapport à toutes les autres. Les mesures ont donc été réalisées dans ces quatre agglomérations, selon les proportions suivantes : 64% à Paris, 14% à Marseille-Aix-en-Provence, 13% à Lyon et 9% à Lille.

Les différentes positions des enquêteurs dans les rames ont été testées : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour. Les trois enquêteurs sont toujours groupés pour évaluer les trois réseaux dans les mêmes conditions

2.4 Sélection et conditions de mesures dans les TGV

Les lignes de TGV testées dans les 2 sens sont : Paris - Lille, Paris - Bordeaux, Paris - Arras, Paris - Lyon, Paris - Rennes, Paris - Nantes, Paris - Calais (Eurostar), et enfin Lille - Lyon.

Les différentes positions des enquêteurs dans les rames ont été testées : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour. Les trois enquêteurs sont toujours groupés pour évaluer les trois réseaux dans les mêmes conditions.

Pour chaque opérateur, les mesures sont réalisées pour des messages SMS envoyés depuis et vers des mobiles du réseau de l’opérateur. Le mobile de réception est situé en zone couverte et reste statique.

Le message SMS envoyé est identique pour tous les opérateurs et pour toutes les mesures. ; il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (" ABCD … XYZ "). La durée entre l’émission et la réception du message est mesurée ; le contenu de ce message est aussi vérifié sans erreur lors de sa réception ; et enfin, l’horodatage du message reçu permet d’identifier le message émis de manière certaine. Sur le mobile de réception, le message reçu est effacé avant l’envoi du message suivant.

Les mesures sont réparties aléatoirement et de façon homogène sur l’ensemble des 12 grandes agglomérations et pour tous les opérateurs en même temps. Les séries d’appels sont faits des " NOKIA 3310 " de chaque opérateur vers les " Siemens A36 / Alcatel One Touch 501 / Nokia 3210 " de ces opérateurs (50%) et inversement (50%).

Ces séries de mesures sont redécoupées en 2 scénarii avec une répartition de 50% chacun :

• envoi d’un SMS à un mobile allumé (situé dans un état de veille ou en cours de communication téléphonique) : la durée est mesurée entre le moment de l’émission du SMS sur le mobile émetteur et le moment de la réception de celui-ci sur le mobile de réception,
• envoi d’un SMS à un mobile éteint : lors de l’émission du SMS sur le mobile émetteur, le mobile de réception est éteint ; après une durée minimum d’1min30, le mobile de réception est allumé ; la durée est mesurée entre le moment où le mobile de réception s’accroche sur son réseau et le moment de la réception du SMS sur ce mobile.

Au delà d’une durée de 5 minutes, le message est considéré comme non reçu. Tout message non envoyé par refus du réseau est considéré comme non reçu.

La qualité auditive est notée par les enquêteurs mobiles et fixes, selon une échelle à 4 niveaux :

• Parfaite : aucune perturbation. Qualité équivalente à celle du réseau fixe.
• Acceptable : un peu gêné dans l’écoute par quelques perturbations qui ne gênent toutefois pas la conversation.
• Médiocre : fréquemment gêné dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre.
• Mauvais : il est très difficile de s’entendre, la conversation est impossible.

Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. N’est retenue que l’appréciation la plus sévère des deux.

La particularité du " handover " (cliquetis lors du changement de cellule) est exclue de l’appréciation de la qualité auditive.

Des dispositions ont été prises à la fois pour garantir une appréciation objective de la qualité de la part des enquêteurs, et pour éviter les divergences d’évaluation et leurs conséquences sur les résultats. Les enquêteurs ont été formés spécifiquement pour identifier les perturbations typiques pouvant survenir sur les réseaux de téléphonie mobile et qualifier les communications de façon rigoureuse.

Les mesures prises pour garantir un étalonnage objectif et homogène de la qualité auditive sont :

• formation des enquêteurs pour identifier les perturbations typiques pouvant survenir sur les réseaux mobiles numériques (écho, bruit métallique, handover, souffle, ...),
• formation et entraînement à l'étalonnage des qualités auditives d'après des enregistrements sonores (de la campagne de mesures de l’année précédente ou spécifiquement créés) et contrôle de la dispersion des résultats,
• campagne de mesures à blanc en situation réelle et analyse : application de procédures, enregistrement des données pour tous les enquêteurs mobiles et fixes, et analyse des résultats,
• contrôle par des superviseurs au cours des mesures réelles : écoute discrète semi-aléatoire et contrôle des données enregistrées tout au long de l’enquête,
• analyse quotidienne de cohérence des résultats obtenus : divers états de sortie statistiques permettent de noter les divergences d’appréciation de la qualité auditive par enquêteur (fixe et / ou mobile), par mobile, par type d’usage, … et de recalibrer cette appréciation,

• permutation des binômes fixes et mobiles sur chaque réseau et entre-eux : lissage des différences d’appréciation de la qualité auditive dans un même groupe et dans des groupes différents.

Avant le début de l’enquête, tous les matériels utilisés ont été vérifiés par le consultant .La vérification consiste à contrôler le bon fonctionnement comme le ferait un usager classique en vérifiant notamment le bon accrochage du réseau, le contrôle de la batterie et les premières communications.

Au cours de l'enquête, l'apparition d'éventuels problèmes de fonctionnement est surveillée en temps réel. S’il en apparaît et qu'ils proviennent du matériel utilisé, les mesures sont marquées de manière spécifique dans la base pour ne pas être prises en compte dans les résultats. Ces mesures sont alors refaites après correction du problème

Les mesures ont été effectuées entre le 22 octobre et le 30 novembre 2001 :

• pour les agglomérations de tout type : du 22 au 24 octobre 2001, et du 31 octobre au 30 novembre 2001,
• pour les trains de banlieue et les TGV : du 5 novembre au 23 novembre 2001,
• pour les SMS : du 25 au 30 octobre 2001

Un chef de projet, deux superviseurs et une assistante assurent la formation des équipes, l’organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête.

Les mesures en agglomérations sont réalisées par trois équipes de 7 personnes (1 chauffeur, 3 enquêteurs mobiles, 3 enquêteurs fixes), les mesures dans les trains de banlieue par une équipe de 6 personnes (3 enquêteurs mobiles et 3 enquêteurs fixes), les mesures dans les TGV par une équipe de 6 personnes (3 enquêteurs mobiles et 3 enquêteurs fixes) et les mesures des SMS par deux équipes de 2 enquêteurs mobiles.

Au plus fort de l’enquête, 37 personnes ont été mobilisées pour réaliser l’enquête terrain.

Les enquêteurs fixes étaient situés dans le siège social du consultant à Plaisir (Yvelines).

Le travail de chaque équipe est guidé et sécurisé par une application informatique qui notamment rythme les appels et indique le sens de l’appel.

Chaque enquêteur fixe effectue la saisie des résultats de mesures et des repères topographiques, selon ses propres informations et celles que lui communique l’enquêteur mobile pendant les communications.

Les positions en voiture sont repérées par un système de localisation GPS automatique, et celles à pied par un système de localisation GPS manuel, ce qui permet de vérifier le respect des consignes concernant les trajets, de repérer les mesures, et d’aider au diagnostic en cas de problème.

Au cours de l’enquête, l’apparition d’éventuels problèmes de fonctionnement affectant anormalement la qualité sur un ou plusieurs réseaux est surveillée en permanence. S’ils proviennent du réseau d’un opérateur et sont non-récurrents, ils sont considérés comme des inconvénients subis par les clients, et les mesures sont prises en compte. S’ils sont récurrents (panne totale d’un réseau dans une zone par exemple), ils sont immédiatement signalés à l’Autorité de Régulation des Télécommunications, qui définit la conduite à tenir (suspendre les mesures puis refaire les mesures par exemple).

Le matériel utilisé par les enquêteurs (mobiles, batteries, chargeurs, kit oreillette) fait l’objet d’une attention particulière des enquêteurs pour éviter que des défaillances puissent influencer les résultats des mesures