Téléchargement de l'enquête

INTRODUCTION

Pour la quatrième année consécutive, l'Autorité de régulation des télécommunications a mené, en concertation avec les opérateurs et les associations de consommateurs et d'utilisateurs, une enquête d'évaluation de la qualité de service des réseaux de téléphonie mobile en France métropolitaine, telle qu'elle peut être perçue au quotidien par les clients des trois opérateurs.

Cette enquête, conduite par Thales Idatys, s'est déroulée sur 4 semaines, entre mi-novembre et début décembre 2000. Plus de 18 000 appels ont été réalisés, dans les conditions d'utilisation courantes du téléphone portable.

Les problématiques " couverture " et " qualité de service "

Jusqu'à présent, l'enquête de l'Autorité s'attachait à rendre compte de deux problématiques distinctes, mais complémentaires, de la téléphonie mobile :

• tout d'abord, la qualité de service, c'est à dire la disponibilité du service, le maintien des communications et la qualité auditive de celles-ci. Des mesures étaient faites pour cela dans les plus grandes agglomérations, aux heures de pointe ;
  
• complémentairement à cela, la couverture, c'est à dire la disponibilité du service. A cet effet, des mesures dans les agglomérations de petite et de moyenne taille étaient plus particulièrement effectuées.

Désormais, deux enquêtes seront réalisées annuellement pour permettre aux consommateurs de mieux distinguer ce qui relève de l'une et l'autre de ces deux problématiques.

La présente enquête maintient l'accent sur la qualité de service. Celle-ci a été évaluée dans les plus grandes agglomérations et aux heures de pointe, c'est à dire dans les conditions les plus difficiles pour la planification des réseaux cellulaires.

L'Autorité prépare actuellement une seconde enquête, correspondant au volet " couverture ", qui rendra compte, plus spécifiquement, de la disponibilité des services de téléphonie mobile notamment dans des zones peu denses du territoire. Une méthodologie spécifique est en cours d'établissement ; les résultats seront rendus publics.

Principales évolutions par rapport à l'enquête menée en 1999

complémentairement à l'adoption de structure décrite ci-dessus, l'enquête menée en 2000 a évolué sur un certain nombre de points par rapport à celle menée en 1999 :

• tout d'abord, les agglomérations de plus de 400 000 habitants n'ont été testées que pendant les " heures de pointe ". En 1999, ces mêmes agglomérations avaient fait l'objet de tests sur l'ensemble de la journée, en distinguant les " heures creuses " et les " heures de pointe " ;
  
• l'enquête menée en 2000 permet pour la première fois de rendre compte de l'évolution, heure par heure, de la qualité de service pendant les heures de pointe. Ainsi, il est possible d'évaluer le niveau de qualité de service des réseaux aux créneaux horaires les plus chargés de la journée.
  
• enfin, contrairement à l'enquête menée en 1999, celle de 2000 n'a pas comporté de mesures concernant les lignes TGV. En revanche, les tests à bord des trains de banlieue ont été maintenus.

Les comparaisons entre les résultats des enquêtes 1999 et 2000 doivent, du fait de ces évolutions, ainsi que celles mentionnées au chapitre 3, être faites avec précaution.

Les principaux enseignements de l'enquête de cette année

Au vu des résultats de l'enquête, il est possible de tirer plusieurs enseignements :

• tout d'abord, et pour la deuxième année consécutive, l'enquête ne fait ressortir aucun phénomène de saturation dans les agglomérations de 50 000 à 400 000 habitants. En revanche, les agglomérations de plus de 400 000 habitants connaissent une variation effective de la qualité de service en fonction de la charge du réseau ;
  
• ainsi, dans les douze plus grandes agglomérations françaises, le taux d'échec et de coupure peut être multiplié par deux, voire trois, entre les heures de pointe "faiblement chargées" et les heures de pointe "très chargées" ;
  
• toutefois, l'impact pour les utilisateurs reste relativement limité : c'est ainsi que le taux de communications réussies et de qualité "correcte", s'il varie d'environ 4% en fonction de l'heure considérée, ne descend pas au-dessous de 93%.

J'invite le lecteur à prendre attentivement connaissance du descriptif des conditions techniques de l'enquête, avant d'aborder les parties consacrées aux résultats.

Je tiens par ailleurs à remercier, pour la qualité de son travail, Thales Idatys qui a réalisé l'enquête.

Jean-Michel Hubert
Président

L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile en France.

Les opérateurs concernés par l’étude, à savoir France Télécom, SFR et Bouygues Télécom, ainsi que des associations de consommateurs et d’utilisateurs ont été associés à la définition du cahier des charges de l’étude.

L'évaluation porte sur la qualité des services de téléphonie mobile perçue par les clients, dans les conditions où ceux-ci les utilisent au quotidien. Toutefois, cette évaluation est menée sur une période limitée, qui demeure donc la seule sur laquelle il est rendu compte du fonctionnement de ces services.

Il convient de souligner que les opérateurs apportent en permanence des améliorations à leur réseau, tant en matière de qualité de service que pour accroître la couverture. Les travaux qu'ils mènent dans ce but peuvent, pendant leur durée d’exécution et sur des zones géographiquement limitées, entraîner une dégradation momentanée de la qualité de service.

Afin notamment de rendre l’étude plus représentative de l’usage des services de téléphonie mobile, chacun des trois réseaux a été testé avec deux terminaux bi-bande correspondant aux meilleures ventes récentes de packs de chaque opérateur. Les différences de performances existant naturellement entre les terminaux ont pu avoir une incidence, difficile à évaluer, sur les résultats des mesures effectuées sur chaque réseau.

Enfin, il convient de rappeler que, comme dans tout sondage, les résultats de la présente enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle qui contient le résultat selon une probabilité de 95%. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance.

Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la présente enquête ont été arrondis au % le plus proche. Il convient de rappeler que :

• la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme ;
• le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit.

Les enquêteurs munis de mobiles et les enquêteurs fixes s’appellent entre eux sur les différents réseaux de téléphonie mobile à tester. Ils testent l’obtention de l’appel (absence d’échec), le maintien de la communication pendant 2 minutes (absence de coupure) et la qualité auditive de la communication.

Les appels sont passés pour partie de fixe vers mobile (33%), et pour partie de mobile vers fixe (67%).

Plusieurs situations d’utilisation sont testées : en voiture, en situation passager (sans antenne de toit), à pied en extérieur, à pied à l’intérieur de bâtiments, ainsi qu’à bord des trains de banlieue. En voiture ou dans les trains de banlieue, un kit oreillette est utilisé. En mode piéton, le mobile est tenu à la main. 

Pour les mesures en voiture, les tests sont menés simultanément sur les trois réseaux à tester, depuis le même véhicule. Chaque réseau est testé par un " couple " d’enquêteurs, l’un mobile et l’autre fixe. Les mesures dans les trains et les mesures à pied en extérieur procèdent de la même méthode.

Pour les mesures piétons en intérieur, les communications sont passées par le même enquêteur, successivement sur chacun des 3 réseaux. Les essais piétons en intérieur sont réalisés en 1^er jour (pièces avec fenêtres), à moins de 3 mètres des ouvertures. Ils sont répartis entre les rez-de-chaussée et les étages, les sous-sols étant exclus.

Pour les agglomérations de plus de 400 000 habitants, les mesures ont été réalisées exclusivement en heures de pointe (de 12h à 14h et de 17h à 21h en semaine), tandis que pour les agglomérations de 50 000 à 400 000 habitants, les mesures ont été partagées entre heures de pointe (40%) et heures creuses (de 9h à 12h et de 14h à 17h) (60%).

Les appels ont été effectués, à même proportion, avec deux types de mobiles bi-bande pour chaque réseau :

• NOKIA 3210 et ALCATEL one touch pour Itinéris ;
• SONY CD5 et PANASONIC GD 90 pour SFR ;
• NOKIA 3210 et SIEMENS C25 pour Bouygues Télécom.

Pendant tout le déroulement de l’enquête, les opérateurs ne connaissaient ni les jours, ni les lieux où s’effectuaient les mesures. Ils ne connaissaient pas non plus la liste des villes tirées au sort parmi les agglomérations de moins de 400 000 habitants et les abonnements utilisés dans le cadre de l’enquête.

L’échantillon a été construit de manière à :

• distinguer les différentes catégories de situations (voiture, piéton intérieur, piéton extérieur, zones géographiques, tranches horaires, …) ;
• disposer d’un nombre suffisant de mesures dans chaque catégorie en vue d’obtenir une précision statistique satisfaisante ;
• répartir les mesures, au sein de chaque catégorie, selon des conditions représentatives des utilisations les plus courantes.

Les grandes agglomérations, de plus de 400 000 habitants, sont, depuis le recensement de la population française de mars 1999, au nombre de 12 : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. Toutes ont été retenues et testées, en distinguant les "zones très denses" et "autres zones denses" selon les critères suivants :

• Zones très denses : centre ville de la ou des communes principales, zones de transit (gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et autoroutes dans les limites de l’agglomération ;
• Autres zones denses : continuum bâti autour de la zone très dense, autres centres villes de plus de 5000 habitants, autres axes urbains au sein de l’agglomération.

Pour les agglomérations 50 000 à 400 000 habitants, un tirage au sort a été effectué selon la même méthode que les années précédentes :

• choix d’un nombre d’agglomérations optimal de manière à effectuer, dans chaque agglomération, un nombre de mesures qui soit cohérent avec sa taille ;
• tirage aléatoire des agglomérations, avec une probabilité fonction logarithmique de la population ;
• rectification du tirage pour équilibrer les diverses régions du territoire.

Cette méthode de tirage renforce volontairement la représentation des petites agglomérations par rapport à un tirage où chaque agglomération aurait été affectée d’une probabilité proportionnelle à sa population.

La sélection des agglomérations est récapitulée dans le tableau suivant :

Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte :

• Localisation des tests

D’une façon générale, l’extension de chaque agglomération testée correspond à la définition de l’INSEE donnant la liste des communes appartenant à l’agglomération.

Les grandes agglomérations de plus de 400 000 habitants sont subdivisées en " zones très denses " et " autres zones denses " comme il est expliqué plus haut. Dans les autres agglomérations, on distingue la "ville", qui est la commune principale, et la " banlieue " qui correspond au reste de l’agglomération.

• Mesures en voiture

Dans les grandes agglomérations de plus de 400 000 habitants, le territoire à tester est divisé en zones de surfaces équivalentes, avec un certain nombre d’appels à effectuer. Certains points de passage obligés sont déterminés. Les enquêteurs ajustent leurs parcours en fonction du terrain (circulation et sens interdits), l’objectif étant de couvrir équitablement la zone.

Dans les autres agglomérations, les mesures sont réparties pour 2/3 en ville et 1/3 dans le reste de l’agglomération. Elles sont effectuées sur des parcours incluant les axes principaux et, dans les zones bâties (centre ville, aéroport, gare, lieux touristiques, zones d’activités), avec certains points de passage obligés établis pour chaque agglomération.

• Mesures piétons

La répartition des mesures effectuées à pied à l’extérieur et l’intérieur des bâtiments est donnée par l'avant-dernier tableau.

Dans les grandes agglomérations de plus de 400 000 habitants, les mesures sont réparties selon le même principe de division en zones de surfaces équivalentes que pour les mesures en voiture. Dans les autres agglomérations, on effectue les mesures dans les zones bâties, avec une répartition 2/3 en ville, 1/3 dans le reste de l’agglomération. Partout, on évite de faire des mesures aux mêmes endroits que celles effectuées en voiture et on les disperse le plus possible sur le territoire à tester.

Les mesures sont faites pour 2/3 en déplacement et 1/3 sans. En chaque point testé on ne réalise qu’une seule mesure de façon à les disperser le plus possible. Les emplacement sont choisis parmi les zones fréquentées par les piétons (zones bâties, parcs et jardins, plages, etc..).

Tous les appels sont passés en 1^er jour (pièce avec fenêtre) à moins de 3 mètres des ouvertures, sans se déplacer, aux rez-de-chaussée et dans les étages, les sous-sols étant exclus.

Dans certains lieux publics (gares par exemple) la notion de 1^er jour n’a pas de sens particulier. Les essais se font alors dans les emplacements fréquentés. Aucune mesure n’est faite en sous sol.

Les mesures sont réparties selon le type de bâtiment : 40% dans les lieux publics, 30% dans les immeubles de bureaux, 30% dans des locaux d’habitation. La dispersion des mesures est assurée de la façon suivante :

• dans les lieux publics de grande superficie : 3 à 4 mesures ;
• dans les lieux publics de petite surface : 2 mesures ;
• dans les lieux privés (bureaux ou habitations) : 2 à 4 mesures selon la surface, réparties dans l’ensemble du bâtiment, entre étages et pièces.

L’importance du réseau de banlieue est très inégale selon les agglomérations. Seules Paris, Lyon, Marseille et Lille ont des réseaux de banlieue importants, par rapport à toutes les autres. Les tests ont donc été réalisés dans ces quatre agglomérations, selon les proportions suivantes : 65% à Paris, 17% à Marseille, 10% à Lille et 8% à Lyon.

On a veillé à varier les positions dans les rames : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour. Les trois enquêteurs sont toujours groupés pour évaluer les trois réseaux dans les mêmes conditions. Les mesures ont été réalisées uniquement en heure de pointe.

La qualité auditive est notée par les enquêteurs mobiles et fixes, selon une échelle à 4 niveaux :

• Parfaite : aucune perturbation. Qualité équivalente à celle du réseau fixe.
• Acceptable : un peu gêné dans l’écoute par quelques perturbations qui ne gênent toutefois pas la conversation.
• Médiocre : fréquemment gêné dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre.
• Mauvais : il est très difficile de s’entendre, la conversation est impossible.

Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. N’est retenue que l’appréciation la plus sévère des deux.

Des dispositions ont été prises à la fois pour garantir une appréciation objective de la qualité de la part des enquêteurs, et pour éviter les divergences d’évaluation et leurs conséquences sur les résultats : les enquêteurs ont été formés spécifiquement pour identifier les perturbations typiques pouvant survenir sur les réseaux de téléphonie mobile et qualifier les communications de façon rigoureuse, notamment à l’aide d’échantillons de communications enregistrées. Par ailleurs, pendant toute la durée de l’enquête, ils sont permutés régulièrement sur les réseaux à tester et contrôlés par un superviseur.

Les mesures ont été effectuées pendant la période du 13 novembre au 8 décembre 2000.

Un chef de projet et un superviseur assurent la formation des équipes, l’organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête.

Les tests en voiture sont réalisés par une équipe de 7 personnes (1 chauffeur, 3 enquêteurs mobiles, 3 enquêteurs fixes) les tests piétons par une équipe de 6 enquêteurs (3 enquêteurs mobiles et 3 enquêteurs fixes) ou par une équipe de 2 enquêteurs (1 enquêteur mobile et 1 enquêteur fixe) et les tests dans les trains par une équipe de 6 enquêteurs (3 enquêteurs mobiles et 3 enquêteurs fixes).

Au total, 29 personnes ont été mobilisées pour réaliser l’enquête terrain.

Les enquêteurs fixes étaient situés à Sèvres.

Le travail de chaque équipe est guidé et sécurisé par une application informatique qui notamment rythme les appels et indique le sens de l’appel.

Chaque enquêteur fixe effectue la saisie des résultats de mesures et des repères topographiques, selon ses propres informations et celles que lui communique l’enquêteur mobile pendant les communications.

Les positions en voiture et à pied sont repérées par un système de localisation GPS, ce qui permet de vérifier le respect des consignes concernant les trajets, de repérer les mesures, et d’aider au diagnostic en cas de problème.

Au cours de l’enquête, l’apparition d’éventuels problèmes de fonctionnement affectant anormalement la qualité sur un ou plusieurs réseaux est surveillée en permanence. S’il en apparaît, et s’ils s’avèrent provenir du matériel utilisé, les mesures doivent être éliminées et refaites après correction du problème. S’ils proviennent du réseau d’un opérateur et sont non-récurrents, ils sont considérés comme des inconvénients subis par les clients, et les mesures sont prises en compte. S’ils sont récurrents (panne totale d’un réseau dans une zone par exemple), ils sont immédiatement signalés à l’Autorité, qui définit la conduite à tenir (suspendre les mesures puis refaire les mesures par exemple).

Le matériel utilisé par les enquêteurs (mobiles, batteries, chargeurs) fait l’objet d’une attention particulière des enquêteurs pour éviter que des défaillances puissent influencer les résultats des mesures.