Enquête d’évaluation de la qualité de service des réseaux
de téléphonie mobile en France menée en 1998

Pour la deuxième année consécutive, l’Autorité de régulation des télécommunications a mené, en concertation avec les opérateurs, une enquête d’évaluation de la qualité de service des réseaux de téléphonie mobile, telle qu’elle peut être perçue au quotidien par les clients des trois opérateurs.

Cette enquête, conduite par le cabinet Directique, s’est déroulée sur 6 semaines, entre le début du mois de septembre et la mi-octobre. Plus de 20 000 appels ont été réalisés, dans les conditions d’utilisation courantes du téléphone portable.

Plusieurs novations sont introduites dans l’enquête réalisée cette année :

L’accent mis sur les indicateurs de qualité
Les indicateurs permettant d’apprécier la qualité des communications téléphoniques ont été renforcés ou précisés :
•	les résultats rendent compte du taux de communications réussies dès la première tentative (et non plus dès la première ou dès la seconde) ; 
•	la mesure de la qualité auditive des communications distingue désormais les communications de qualité parfaite et celles de qualité acceptable.

Le test des services de messagerie vocale
L’enquête a permis d’évaluer le fonctionnement des services de messagerie vocale : dépôt, notification et restitution des messages. Au vu des résultats, il convient de constater que les services proposés par les trois opérateurs fonctionnent de manière tout à fait satisfaisante.

La comparaison des résultats 1997 et 1998
La présente publication présente une comparaison entre les résultats de 1997 et ceux de 1998, établie sur la base des indicateurs retenus l’an dernier.

Cette analyse intervient alors que divers commentaires, dont la presse s’est fait l’écho dans le courant de l’été, ont évoqué des phénomènes de saturation ponctuelle des réseaux. Les tableaux présentés dans la troisième partie font à cet égard apparaître, dans les plus grandes agglomérations et selon une évolution assez homogène, un moindre taux de réussite dans l’établissement des communications.

Au delà de ces comparaisons, il convient de souligner que la qualité des services de téléphonie mobile dans notre pays est globalement bonne.

Leur très grand succès, pleinement justifié, qu’exprime l’exceptionnelle croissance du marché des mobiles en France, crée chaque jour de nouveaux défis pour les opérateurs, mais leur impose une exigence renforcée de qualité, telle qu’elle est perçue par les consommateurs. La publication de ces résultats ne peut qu’encourager les opérateurs à poursuivre leurs actions en ce sens.

Perspectives d’évolution de l’enquête
Au cours des prochaines années, l’Autorité poursuivra son action d’information des consommateurs sur la qualité de service offerte par les réseaux de téléphonie mobile.

Les enquêtes menées jusqu’à présent ont fait ressortir la disponibilité satisfaisante du service, dans une lecture uniforme, indépendante de la taille de l’agglomération ou de l’axe routier considéré.

Alors que les trois réseaux en service sont désormais largement déployés sur tout le territoire métropolitain, il est souhaitable que les analyses à venir se rapprochent davantage des conditions les plus représentatives des habitudes des utilisateurs.

Dans cette perspective, plusieurs évolutions peuvent d’ores et déjà être envisagées :
•	une prise en compte plus large de la diversité du trafic des utilisateurs avec, notamment, l’introduction de tests “ mobile à mobile ” ;
•	une prise en compte des multiples formes d’utilisation, entre autres dans les différents types de transports terrestres ;
•	une évaluation de la qualité de service des réseaux dans des conditions plus difficiles, dans les zones très denses ou aux heures de pointe notamment.

J’invite le lecteur à prendre attentivement connaissance de l’avertissement et du descriptif des conditions techniques de l’enquête, avant d’aborder les parties consacrées aux résultats.

Je tiens par ailleurs à remercier, pour la qualité de son travail, le cabinet Directique qui a réalisé l’enquête.

Jean-Michel Hubert
Président

AVERTISSEMENT

Remarques générales
L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile dans les zones figurant sur les cartes de couverture commerciale des opérateurs. Elle n’a pas pour objet de comparer l’étendue des couvertures entre elles.
Les services de messagerie vocale ont été pour la première fois testés, afin de rendre compte de la fiabilité de leur fonctionnement global, et non de leur ergonomie.
Comme l’an passé, les opérateurs concernés par l’étude, à savoir France Télécom, SFR et Bouygues Télécom ont été associés à la définition de la méthodologie de la campagne de mesures.
Limites de l’exercice
L'évaluation porte sur la qualité des services de téléphonie mobile perçue par les clients, dans les conditions où ceux-ci les utilisent au quotidien. Toutefois, cette évaluation est menée sur une période limitée, qui ne peut rendre compte du fonctionnement de ces services sur des durées plus longues.
Il convient de souligner que les opérateurs apportent en permanence des améliorations à leur réseau, tant en matière de qualité de service que pour accroître la couverture. Les travaux qu'ils mènent dans ce but peuvent, sur des zones géographiquement limitées, entraîner une dégradation momentanée de la qualité de service.
Par ailleurs, l’Autorité souhaite attirer l’attention du lecteur sur la difficulté de comparer des réseaux GSM 900 et GSM 1800, en raison principalement des différences de technologie utilisée. En particulier, l’utilisation de deux versions d’un même terminal peut sans doute très légèrement influer sur les résultats.
Base utilisée pour constituer les échantillons
Les échantillons utilisés dans la présente enquête ont été tirés au sort sur la base des agglomérations et des axes routiers couverts par les trois réseaux. Il était donc nécessaire de tenir compte de la proportion des zones couvertes par les trois réseaux, telle qu’elle était au 1er août 1998.
Les proportions des agglomérations et des axes routiers qui étaient couverts par chaque opérateur au 1er août 1998 sont indiquées dans le tableau ci-dessous :
		Itinéris	SFR	Bouygues Télécom	
Agglomérations	plus de 400 000 habitants	100%	100%	80%	
(en nombre)	de 50 000 à 400 000 habitants	100%	100%	82%	
	de 20 000 à 50 000 habitants	100%	100%	77%	
Axes routiers (km)	Autoroutes et nationales
(bases = 9 100 et 25 000 km) 	99%	96%	68%	

Précision statistique
Enfin, il convient de rappeler que, comme tout sondage, les résultats de la présente enquête sont obtenus avec une certaine imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle qui contient le résultat selon une probabilité de 95 %. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance. Les résultats eux-mêmes ont été arrondis au % pour être en cohérence avec ces imprécisions.

SOMMAIRE

1. CARACTERISTIQUES TECHNIQUES DE L’ENQUETE	7
Configuration générale de l’enquête	8
Echantillon	9
Notation de la qualité	11
Calendrier de l’enquête	12
Equipes et déroulement de l’enquête	12
Carte des villes testées	13 
Carte des axes routiers testés	14
2. RESULTATS DE L’ENQUETE	15
Définitions	16
Itinéris	18
SFR	22
Bouygues Télécom	26
3. COMPARAISON AVEC LES RESULTATS DE L’ENQUETE MENEE EN 1997	31
Précautions et contexte de la comparaison	32
Itinéris	34
SFR	35
Bouygues Télécom	36

1. Caractéristiques techniques de l’enquête

1. Configuration générale de l’enquête
•	Tests du service de téléphonie mobile
Les enquêteurs munis de mobiles et les enquêteurs fixes s’appellent entre eux sur les différents réseaux de téléphonie mobile à tester.
Ils testent l’obtention de l’appel (absence d’échec), le maintien de la communication pendant 2 minutes (absence de coupure) et la qualité auditive de la communication. Les appels sont passés dans les deux sens : fixe vers mobile (1/3) et mobile vers fixe (2/3).
En cas d’échec ou de coupure dans les 5 premières secondes, une deuxième tentative est effectuée immédiatement. Suivant l'indicateur considéré, le maintien de la communication pendant 2 minutes est évalué sur la base des communications établies dès la première tentative ou celle des communications établies à la première ou la deuxième tentative.
Deux configurations sont testées :
- essais en voiture, avec un mobile portatif en situation conducteur (avec support mains-libres et micro-casque) ou passager (tenu à la main) ;
- essais piétons en extérieur ou à l’intérieur de bâtiments, avec un mobile portatif tenu à la main.
La configuration en voiture est réalisée selon deux variantes : avec antenne de toit et sans antenne de toit (utilisation de l’antenne intégrée au mobile).
Pour les mesures en voiture, les tests sont menés simultanément sur les trois réseaux à tester, depuis le même véhicule. Chaque réseau est testé par un “ couple ” d’enquêteurs, l’un mobile et l’autre fixe.
Pour les mesures piétons, les communications sont passées par le même enquêteur, successivement sur chacun des 3 réseaux. Les essais piétons en intérieur sont réalisés en 1er jour (pièces avec fenêtres), à moins de 3 mètres des ouvertures. Ils sont répartis entre les rez-de-chaussée et les étages, les sous-sols étant exclus.
Toutes les mesures, tant dans les agglomérations que sur les axes routiers, on été effectuées dans les zones couvertes au 1er août 1998 par les 3 opérateurs, sur la base des cartes de couverture commerciales fournies par ces derniers. L’enquête n’est pas destinée à mesurer ou à vérifier l’étendue de la couverture des réseaux.
Pendant tout le déroulement de l’enquête, les opérateurs ne connaissaient ni les jours, ni les lieux où s’effectuaient les mesures. Ils ne connaissaient pas non plus la liste des villes tirées au sort parmi les agglomérations de moins de 400 000 habitants.
•	Tests de la messagerie vocale
Les mesures sur la messagerie ont été effectuées dans 5 grandes agglomérations, dans des lieux bien couverts par les trois réseaux et sans déplacement. Les enquêteurs travaillaient seuls. Il utilisaient un mobile d’appel pour déposer les messages à l’attention du mobile de test, puis observaient le délai de notification du message, et, après un temps convenu, appelaient la messagerie avec le mobile de test pour obtenir la restitution du message. Les tests s’effectuaient séquentiellement sur les trois réseaux pour constituer une mesure complète.

2. Echantillon
L’échantillon a été construit de manière à, d’une part, distinguer les types d’utilisation et, d’autre part, disposer d’un nombre suffisant de mesures afin d’obtenir une précision satisfaisante pour chaque type d’utilisation.

2.1 Sélection des agglomérations
Les grandes agglomérations, de plus de 400 000 habitants, sont au nombre de 10. Toutes ont été retenues et testées, sauf les 2 (Bordeaux et Toulouse) qui n’étaient pas couvertes par l’un des réseaux au 1er août 1998. 
Les autres agglomérations ont été traitées en 2 sous-ensembles :
•	tirage de 20 agglomérations dans la catégorie de 50 000 à 400 000 habitants, au nombre de 98, parmi lesquelles 79 étaient couvertes par les trois réseaux au 1er août 1998. 
•	tirage de 20 agglomérations dans la catégorie de 20 000 et 50 000 habitants, au nombre de 120, dont 88 couvertes par les trois réseaux au 1er août 1998.
Parmi ces 2 sous-ensembles, le tirage au sort a été effectué selon la méthode suivante :
•	détermination d’un nombre d’agglomérations optimal dans chaque catégorie, de manière à effectuer, dans chaque agglomération, un nombre de mesures qui soit cohérent avec sa taille : 20 agglomérations à choisir parmi celles dont la population est comprise entre 50 000 et 400 000 habitants et 30, parmi celles dont la population est comprise entre 20 000 et 50 000 habitants ;
•	détermination d’une loi logarithmique de correspondance entre la population de l’agglomération et le nombre de mesures à y effectuer (si elle est tirée). Réglage de cette loi pour obtenir les bornes et le nombre total de mesures attendues ;
•	classement des agglomérations selon leur population, et subdivision en autant de classes que d’agglomérations à tirer, de façon que chaque classe totalise un nombre égal de mesures d’après la loi logarithmique définie ;
•	tirage aléatoire d’une agglomération par classe ;
•	rectification du tirage pour équilibrer les diverses régions du territoire, en remplaçant les agglomérations des régions excédentaires par les agglomérations des régions déficitaires les plus voisines sur la liste.

Cette méthode de tirage renforce volontairement la représentation des petites agglomérations par rapport à un tirage où chaque agglomération aurait été affectée d’une probabilité proportionnelle à sa population.
Cependant, on a pu vérifier a posteriori qu’un redressement qui reconstitue une représentativité proportionnelle à la population ne joue pas sensiblement sur les résultats (ne modifie que la première décimale des notes et non leur arrondi).

2.2 Conditions de mesures dans les agglomérations
Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte :
•	Localisation des tests
D’une façon générale, l’extension de chaque agglomération testée correspond à la définition de l’INSEE donnant la liste des communes appartenant à l’agglomération.
Dans chaque agglomération, on distingue la “ ville ”, qui est la commune principale, et la “ banlieue ” qui correspond au reste de l’agglomération. La répartition des différents tests entre ville et banlieue dépend du type de mesure effectuée.
•	Mesures en voiture 
Dans les grandes agglomérations, les mesures sont faites uniquement en banlieue, en configuration conducteur. Dans les autres agglomérations leur répartition est de 2/3 dans les villes et 1/3 dans les banlieues. Toutes les mesures y sont effectuées en configuration passager.
•	Répartition des mesures piétons (en extérieur / en intérieur)
Dans les grandes agglomérations, ces mesures sont réparties selon l’échantillon défini dans le tableau présenté page 9. Dans les autres agglomérations elles sont réparties pour 2/3 en extérieur et 1/3 en intérieur. Les résultats de ces mesures sont regroupés sous un seul indicateur.
Mesures piétons en extérieur
Toutes les mesures piétons en extérieur sont effectuées en zone bâtie, y compris en banlieues, en privilégiant les zones fréquentées. Les mesures sont faites pour 2/3 en déplacement et 1/3 sans. Elles sont réparties pour 2/3 dans les villes et 1/3 en banlieues. 
Mesures piétons en intérieur
Tous les appels sont passés en 1er jour (pièce avec fenêtre) à moins de 3 mètres des ouvertures, sans se déplacer. Dans certains lieux publics (gares par exemple) la notion de 1er jour n’a pas de sens particulier. Les essais se font alors dans les emplacements fréquentés. Aucune mesure n’est faite en sous sol. Dans les grandes agglomérations, les mesures sont réalisées pour moitié en villes et moitié en banlieues. Elles sont réparties selon le type de bâtiment : 50% dans les lieux ouverts au public, 30% dans les immeubles de bureaux, 20% dans des locaux d’habitation. 2/3 des mesures sont faites en rez-de-chaussée, 1/3 en étages (sous-sols exclus). Dans les autres agglomérations elles sont effectués uniquement dans des lieux ouverts au public, dans la ville principale.

2.3 Sélection et conditions de mesures sur les axes routiers
La sélection des axes routiers (autoroutes et nationales) à tester s’est faite en utilisant les trajets de liaison entre les agglomérations sélectionnées, ce qui, compte tenu leur tirage aléatoire, permet d’obtenir un ensemble représentatif des axes routiers. Le mode de parcours pour relier les agglomérations n’a pas été optimisé, de façon à totaliser un kilométrage suffisant pour obtenir le nombre de mesures recherché.
Les axes routiers ainsi sélectionnés avaient un trafic routier moyen supérieur à 4 000 véhicules par jour.

Les mesures ont été effectuées en configuration conducteur et réparties par moitié avec et sans antenne de toit.

3. Notation de la Qualité
La qualité auditive est notée par les enquêteurs mobiles et fixes, qui conversent en permanence, selon une échelle à 4 niveaux :
•	Parfaite : aucune perturbation. Qualité équivalente à celle du réseau fixe.
•	Acceptable : un peu gêné dans l’écoute par quelques perturbations qui ne gênent toutefois pas la conversation.
•	Médiocre : fréquemment gêné dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre.
•	Mauvais : il est très difficile de s’entendre, la conversation est impossible.
Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. N’est retenue que l’appréciation la plus sévère des deux.
Des dispositions ont été prises à la fois pour garantir une appréciation objective de la qualité de la part des enquêteurs, et pour éviter les divergences d’évaluation et leurs conséquences sur les résultats : les enquêteurs ont été formés spécifiquement pour identifier les perturbations typiques pouvant survenir sur les réseaux mobiles numériques et pour qualifier les communications de façon rigoureuse, notamment à l’aide d’échantillons de communications enregistrées. Puis, pendant l’enquête, ils sont permutés régulièrement sur les réseaux à tester. Au cours des mesures, enfin, ils sont contrôlés par un superviseur.

4. Calendrier de l’enquête
Les mesures ont été effectuées pendant la période du 31 août au 9 octobre 1998. Les appels ont été répartis sur la plage horaire 8 h - 21 h.

5. Equipes et déroulement de l’enquête
Un chef de projet et un superviseur assurent la formation des équipes, l’organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête.
Les tests en voiture sont réalisés par une équipe de 7 personnes : 1 chauffeur, 3 enquêteurs mobiles, 3 enquêteurs fixes.
Les tests piétons sont réalisés par une équipe de 2 enquêteurs : 1 enquêteur mobile et 1 enquêteur fixe.
Au total, 20 personnes ont été mobilisées pour réaliser l’enquête terrain.
Les enquêteurs fixes sont basés dans les locaux du cabinet Directique (à Paris).
Le travail de chaque équipe est guidé et sécurisé par une application informatique qui rythme les appels, indique le sens de l’appel, etc...
Chaque enquêteur fixe effectue la saisie des résultats de mesures et des repères topographiques, selon ses propres informations et celles que lui communique l’enquêteur mobile pendant les communications (en cas d’échec ou de coupure, l’appréciation sur la qualité est communiquée au cours de la communication suivante).
Le matériel utilisé par les enquêteurs mobiles fait l’objet d’une attention particulière pour éviter que des problèmes puissent influencer les résultats des mesures. Tous les essais se font avec des mobiles 2W (1W en version GSM 1800) de même modèle, le Nokia 6110 (Nokia B 415 en version GSM 1800). L’ensemble du matériel (mobiles, kits, antennes) est contrôlé par des centres techniques des opérateurs, plusieurs fois pendant la durée de l’enquête, et les mobiles sont régulièrement permutés entre les réseaux à tester (pour les réseaux GSM 900).

Carte des villes testées

Carte des axes routiers testés

2. Résultats de l’enquête

Définitions

1. Service de téléphonie mobile

1.1 Définitions des indicateurs de qualité de service
Des indicateurs nouveaux, plus exigeants que ceux retenus lors de l’enquête menée en 1997, sont introduits cette année : le taux de communications réussies dès le premier essai et le taux de communications de qualité auditive parfaite.
Cette évolution correspond à une exigence plus forte des utilisateurs vis à vis du niveau de qualité des réseaux de téléphonie mobile, qui, du fait de leur banalisation, sont de plus en plus assimilés au téléphone filaire.

Indicateur	Définition	
taux de communications réussies dès le premier essai 	Une communication est considérée comme réussie si l’appel lancé par l’un des enquêteurs aboutit dès le premier essai et si la communication est maintenue 2 minutes sans coupure. Le taux est calculé sur la base du nombre total de mesures. Le complément à 100% est donc constitué du taux d’échecs après une tentative, plus le taux de coupures.	
taux de communications de qualité auditive parfaite	Une communication est considérée comme parfaite si la qualité auditive perçue par les deux interlocuteurs est parfaite (comparable à la qualité des communications sur le réseau fixe).	
taux de communications de qualité auditive acceptable	Une communication est considérée comme acceptable si la qualité auditive perçue par les deux interlocuteurs est perturbée légèrement sans toutefois gêner la conversation.	
taux de communications de qualité auditive correcte	Il s’agit de la somme des deux indicateurs précédents. Une communication est considérée comme correcte si la qualité auditive perçue par les deux interlocuteurs est soit parfaite, soit acceptable.	

Les taux de communications correctes ou parfaites sont calculés sur la base du nombre de communications réussies dès le premier essai (établies dès le premier essai et maintenues pendant 2 minutes).

1.2 Définition de la mesure
Une mesure consiste à tenter d’établir une communication, puis à évaluer la qualité auditive de la conversation, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois communications, qu’elles soient abouties ou non.

2. Service de messagerie vocale

Pour la première fois, les services de messagerie vocale ont été testés.

2.1 Définition de l’indicateur de qualité de service
•	indicateur de qualité du service de messagerie vocale :
Cet indicateur permet de rendre compte du fonctionnement global du service de messagerie vocale. Une mesure est considérée comme réussie si :
	- l’appelant accède à la messagerie et peut y déposer un message ;
	- la notification est observée par l’appelé dans un délai de 5 minutes ;
- l’appelé accède à sa messagerie, obtient l’annonce effective de la présence du message et prend connaissance de celui-ci.
Le taux est calculé sur la base du nombre total de mesures.

2.2 Définition de la mesure
Une mesure est constituée d’un ensemble complet d’opérations consistant à appeler le mobile pour lui déposer un message, jusqu'à la consultation du message par le mobile, et ceci sur chacun des trois réseaux.

ITINERIS

Résultats des tests du service de téléphonie mobile 

Grandes agglomérations (Paris, Lyon, Marseille-Aix-en-Provence, Lille, Nice-Antibes-Cannes, Nantes, Toulon et Grenoble)

Mesures piétons sur l'ensemble de l’agglomération
		Piéton en extérieur	Piéton en intérieur	
Taux de communications 		1535 mesures	1532 mesures	
réussies dès le premier essai		98%	92%	
	précision statistique	± 0,7%	± 1,4%	
dont de qualité	parfaite	86%	76%	
	précision statistique	± 1,8%	± 2,2%	
	acceptable	12%	18%	
	précision statistique	± 1,7%	± 2,0%	
	correcte (parfaite + acceptable)	98%	94%	
	précision statistique	± 0,7%	± 1,2%	

Mesures en voiture dans les banlieues uniquement
		Voiture sans antenne extérieure	
Taux de communications 		541 mesures	
réussies dès le premier essai		92%	
	précision statistique	± 2,3%	
dont de qualité	parfaite	84%	
	précision statistique	± 3,2%	
	acceptable	13%	
	précision statistique	± 2,9%	
	correcte (parfaite + acceptable)	97%	
	précision statistique	± 1,5%	

Les mesures ont été réalisées entre le 31 août et le 9 octobre 1998 de 8 h à 21 h.
Toutes les agglomérations de plus de 400 000 habitants ont été testées sauf Bordeaux et Toulouse, non couvertes par l'un des opérateurs au 1er août 1998.
Tous les appels sont répartis pour 2/3 du mobile vers le fixe et 1/3 du fixe vers le mobile.
Les tests en voiture ont été effectués en banlieue (hors commune principale), avec des mobiles munis d’un kit sans antenne de toit. Les appels sont passés simultanément sur les 3 réseaux.
Les tests piétons en extérieur se répartissent pour 2/3 dans la ville pour 1/3 en banlieue, et sont passés pour 2/3 en déplacement et 1/3 sans.
Les tests piétons en intérieur sont répartis entre ville (50%) et banlieue (50%), et entre lieux publics (50%), immeubles de bureaux (30%) et habitations (20%). Ils sont tous réalisés en “ premier jour ” (pièce avec fenêtre) à moins de 3 mètres des ouvertures, 1/3 en étage et 2/3 en rez-de-chaussée (sous sols exclus).
Pour les tests piétons, les appels sont passés successivement sur les trois réseaux.
ITINERIS

Agglomérations entre 50 000 et 400 000 habitants

		Voiture sans
antenne extérieure	Piéton extérieur
et intérieur	
Taux de communications 		609 mesures	623 mesures	
réussies dès le premier essai		95%	95%	
	précision statistique	± 1,7%	± 1,7%	
dont de qualité	parfaite	86%	82%	
	précision statistique	± 2,8%	± 3,0%	
	acceptable	13%	15%	
	précision statistique	± 2,7%	± 2,9%	
	correcte (parfaite + acceptable)	99%	97%	
 	précision statistique	± 0,9%	± 1,3%	

Agglomérations entre 20 000 et 50 000 habitants

		Voiture sans
antenne extérieure	Piéton extérieur
et intérieur	
Taux de communications 		399 mesures	402 mesures	
réussies dès le premier essai		96%	96%	
	précision statistique	± 2,0%	± 2,0%	
dont de qualité	parfaite	89%	81%	
	précision statistique	± 3,1%	± 3,9%	
	acceptable	10%	15%	
	précision statistique	± 3,0%	± 3,5%	
	correcte (parfaite + acceptable)	99%	96%	
	précision statistique	± 1,0%	± 2,0%	

Mesures réalisées entre le 31 août et le 9 octobre 1998 de 8 h à 21 h, sur un échantillon représentatif de :
•	30 agglomérations de 20 000 à 50 000 habitants choisies parmi les 88 (sur 120) couvertes au 1er août 1998 par les trois réseaux testés
•	20 agglomérations de 50 000 à 400 000 habitants choisies parmi les 79 (sur 98) couvertes au 1er août 1998 par les trois réseaux testés.
Tous les appels sont répartis pour 2/3 du mobile vers le fixe et 1/3 du fixe vers le mobile.
Les tests piétons sont répartis pour 2/3 en extérieur et 1/3 en intérieur.
Les tests en voiture et les tests piétons en extérieurs sont répartis pour 2/3 dans les communes principales et 1/3 dans le reste de l’agglomération.
Les tests piétons en extérieur sont faits pour 2/3 en se déplaçant, et 1/3 sans.
Les tests piétons en intérieur ont tous été effectués dans les communes principales, dans les lieux ouverts au public.

ITINERIS

Axes routiers (autoroutes et nationales)

		Voiture sans antenne extérieure	Voiture avec antenne extérieure	
Taux de communications 		790 mesures	811 mesures	
réussies dès le premier essai		91%	95%	
	précision statistique	± 2,0%	± 1,5%	
dont de qualité	parfaite	78%	82%	
	précision statistique	± 3,0%	± 2,7%	
	acceptable	16%	14%	
	précision statistique	± 2,6%	± 2,4%	
	correcte (parfaite + acceptable)	94%	96%	
	précision statistique	± 1,7%	± 1,4%	

Mesures réalisées entre le 31 août et le 9 octobre 1998 de 8 h à 21 h, sur un échantillon représentatif de : 
·	3 700 km parmi les 9 000 km d’autoroutes
·	2 900 km (de trafic > à 4 000 véhicules / jour), parmi les 25 000 km de nationales
après sélection des axes couverts par les trois réseaux testés.
Les mesures ont été menées, pour moitié, avec une antenne extérieure (configuration conducteur), pour moitié, sans antenne extérieure (configuration passager).
Tous les appels sont répartis pour 2/3 du mobile vers le fixe et 1/3 du fixe vers le mobile
Les appels sont passés simultanément sur les trois réseaux.

 
ITINERIS

Résultats des tests du service de messagerie vocale

Nombre de mesures	300	
Indicateur de qualité de service	99%	
précision  	± 1,1%	

Mesures réalisées entre le 16 septembre et le 9 octobre 1998 sur un échantillon représentatif de 5 grandes agglomérations de plus de 400 000 habitants.
50% des dépôts de messages ont été effectués vers des mobiles allumés avec renvoi sur non réponse, et 50% vers des mobiles éteints. 
Une mesure est considérée comme réussie si :
•	l’appelant accède à la messagerie et peut y déposer un message ;
•	la notification est observée par l’appelé dans un délai de 5 minutes ;
•	l’appelé accède à sa messagerie, obtient l’annonce effective de la présence du message et prend connaissance de celui-ci.

SFR

Résultats des tests du service de téléphonie mobile 

Grandes agglomérations (Paris, Lyon, Marseille-Aix-en-Provence, Lille, Nice-Antibes-Cannes, Nantes, Toulon et Grenoble)

Mesures piétons sur l'ensemble de l’agglomération
		Piéton en extérieur	Piéton en intérieur	
Taux de communications 		1535 mesures	1532 mesures	
réussies dès le premier essai		96%	94%	
	précision statistique	± 0,9%	± 1,2%	
dont de qualité	parfaite	86%	79%	
	précision statistique	± 1,8%	± 2,1%	
	acceptable	12%	17%	
	précision statistique	± 1,7%	± 1,9%	
	correcte (parfaite + acceptable)	98%	96%	
	précision statistique	± 0,7%	± 1,0%	

Mesures en voiture dans les banlieues uniquement
		Voiture sans antenne extérieure	
Taux de communications 		541 mesures	
réussies dès le premier essai		90%	
	précision statistique	± 2,6%	
dont de qualité	parfaite	86%	
	précision statistique	± 3,0%	
	acceptable	12%	
	précision statistique	± 2,8%	
	correcte (parfaite + acceptable)	98%	
	précision statistique	± 1,3%	

Les mesures ont été réalisées entre le 31 août et le 9 octobre 1998 de 8 h à 21 h.
Toutes les agglomérations de plus de 400 000 habitants ont été testées sauf Bordeaux et Toulouse, non couvertes par l'un des opérateurs au 1er août 1998.
Tous les appels sont répartis pour 2/3 du mobile vers le fixe et 1/3 du fixe vers le mobile.
Les tests en voiture ont été effectués en banlieue (hors commune principale), avec des mobiles munis d’un kit sans antenne de toit. Les appels sont passés simultanément sur les 3 réseaux.
Les tests piétons en extérieur se répartissent pour 2/3 dans la ville pour 1/3 en banlieue, et sont passés pour 2/3 en déplacement et 1/3 sans.
Les tests piétons en intérieur sont répartis entre ville (50%) et banlieue (50%), et entre lieux publics (50%), immeubles de bureaux (30%) et habitations (20%). Ils sont tous réalisés en “ premier jour ” (pièce avec fenêtre) à moins de 3 mètres des ouvertures, 1/3 en étage et 2/3 en rez-de-chaussée (sous sols exclus). 
Pour les tests piétons, les appels sont passés successivement sur les trois réseaux.
SFR

Agglomérations entre 50 000 et 400 000 habitants

		Voiture sans
antenne extérieure	Piéton extérieur
et intérieur	
Taux de communications 		609 mesures	623 mesures	
réussies dès le premier essai		96%	95%	
	précision statistique	± 1,6%	± 1,8%	
dont de qualité	parfaite	92%	82%	
	précision statistique	± 2,2%	± 3,1%	
	acceptable	8%	14%	
	précision statistique	± 2,1%	± 2,8%	
	correcte (parfaite + acceptable)	99%	96%	
	précision statistique	± 0,7%	± 1,6%	

Agglomérations entre 20 000 et 50 000 habitants

		Voiture sans
antenne extérieure	Piéton extérieur
et intérieur	
Taux de communications 		399 mesures	402 mesures	
réussies dès le premier essai		96%	96%	
	précision statistique	± 2,0%	± 2,0%	
dont de qualité	parfaite	91%	82%	
	précision statistique	± 2,9%	± 3,8%	
	acceptable	8%	13%	
	précision statistique	± 2,7%	± 3,3%	
	correcte (parfaite + acceptable)	99%	95%	
	précision statistique	± 1,0%	± 2,1%	

Mesures réalisées entre le 31 août et le 9 octobre 1998 de 8 h à 21 h, sur un échantillon représentatif de :
•	30 agglomérations de 20 000 à 50 000 habitants choisies parmi les 88 (sur 120) couvertes au 1er août 1998 par les trois réseaux testés
•	20 agglomérations de 50 000 à 400 000 habitants choisies parmi les 79 (sur 98) couvertes au 1er août 1998 par les trois réseaux testés.
Tous les appels sont répartis pour 2/3 du mobile vers le fixe et 1/3 du fixe vers le mobile.
Les tests piétons sont répartis pour 2/3 en extérieur et 1/3 en intérieur.
Les tests en voiture et les tests piétons en extérieurs sont répartis pour 2/3 dans les communes principales et 1/3 dans le reste de l’agglomération.
Les tests piétons en extérieur sont faits pour 2/3 en se déplaçant, et 1/3 sans.
Les tests piétons en intérieur ont tous été effectués dans les communes principales, dans les lieux ouverts au public.

SFR

Axes routiers (autoroutes et nationales)

		Voiture sans antenne extérieure	Voiture avec antenne extérieure	
Taux de communications 		790 mesures	811 mesures	
réussies dès le premier essai		91%	93%	
	précision statistique	± 2,0%	± 1,8%	
dont de qualité	parfaite	76%	86%	
	précision statistique	± 3,0%	± 2,5%	
	acceptable	20%	10%	
	précision statistique	± 2,9%	± 2,1%	
	correcte (parfaite + acceptable)	96%	96%	
	précision statistique	± 1,4%	± 1,4%	

Mesures réalisées entre le 31 août et le 9 octobre 1998 de 8 h à 21 h, sur un échantillon représentatif de : 
·	3 700 km parmi les 9 000 km d’autoroutes
·	2 900 km (de trafic > à 4 000 véhicules / jour), parmi les 25 000 km de nationales
après sélection des axes couverts par les trois réseaux testés.
Les mesures ont été menées, pour moitié, avec une antenne extérieure (configuration conducteur), pour moitié, sans antenne extérieure (configuration passager).
Tous les appels sont répartis pour 2/3 du mobile vers le fixe et 1/3 du fixe vers le mobile
Les appels sont passés simultanément sur les trois réseaux.

SFR

Résultats des tests du service de messagerie vocale

Nombre de mesures	300	
Indicateur de qualité de service	96%	
précision  	± 2,3%	

Mesures réalisées entre le 16 septembre et le 9 octobre 1998 sur un échantillon représentatif de 5 grandes agglomérations de plus de 400 000 habitants.
50% des dépôts de messages ont été effectués vers des mobiles allumés avec renvoi sur non réponse, et 50% vers des mobiles éteints. 
Une mesure est considérée comme réussie si :
•	l’appelant accède à la messagerie et peut y déposer un message ;
•	la notification est observée par l’appelé dans un délai de 5 minutes ;
•	l’appelé accède à sa messagerie, obtient l’annonce effective de la présence du message et prend connaissance de celui-ci.

Bouygues Télécom

Résultats des tests du service de téléphonie mobile 

Grandes agglomérations (Paris, Lyon, Marseille-Aix-en-Provence, Lille, Nice-Antibes-Cannes, Nantes, Toulon et Grenoble)

Mesures piétons sur l'ensemble de l’agglomération
		Piéton en extérieur	Piéton en intérieur	
Taux de communications 		1535 mesures	1532 mesures	
réussies dès le premier essai		97%	89%	
	précision statistique	± 0,9%	± 1,6%	
dont de qualité	parfaite	92%	86%	
	précision statistique	± 1,4%	± 1,8%	
	acceptable	7%	12%	
	précision statistique	± 1,3%	± 1,6%	
	correcte (parfaite + acceptable)	99%	98%	
	précision statistique	± 0,5%	± 0,8%	

Mesures en voiture dans les banlieues uniquement
		Voiture sans antenne extérieure	
Taux de communications 		541 mesures	
réussies dès le premier essai		94%	
	précision statistique	± 2,1%	
dont de qualité	parfaite	93%	
	précision statistique	± 2,3%	
	acceptable	6%	
	précision statistique	± 2,1%	
	correcte (parfaite + acceptable)	99%	
	précision statistique	± 1,0%	

Les mesures ont été réalisées entre le 31 août et le 9 octobre 1998 de 8 h à 21 h.
Toutes les agglomérations de plus de 400 000 habitants ont été testées sauf Bordeaux et Toulouse, non couvertes par l'un des opérateurs au 1er août 1998.
Tous les appels sont répartis pour 2/3 du mobile vers le fixe et 1/3 du fixe vers le mobile.
Les tests en voiture ont été effectués en banlieue (hors commune principale), avec des mobiles munis d’un kit sans antenne de toit. Les appels sont passés simultanément sur les 3 réseaux.
Les tests piétons en extérieur se répartissent pour 2/3 dans la ville pour 1/3 en banlieue, et sont passés pour 2/3 en déplacement et 1/3 sans.
Les tests piétons en intérieur sont répartis entre ville (50%) et banlieue (50%), et entre lieux publics (50%), immeubles de bureaux (30%) et habitations (20%). Ils sont tous réalisés en “ premier jour ” (pièce avec fenêtre) à moins de 3 mètres des ouvertures, 1/3 en étage et 2/3 en rez-de-chaussée (sous sols exclus).
Pour les tests piétons, les appels sont passés successivement sur les trois réseaux.
Bouygues Télécom

Agglomérations entre 50 000 et 400 000 habitants

		Voiture sans
antenne extérieure	Piéton extérieur
et intérieur	
Taux de communications 		609 mesures	623 mesures	
réussies dès le premier essai		97%	96%	
	précision statistique	± 1,3%	± 1,6%	
dont de qualité	parfaite	94%	95%	
	précision statistique	± 1,9%	± 1,8%	
	acceptable	5%	4%	
	précision statistique	± 1,8%	± 1,6%	
	correcte (parfaite + acceptable)	99%	99%	
	précision statistique	± 0,8%	± 0,9%	

Agglomérations entre 20 000 et 50 000 habitants

		Voiture sans
antenne extérieure	Piéton extérieur
et intérieur	
Taux de communications 		399 mesures	402 mesures	
réussies dès le premier essai		93%	92%	
	précision statistique	± 2,5%	± 2,7%	
dont de qualité	parfaite	94%	92%	
	précision statistique	± 2,5%	± 2,7%	
	acceptable	5%	7%	
	précision statistique	± 2,2%	± 2,5%	
	correcte (parfaite + acceptable)	99%	99%	
	précision statistique	± 1,0%	± 1,0%	

Mesures réalisées entre le 31 août et le 9 octobre 1998 de 8 h à 21 h, sur un échantillon représentatif de :
•	30 agglomérations de 20 000 à 50 000 habitants choisies parmi les 88 (sur 120) couvertes au 1er août 1998 par les trois réseaux testés ;
•	20 agglomérations de 50 000 à 400 000 habitants choisies parmi les 79 (sur 98) couvertes au 1er août 1998 par les trois réseaux testés.
Tous les appels sont répartis pour 2/3 du mobile vers le fixe et 1/3 du fixe vers le mobile.
Les tests piétons sont répartis pour 2/3 en extérieur et 1/3 en intérieur.
Les tests en voiture et les tests piétons en extérieurs sont répartis pour 2/3 dans les communes principales et 1/3 dans le reste de l’agglomération.
Les tests piétons en extérieur sont faits pour 2/3 en se déplaçant, et 1/3 sans.
Les tests piétons en intérieur ont tous été effectués dans les communes principales, dans les lieux ouverts au public.

Bouygues Télécom

Axes routiers (autoroutes et nationales)

		Voiture sans antenne extérieure	Voiture avec antenne extérieure	
Taux de communications 		790 mesures	811 mesures	
réussies dès le premier essai		92%	92%	
	précision statistique	± 2,0%	± 1,9%	
dont de qualité	parfaite	86%	93%	
	précision statistique	± 2,4%	± 1,8%	
	acceptable	12%	5%	
	précision statistique	± 2,3%	± 1,5%	
	correcte (parfaite + acceptable)	98%	98%	
	précision statistique	± 1,0%	± 1,0%	

Mesures réalisées entre le 31 août et le 9 octobre 1998 de 8 h à 21 h, sur un échantillon représentatif de : 
·	3 700 km parmi les 9 000 km d’autoroutes
·	2 900 km (de trafic > à 4 000 véhicules / jour), parmi les 25 000 km de nationales
après sélection des axes couverts par les trois réseaux testés.
Les mesures ont été menées, pour moitié, avec une antenne extérieure (configuration conducteur), pour moitié, sans antenne extérieure (configuration passager).
Tous les appels sont répartis pour 2/3 du mobile vers le fixe et 1/3 du fixe vers le mobile
Les appels sont passés simultanément sur les trois réseaux.

 
Bouygues Télécom

Résultats des tests du service de messagerie vocale

Nombre de mesures	300	
Indicateur de qualité de service	93%	
précision  	± 2,9%	

Mesures réalisées entre le 16 septembre et le 9 octobre 1998 sur un échantillon représentatif de 5 grandes agglomérations de plus de 400 000 habitants.
50% des dépôts de messages ont été effectués vers des mobiles allumés avec renvoi sur non réponse, et 50% vers des mobiles éteints. 
Une mesure est considérée comme réussie si :
•	l’appelant accède à la messagerie et peut y déposer un message ;
•	la notification est observée par l’appelé dans un délai de 5 minutes ;
•	l’appelé accède à sa messagerie, obtient l’annonce effective de la présence du message et prend connaissance de celui-ci.

3. Comparaison avec les résultats de l’enquête menée en 1997

Précautions et contexte de la comparaison

Il a semblé intéressant de mener une comparaison entre les résultats des tests effectués en 1997 et ceux de cette année. Pour cela, il a été nécessaire de tenir compte des précautions suivantes :

1. Indicateurs retenus
Les indicateurs retenus cette année étant plus exigeants que ceux de l’enquête menée en 1997, il a été décidé d’exprimer l’ensemble des résultats en fonction des indicateurs retenus en 1997, à savoir :
•	taux de communications réussies au premier ou au deuxième essai :
Une communication est considérée comme réussie si l’appel lancé par l’un des enquêteurs aboutit au premier ou au deuxième essai et si la communication est maintenue 2 minutes sans coupure. Le taux est calculé sur la base du nombre total de mesures. Le complément à 100% est donc constitué du taux d’échecs après deux tentatives, plus le taux de coupures.
•	taux de communications de qualité auditive correcte :
Une communication est considérée comme correcte si la qualité auditive perçue par les deux interlocuteurs est soit parfaite, soit perturbée légèrement sans toutefois gêner la conversation.

2. Bases géographiques
En premier lieu, il a été nécessaire de mener la comparaison pour les tests effectués dans les grandes agglomérations sur la même base géographique. Ainsi, elle ne porte que sur les trois grandes agglomérations de plus de 400 000 habitants testées à la fois en 1997 et en 1998, à savoir Paris, Lyon et Nice. Les résultats indiqués pour l’enquête menée en 1998 ne portent donc que sur les tests effectués dans ces agglomérations.
Ensuite, le changement de limites entre les catégories des grandes et des moyennes agglomérations n’introduit aucun biais pour la comparaison des résultats. L’an passé, la limite avait été fixée à 500 000 habitants (contre 400 000 cette année), mais aucune agglomération de plus de 400 000 habitants n’avait été retenue dans le tirage au sort pour la catégorie des agglomérations comprises entre 50 000 et 500 000 habitants.
Compte tenu de l’évolution de la méthodologie de l’enquête, il n’a pas pu être possible de mener une comparaison pour les tests effectués sur les axes routiers. Notamment, le type d’antenne utilisé cette année à bord des véhicules présentait des caractéristiques techniques différentes de celui retenu l’an dernier.
Enfin, la répartition géographique des agglomérations comprises entre 20 000 à 400 000 habitants est différente de celle de l’enquête de 1997. En effet, seules les agglomérations couvertes par les trois réseaux ont été testées cette année. De ce fait, il n’a pas pu être possible de répartir, comme l’an dernier, les mesures sur l’ensemble du territoire métropolitain. Malgré les précautions prises, ce facteur peut avoir une incidence, difficile à évaluer, sur la comparaison.

3. Evolutions de la méthodologie
Afin de mieux rendre compte de l’évolution des technologies et des habitudes des utilisateurs des services de téléphonie mobile, il a été décidé de faire évoluer la méthodologie de l’enquête, par rapport à celle de l’an dernier, de la manière suivante :
	- choix d’un terminal différent de celui utilisé en 1997 ;
- dans les grandes agglomérations, les tests piétons (extérieurs ou intérieurs) ont été répartis pour 2/3 en déplacement et 1/3 sans (au lieu de 50/50% en 1997) et les tests piétons en intérieur ont été répartis pour 2/3 en rez-de-chaussée et 1/3 en étage (au lieu de 50/50% en 1997).
Même si elles peuvent aussi avoir une incidence, difficile à évaluer, sur la comparaison, ces évolutions doivent avant tout être considérées comme des améliorations d’ensemble, visant une meilleure représentativité de l’échantillon.

Comparaison des tests du service de téléphonie mobile

ITINERIS

Grandes agglomérations (limitées à : Paris, Lyon, Nice)

	Piéton en extérieur	Piéton en intérieur	
Taux de communications	1997	1998	1997	1998	
réussies au 1er ou au 2ème essai	98%	98%	94%	91%	
précision statistique	± 0,8%	± 0,9%	± 1,3%	± 2,0%	
dont de qualité correcte	98%	98%	95%	94%	
précision statistique	± 1,0%	± 1,0%	± 1,3%	± 1,7%	
Nombre de mesures	994	797	1172	825	

Agglomérations entre 20 000 et 400 000 habitants

	Piéton extérieur et intérieur	
	Agglomérations entre 50 000 et 400 000 h	Agglomérations entre 20 000 et 50 000 h	
Taux de communications	1997	1998	1997	1998	
réussies au 1er ou au 2ème essai	95%	97%	95%	98%	
précision statistique	± 1,8%	± 1,4%	± 2,2%	± 1,6%	
dont de qualité correcte	95%	98%	97%	95%	
précision statistique	± 1,7%	± 1,2%	± 1,8%	± 2,1%	
Nombre de mesures	619	623	426	402	

SFR

Grandes agglomérations (limitées à : Paris, Lyon, Nice)

	Piéton en extérieur	Piéton en intérieur	
Taux de communications	1997	1998	1997	1998	
réussies au 1er ou au 2ème essai	99%	97%	96%	94%	
précision statistique	± 0,6%	± 1,2%	± 1,2%	± 1,7%	
dont de qualité correcte	97%	98%	95%	96%	
précision statistique	± 1,1%	± 1,0%	± 1,2%	± 1,4%	
Nombre de mesures	994	797	1172	825	

Agglomérations entre 20 000 et 400 000 habitants

	Piéton extérieur et intérieur	
	Agglomérations entre 50 000 et 400 000 h	Agglomérations entre 20 000 et 50 000 h	
Taux de communications	1997	1998	1997	1998	
réussies au 1er ou au 2ème essai	97%	97%	92%	97%	
précision statistique	± 1,4%	± 1,3%	± 2,6%	± 1,7%	
dont de qualité correcte	96%	96%	96%	95%	
précision statistique	± 1,5%	± 1,6%	± 1,9%	± 2,1%	
Nombre de mesures	619	623	426	402	

Bouygues Télécom

Grandes agglomérations (limitées à : Paris, Lyon, Nice)

	Piéton en extérieur	Piéton en intérieur	
Taux de communications	1997	1998	1997	1998	
réussies au 1er ou au 2ème essai	98%	95%	91%	88%	
précision statistique	± 1,0%	± 1,5%	± 1,6%	± 2,2%	
dont de qualité correcte	97%	99%	95%	97%	
précision statistique	± 1,1%	± 0,8%	± 1,3%	± 1,2%	
Nombre de mesures	994	797	1172	825	

Dans la catégorie des agglomérations entre 20 000 et 400 000 habitants, le réseau de Bouygues Télécom n’a pas été testé en 1997.