Компания Systemics-PAB существует с 1990 г. и занимается измерениями и тестированием в области телекоммуникации, прежде всего - мобильных сетей. Агентство сотрудничает с такими брендами как Orange, Vodafone, Alcatel Lucent, Motorola, NSN и другие. Systemics-PAB – разрабатывает решения для нагрузочного тестирования сетей и анализа данных для телекоммуникационного и IT рынков. 

Исследование проводилось с 28 ноября по 8 декабря 2011 года в режиме "драйв-теста" с применением технических средств: модульной системы Diversity Benchmarker производства SwissQual AG, укомплектованной абонентскими терминалами Nokia C5, модемами  Sierra Wireless AirCard 503 и сканерами PCTel Seegull EX. Система Diversity Benchmarker была разработана специально для условий повышенной надежности в замерах QoE и QoS в ходе драйв-тестов. Измерительные системы, установленные на 7 автомобилях использовались экипажами в течение 10 дней одновременного тестирования радио покрытия, услуг передачи голоса и данных. 

"Исследований подобного масштаба в России до сих пор еще не проводилось, по крайней мере, мне не известно ни одного примера подобного рода", - уверен эксперт агентства MForum.ru Алексей Бойко. 

Используемое оборудование:

5 наборов для измерений качества передачи голоса, установленные в автомашинах, состояли из:

1 x SwissQual Diversity CBM (ПО версии 01.08)

1 x SwissQual Diversity PCM (ПО версии 10.6.6.8) со сканером PCTel SeeGull

3 x SwissQual Diversity PCM (ПО версии 10.6.6.8) с SwissQual Diversity MCM с телефоном Nokia C5

2 набора для исследования качества передачи данных, установленные в автомашинах, состояли из:

1 x SwissQual Diversity CBM (ПО версии 01.08)

1 x SwissQual Diversity PCM (ПО версии 10.6.6.8) со сканером PCTel SeeGull

3 x SwissQual Diversity PCM (ПО версии 10.6.6.8) каналы, основанные на использовании платы Sierra Wireless AirCard 503 Data Card

2 Diversity Voice Call Server (с интерфейсом E1)

2 FTP server (предоставленный независимым поставщиком, компанией RBC)

Вся обработка результатов тестирования проводилась с использованием SwissQual NQDI 10.6.6.8 post-processing tool и MS SQL tools.

В процессе тестирования, было проведено более 32 тысяч голосовых вызовов и установлено 14 тысяч соединений в режиме передачи данных. Сети 3G операторов Билайн, МегаФон и МТС исследовались по 15 основным параметрам. Отчет об исследовании включает выводы по отдельным KPI сетей 3G, в частности, по: доле прерываний при совершении голосовых вызовов, недоступности голосовой связи, времени установления доступа к голосовым сервисам, скорости FTP-доступа, времени отклика IP-сервисов, доле прерываний в режиме передачи данных. Выводы представлены ниже в отчете. 

Обследованные маршруты

Качество предоставления голосовых услуг

Недоступность голосовой связи (Voice Service Non-Accessibility)

Измерялся такой показатель, как недоступность услуги голосовой связи, описываемый отношением между безуспешными попытками осуществить вызов и всеми попытками (успешными и безуспешными). Этот параметр описывает вероятность, с которой абонент не может осуществить вызов. 

Таблица 1. Недоступность голосовой связи

По этому показателю лучшим среди операторов "большой тройки" является МТС с показателем 0.74%, худшим - "Билайн" с 1.18%. Все значения параметров являются неплохими и сравнимы с показателями ведущих европейских операторов связи.  

Рисунок 1. Недоступность голосовой связи

Доля прерываний при совершении голосовых вызовов (Voice Cut-of call ratio)

Этот показатель характеризует отношение между числом вызовов, завершившихся обрывами и общим числом удачно установленных вызовов. То есть это вероятность того, что звонок завершится обрывом связи. 

Таблица 2. Доля прерываний при совершении голосовых вызовов 

По данному показателю с существенным отрывом лидирует МТС, сеть компании демонстрирует наименьшую вероятность обрывов. Хуже других показал себя "МегаФон". Но вновь оговоримся - даже показатель 1.2% является приемлимым.

Рис. 2. Доля прерываний при совершении голосовых вызовов

Время установления доступа к голосовым сервисам (Voice Service Access Time)

Это задержка с момента начала установления вызова до момента, когда активирована голосовая услуга. Проще говоря, это время ожидания соединения, не самый важный показатель, приводим его для интересующихся.

Таблица 3. Время установления доступа к голосовым сервисам

Все операторы Б3 демонстрируют удовлетворительные и близкие показатели - от 5,3 до 5,75 секунды на установление соединения.  

Рисунок 3. Время установления доступа к голосовым сервисам, секунды

Итоги тестирования услуги передачи данных

Скорость FTP-доступа (FTP Mean User Data Rate)

Характеризует среднюю и максимальную скорость скачивания данных в сети. Измерялась скорость передачи данных при загрузке файла объемом 10 МБ с сервера RBC. 

Таблица 4. Скорость FTP-доступа

По данным измерений самую большую максимальную и среднюю скорости показывает сеть МТС, худшие результаты у сети Билайн (никаких сюрпризов). Разница в показателях существенная, примерно вдвое, как по пиковой, так и по средней скорости.  

Рисунок 4. Скорость FTP-доступа [кбит/с]

Время отклика IP-сервисов (IP-Service Access Time)

Показатель характеризует время, необходимое для установления соединения с сервером (время от отправления запроса абонентским оборудованием и до получения отклика). 

Таблица 5. Время отклика IP-сервисов, секунд

Быстрее других откликается сеть МТС, как в среднем, так и в абсолютных цифрах. Самая медленная - сеть МегаФон. Разница в средних значениях - более, чем вдвое.  

Рисунок 5. Время отклика IP-сервисов, секунд

Доля прерываний сеансов передачи данных (Data Transfer Cut-Off Ratio)

Это вероятность того, что интернет-сессия пользователя мобильного интернета будет неожиданно прервана. 

Таблица 6. Доля прерываний сеансов передачи данных 

Разница в показателях вновь в пользу МТС, сеть 3G этого оператора лидирует с гигантским отрывом от сети Билайн. Разница в показателях - более, чем в 5 раз! 

Рисунок 6.  Доля прерываний сеансов передачи данных 

"Результаты нового, более объемного теста, подтвержают результаты аналогичного исследования качества связи операторов Б3 в пределах Садового кольца. Можно отметить, что за прошедший период в месяц, никаких изменений ни в "расстановке сил", ни в параметрах сетей отдельных операторов, не появилось.
В целом тест интересен, методика его адекватна поставленным задачам. По совокупности представленных результатов убедительно лидирует МТС, к тому же, большинство показателей находятся, что называется, "в зеленой зоне" высокого качества. Вероятно, на сегодняшний день, если говорить о технических параметрах, следует рекомендовать абонентам подключаться прежде всего к сети МТС. 
В целом можно, на мой взгляд, сделать вывод о достаточно высоком качестве услуг российских операторов "большой тройки" на территории Москвы, подтвержденном инструментально", - комментирует эксперт MForum.ru, Алексей Бойко.  

Также по теме - контроль качества сетей сотовой связи