Важное предисловие

В драйв-тесте кроме представителя «Мобильного форума» принимали участие технические специалисты компаний «МегаФон» и «ВымпелКом», использовалось два комплекта измерительного оборудования, а также приглашенные журналисты. Проведение драйв-теста освещают информационные спонсоры мероприятия – телеканал REN-TV, информационное агентство «ПРАЙМ-ТАСС» (проект БИТ), проект ZOOM агентства CNews, журналы «Мобильные системы» и «Мобильный портал», интернет-проект «Ячейки.ru». Анонс драйв теста (25.05.2004) и репортаж с трассы (26.05.2004) читайте на MForum. Сегодня мы публикуем первые результаты нашего исследования – данные по измерениям в Московской области.

До недавнего времени, при проведении мероприятий по измерению уровня радиосигнала в сетях сотовых операторов, то есть при осуществлении драйв-тестов покрытия, наша команда, ныне команда MForum, всячески избегала определения «качество связи». Тем не менее, каждый драйв-тест, а их за последние два года было проведено, не много, не мало, а уже пять, являлся своего рода экспериментальным исследованием радиопокрытия сетей операторов сотовой связи стандарта GSM. До сих пор, проверки проводились в режиме Idle mode, то есть в точках контроля терминалом измерительного комплекса измерялся уровень сигнала радиоподсети оператора.

Как всем известно, качество связи определяется далеко не только уровнем сигнала (хотя его значение заметно влияет на качество и на саму возможность связи), а целым рядом показателей. Поэтому мы определяли наши драйв-тесты не более, чем «инструментальные исследования состояния радопокрытия». При этом, мы имели возможность убедиться, что наш метод на практике оправдал себя. Полученная в ходе тестирования информация всегда становилась достоянием общественности, вызывала немало обсуждений, а сделанные на ее основании выводы была признаны многими компетентными специалистами.

Тем не менее, мы решились на следующий шаг и на этот раз провели драйв-тест с применением другой методики, позволяющей сравнивать уже не только уровень сигнала, но и качество связи сетей операторов.

Для этого, разумеется, пришлось затратить гораздо больше усилий и времени. Данные, собранные измерительной аппаратурой, были запротоколированы, а в электронном виде копии лог-файлов получили все участники эксперимента. Собранная в ходе эксперимента информация теперь обрабатывается в формат, в котором она может быть использована на сайте – это занимает очень много времени. Первыми ознакомиться с результатами драйв-теста получили возможность читатели MForum и наших информационных спонсоров.

Наша идея состоит в том, что на основании представленных результатов реальных измерений, каждый посетитель портала MForum способен сформировать собственное мнение о качестве покрытия той или иной федеральной сети. Мы сознательно воздерживаемся от публикации (навязывания) собственных выводов в оценке результатов драйв-теста, предоставляя это право нашим уважаемым и достаточно квалифицированным читателям, тем более, что именно они являются потребителями услуг связи, качество которых мы исследовали.

Вряд ли стоит доказывать, что в последнее время все большим становится интерес к теме качества сотовой связи. Тому есть масса причин. Сотовый бизнес в России переживает как бы «квантовые» скачки в своем развитии, каждый день сотни тысяч людей стоят перед выбором и принимают решения в пользу того или иного оператора мобильной связи. И с каждым днем все больше людей интересуются вопросом, а насколько безпроблемно будет реализовано их желание - всегда оставаться «на связи» ? Между тем, по мере роста сетей, качество не всегда лишь улучшается, ограниченность частотного ресурса и бурный приток все новых абонентов могут приводить и к заметной потере позиций той или иной сетью связи с точки зрения качества передачи речи.

К сожалению, в условиях жесткой конкуренции и борьбы за нового абонента российские операторы мобильной связи привыкли табуировать тему реального качества своей связи, прикрываясь либо бездоказательными утверждениями о «заметном улучшении качества благодаря усилиям, предпринятым оператором в последнее время», либо ссылаясь на отчеты о количестве базовых станций, число которых весьма слабо коррелирует с качеством передачи речи на той или иной территории. Иногда говорят даже о "стереотипах" в области восприятия качества связи, которые мешают заметить улучшения качества той или иной сети, не пытаясь, однако, привести убедительные данные какие изменения были проведены и в чем именно выразилось улучшение качества.

Возросшую актуальность темы "качество связи" подтверждают и многочисленные обращения в редакцию с просьбами провести драйв-тест в том или ином регионе России и раскрыв для общественности объективную ситуацию.

Важно подчеркнуть, что несмотря на уверенность в результатах, полученных нами в ходе исследования, MForum не берет на себя ответственность за публикацию «истины в последней инстанции». Даже при проведении такого исследования, которое осуществил MForum, определенная субъективность результатов имеет место. Прежде всего, это обусловлено нестабильностью обстоятельств, возникающих в процессе проведения исследования.

Не следует, однако, подозревать нас в сомнениях в методике или действиях в процессе проведения исследования. Получение информации осуществлялось нами с использованием сертифицированного для таких исследований оборудования. В процессе установки оборудования в автобус-лабораторию и настройке комплекса, а также во всем процессе тестирования от начала и до конца участвовали ответственные технические специалисты соответствующих отделов компаний «ВымпелКом» и «МегаФон» (руководство МТС информировало MForum о том, что компания полностью доверяет нашей объективности при проведении исследования). Измеряемая информация записывалась в автоматическом режиме и в реальном времени, т.е. в момент записи на винчестер компьютера, уровень измеренного сигнала полностью соответствовал действительному уровню на этот отрезок времени.

Тем не менее, нельзя исключить, что на следующий день или даже, например, через час, тот или иной оператор может включить дополнительную БС или, наоборот, выключить ее, специально или в силу каких-либо обстоятельств обеспечить занижение или завышение сигнала в той или иной точке трассы. Тогда картина и расстановка значений у этого оператора или у того, кто будет проводить соответствующие измерения, безусловно, будет отличаться от нашей, полученной в определённый временной промежуток и соответствующая исключительно этому промежутку времени.

В ходе исследования мы моделировали ситуацию, когда рядовой абонент МТС, «Би Лайн GSM» или «МегаФона» движется по автотрассе в определенном направлении, в определенное время, скажем, на туристическом автобусе или в кабине грузовой фуры, и хотел бы оставаться на связи. При этом, важно понимать, что не исключена ситуация, что на следующий день кто-то не сможет дозвониться оттуда, где накануне увенчались успехом попытки первого (или наоборот).

Условия проведения драйв-теста

На первом этапе федерального драйв-теста MForum провел инструментальное исследование качества связи в сетях трех ведущих GSM-операторов России - МТС, «Би Лайн GSM» и «МегаФон» на маршруте Санкт-Петербург – Москва по магистральной федеральной автодороге М-10 "Россия".

Дорога протяженностью 664 км проходит по территории Московской, Тверской, Новгородской и Ленинградской областей «в условиях равнинной, лесисто-болотистой местности». По трассе выполнены объезды у Твери (27 км) и Великого Новгорода (49 км). Исследование проводилось в период с 25 по 26 мая 2004 года. Общее время в пути составило 25 часов. За это время группа участников проехала около 1380 км. Средняя скорость передвижения по трассе не превышала 60 км/ч.

В ходе проведения драйв-теста применялся сертифицированный в России измерительный аппаратно-программный комплекс TEMS Investigation 3.2 (Ericsson) в составе трёх терминалов Ericsson R-520m с внешними антеннами и GPS –приёмника Magellan. Антенны измерительного комплекса были установлены на крышу автобуса (высота подъема 3,5 метра). Измерения проводились в «выделенном режиме» (Dedicated Mode). Звонки осуществлялись на автоответчики операторов. Длительность соединения в Московской области составляла 60 секунд, на остальной территории маршрута - по 50 секунд. В ходе измерений была собрана и проанализирована следующая информация:

• Call setup - число совершенных соединений
• Dropped calls - число оборванных соединений
• Blocked Calls - число неудавшихся соединений
• Handover OK - число успешных хендоверов (переход между сотами во время соединения)
• Handover failures - число неуспешных передач (неуспешная передача соединения между сотами)
• Cell number - количество сот (на участке тестирования)
• RxLev - уровень сигнала, принимаемого мобильной станцией
• RxQual - уровень качества сигнала, принимаемого мобильной станцией (bit error rate)
• SQI (Speech quality Index) – субъективное восприятие абонентом качества речи (параметр разработан производителем измерительного оборудования – компанией Ericsson)
• Усреднённые значения параметров: RXLev, RXQuality, SQI

Измерения параметров радиоканала осуществлялись только в направлении «вниз» от БС до мобильной станции. Оценка и анализ результатов исследования проводился экспертным советом драйв-теста "Мобильного форума".

Было решено разбить весь маршрут на зоны соответствующих четырем субъектам РФ: Московской, Тверской, Новгородской и Ленинградской областям. Анализ данных полученных в ходе исследования осуществлялся отдельно, для каждой из зон.

Результаты драйв-теста

Карта европейской части РФ с маршрутом драйв-теста MForum

Часть 1. Трасса Москва – Новгородская область
(территория северо-западной части Московской области, вдоль трассы М10)

RX Level

Три участка на карте можно "раскрыть" - достаточно кликнуть мышкой на интересующую зону рисунка.

Параметр RXLevel описывает уровень сигнала радиоподсистемы от БС до абонентского терминала и измеряется в децибеллах на милливатт. На таблице соответствия цвета определённому значению dbm (легенде) видно, что от -10 до -70 dbm уровень сигнала очень высокий – это лучшее значение, а вот при уровне от -100 до -120 dbm позвонить, как правило, уже не получится. Промежуточные значения от -70 до -90 dbm на (легенде зелёный и жёлтый цвет) - достаточный уровень для качественного соединения. Значения от -90 до -100 dbm – «пограничная область» сигнала, не обеспечивающего гарантированной связи.

Для удобства просмотра на карту уровня сигнала вынесены маркеры всех трёх сетей операторов GSM. Порядок расположения маркерных линий операторов справа налево или сверху вниз (как удобней): «МегаФон», «Би Лайн GSM», МТС

Точное расположение маркерной линии на трассе соответствует маркеру «Би Лайн GSM». Маркеры «МегаФон» и МТС, соответственно, на схеме расположены выше и ниже (слева и справа) от «Би Лайн GSM» краям на незначительном удалении, но полностью идентичны по траектории центральному.

Легенда демонстрирует соответствие цвета маркера на карте определённому уровню сигнала.

Описывать целиком участок московского маршрута, на наш взгляд бессмысленно, мы предпочли дать пояснения по некоторым отрезкам, привлекающим внимание.

В частности, на карте RXLevel-Москва, видно, что на маркерной линии «Би Лайн GSM» чуть выше населённого пункта Покровка отсутствуют маркеры на небольшом участке дороге. Это вызвано обрывом соединения (специалисты используют термин Drop). После обрыва в течение 60 секунд измерения не проводились, так как на оборудовании был включен режим ожидания до следующего звонка, а измерительное оборудование продолжало перемещаться. На самом деле, сигнал в этом районе у «Би Лайн GSM» принимается достаточно уверенно, однако сам факт возникновении обрыва, безусловно, играет не в пользу качества. Справедливости ради отметим, что аналогичные обрывы возникали и у МТС и у «МегаФона», что отражено в таблице событий (в конце описания) но на маркерной линии они не заметны. Как видно на карте, уровень сигнала у всех трёх операторов находиться в пределах, обеспечивающих возможность устойчивого соединения.

Гистограммы RXLevel

«МегаФона»

«Би Лайн GSM»

МТС

Гистограммы, раскрывающие разброс уровня сигнала у каждого из трёх операторов, позволяют определить границы значений, которым соответствует уровень сигнала. Чем больше значений располагается у правой вертикальной оси, тем лучше покрытие.

RX Quality

Порядок расположение маркерных линий принадлежащих разным операторам, такой же, как и на карте RXLevel, т.е. справа налево или сверху вниз (как удобней): «МегаФон», «Би Лайн GSM», МТС

Параметр RXQuality соответствует величине "bit error rate" радиоканала – побитовой ошибке передачи информации. Значению bit error rate в процентах присваивается цифровое значение от 0 до 7. Мы не публикуем таблицу этого соответствия, чтобы не перегружать страницу, отметим, что значение 0 – это «хорошо», 7 – «плохо».

Гистограммы RXQuality

«МегаФона»

«Би Лайн GSM»

МТС

Левая шкала на гистограммах это количество измеренных значений, которые оборудование позволяет получать со скоростью примерно 2 в секунду. Нижняя шкала соответствует легенде на карте (0 –«хорошо», 7 – «плохо»).

SQI – Speech Quality Index

Этот параметр определяет субъективное восприятие абонентом качества речи. Параметр SQI был разработан и введён производителем измерительного оборудования Ericsson.

Гистограммы SQI:

«МегаФона»

«Би Лайн GSM»

МТС

Легенда:

Чем выше значение этого параметра, тем лучше качество покрытия, качество связи. Максимальное значение зависит от типа используемого звукового кодека (устройства, преобразующего речевой сигнал). Максимум параметра качества речи – 30, минимум -20:

Enhanced full rate (EFR) - 30
Full rate - 21
Half rate (HR) - 17

Глядя на гистограммы SQI, можно предположить, что «Би Лайн GSM» в Московской области использует на разных БС все варианты кодеков, МТС – не использует режим HR, ограничиваясь более качественными EFR и FR, а «МегаФон» пока что использует FR и кое-где HR, поэтому средние значения этого параметра, судя на гистограмме “МегаФона”, отличается от тех, что удается обеспечивать сетям двух других операторов.

Average – усреднённое значение параметров

Анализируя средние значения описанных параметров, следует отметить, что у МТС при самом высоком уровне сигнала -60,98 dbm, RxQual незначительно уступает значениям, которые обеспечивают «МегаФон» и «БиЛайн».

Также следует добавить, что у «МегаФона», самого молодого оператора в Московской области, частотный ресурс в диапазоне 900 МГц значительно меньше, чем у остальных GSM операторов.

Таблица статистики событий

Таблица статистики событий, на наш взгляд, говорит сама за себя и не нуждается в комментариях

Своими мнениями по поводу проведенного драйв-теста и его результатов, предлагаем обмениваться в форуме

"Мобильный форум" - независимый информационный интернет-портал, ставящий своей задачей налаживание открытого диалога действующих лиц отрасли мобильной связи России: операторов сотовой связи, регулирующих органов и пользователей средств связи с целью всестороннего улучшения ассортимента и качества услуг мобильной связи в России, создания условий, стимулирующих наиболее динамичное развитие отрасли.

© «Мобильный форум»

Все публикации о Драйв-тесте:

25.05 Драйв-тесты: Контроль на линии. MForum тестирует покрытие федеральных операторов на трассе Москва-С.Петербург. Старт акции.
26.05 Фоторепортаж и заметки с маршрута.
01.06 Результаты драйв-теста: Часть 1. Московская область.
03.06 Результаты драйв-теста: Часть 2. Тверская область.

Информационные спонсоры драйв-теста: