Keysight Functional KPI Toolset (FKPI)— автоматизированное решение

S8703A Functional KPI Toolset

Функциональное тестирование и тестирование производительности — просто

Успех сетей 5G зависит от их способности обеспечивать оптимальный пользовательский опыт. Операторы сетей, производители чипсетов, производители устройств, испытательные лаборатории и системные интеграторы — все играют свою роль в достижении этой цели, а Keysight S8703A Functional KPI (FKPI) Toolset предоставляет инженерам этих организаций экономичное, масштабируемое и простое в использовании решение для тестирования и проверки функциональности и производительности устройств 5G. Раннее выявление проблем при функциональном тестировании имеет первостепенное значение для снижения затрат и успешного вывода на рынок высококачественных устройств.

Введение

Используя производительность, гибкость и тестовое покрытие лидирующей на рынке платформы UXM 5G Wireless Test Platform, Keysight S8703A FKPI предоставляет автоматизированное настольное решение для проверки пользовательского опыта 5G, 4G, WLAN и NB-NTN. Охватываемые области функционального тестирования включают пропускную способность данных, время автономной работы, функциональность аудио/видео, мобильность, экстренные службы, сервисы на основе местоположения и производительность WLAN, что делает это решение необходимым для лабораторий, занимающихся design verification, оптимизацией производительности и ремонтом устройств.

FKPI также предоставляет расширенные возможности, такие как Field-to-Lab — возможность воспроизводить в лаборатории ошибки, наблюдавшиеся в сети. Для этого используются логи UE, после чего FKPI предоставляет инструменты для устранения проблем и проведения тщательного тестирования, подтверждающего их устранение. Кроме того, FKPI предоставляет автоматизацию UE на базе Eggplant, Cable Replacement Method, тесты для развёртываний Dual SIM и множество других возможностей.

На базе S8711A Test Application и S8714A RF Application Framework

5G Test Application (TA) Framework и RF Application (RA) компании Keysight обеспечивают как сенсорное, так и удалённое управление UXM 5G network emulator. Различные режимы работы поддерживают широкий спектр тестов — от non-signaling режима для калибровки UE до full-signaling тестов, предоставляя комплексный набор возможностей для инженеров, разрабатывающих RF-компоненты и устройства. Framework поддерживает 4G LTE, NB-NTN, а также оба режима развёртывания 5G — Non-Standalone (NSA) и Standalone (SA). Full-signaling test mode позволяет выполнять RF-измерения во время активного соединения. Помимо стандартов сотовой связи RA Framework также поддерживает тестирование производительности WLAN для стандартов от 802.11b/g до 802.11be.

FKPI Toolset использует эти базовые frameworks для управления UXM 5G network emulator и предоставляет настольный набор полностью автоматизированных функциональных тестов, в котором пользователи могут легко создавать кампании и запускать их в точных и воспроизводимых пользовательских сценариях.

Рисунок 1. Результаты RF-измерений в 5G RF Application Framework компании Keysight

Рисунок 2. Результаты измерения пропускной способности в 5G Test Application Framework компании Keysight

Functional KPI Toolset — ключевые возможности

Functional KPI Toolset компании Keysight расширяет возможности 5G Test Application и 5G RF Application, предоставляя:

Создание, конфигурирование и управление кампанией

Универсальность интерфейса FKPI Toolset позволяет как пользователям практически без опыта программирования, так и более опытным пользователям легко создавать, настраивать и выполнять тестовые кампании для проверки своих устройств. Предусмотрены два режима работы: Runtime mode и Development mode.

В Runtime mode пользователям доступны готовые примерные test cases, в которых ключевые параметры, такие как bandwidth, channel и MCS, выведены для пользователя, что позволяет быстро настроить и выполнить test plan всего за несколько щелчков.

Development mode предназначен для более опытных пользователей, которым необходимо создавать более специализированные test plans. Этот режим предоставляет доступ к настройке низкоуровневых test steps с полной гибкостью при конфигурировании и построении собственных test cases, сохраняя при этом простой и интуитивно понятный графический интерфейс.

Каждый тест в кампании может выполняться в диапазоне условий тестирования, заданных пользователем, в результате чего для каждого отдельного условия создаётся отдельный тест. Условия тестирования предоставляют доступ к набору специфичных для теста параметров, включая bandwidth, modulation scheme, power levels и предельные измеряемые значения, относительно которых определяется verdict pass/fail. Это даёт пользователям возможность сосредоточить кампании на конкретных условиях, требующих дополнительной отладки, чтобы быстро завершить проверку функциональности устройства.

Рисунок 3. Кампания, созданная путём выбора доступных test steps в Runtime Mode

Рисунок 4. Кампания, созданная путём выбора доступных test steps в Operator Mode

Анализ результатов

Рисунок 6. Успешные test steps с цветовой индикацией verdict

Область Result List вместе с яркими цветовыми индикаторами verdict на test steps предоставляет в реальном времени информацию о ходе выполнения тестовой кампании и соответствующую информацию о каждом отдельном результате теста, включая verdict pass/fail для каждого теста на основе заданных пользователем условий verdict. Пользователи также могут легко переключаться между вкладками и просматривать доступные графические результаты измерений.

Формирование отчётов

Для анализа после завершения кампании Functional KPI Toolset позволяет формировать сводные отчёты в форматах csv, xlsx и PDF.

Рисунок 7. Пример общего отчёта измерений в формате PDF

Рисунок 8. Пример подробных данных в отчёте измерений

Включение автоматизации

Ниже показана типовая тестовая конфигурация для тестирования устройства. FKPI предоставляет стабильный API для автоматизированного управления всеми компонентами, а также позволяет другому программному обеспечению/automation suite обращаться к FKPI.

Ручное выполнение тестов требует значительных затрат времени и ресурсов. Включение автоматизации является ключевым фактором получения более быстрых и точных результатов. Автоматизация повышает эффективность, расширяет тестовое покрытие и увеличивает скорость и эффективность процесса тестирования.

Рисунок 9. Конфигурация для автоматизации тестирования

Рисунок 10. Автоматизация Eggplant

Автоматизированное тестирование комбинаций диапазонов

Автоматизированный режим тестирования комбинаций диапазонов позволяет пользователям легко и эффективно тестировать DUT в различных band combinations. При тестировании порядка 1000 различных комбинаций диапазонов для DUT эта функция/решение чрезвычайно эффективно сокращает необходимое время и объём ручной работы.

Functional KPI Toolset позволяет тестировать различные комбинации диапазонов, разрешая пользователю импортировать файл .CSV, который определяет диапазоны, по которым циклически выполняется тест. Этот файл содержит информацию о band combinations, BW, channel и т. д.

Пользователи могут автоматизировать тестирование RF-характеристик и различных функций, таких как Throughput, Mobility и VoLTE/NR, для различных band combos.

Рисунок 11. Автоматизированное тестирование Band combination с использованием Functional KPI Toolset

Динамическое сопоставление RFIO

Рисунок 12. Функция RFIO Mapping Editor

Functional KPI Toolset также может динамически переключать RFIO-порты UXM в соответствии с тестируемой комбинацией диапазонов, что делает тестирование действительно автоматизированным, исключает необходимость переподключения кабелей и сводит к минимуму ошибки и задержки во время теста. Пользователи также могут выбрать стандартное RFIO mapping или предоставить собственный файл RFIO mapping с помощью функции импорта.

Тестирование пропускной способности данных

Одной из ключевых областей для 5G NR является Enhanced Mobile Broadband (eMBB), который обещает скорость до

Рисунок 13. Тестирование Data Throughput с Functional KPI

10 Гбит/с пиковой пропускной способности, 1 Гбит/с пропускной способности в сценариях высокой мобильности и более низкую стоимость на переданный бит на герц. Технология также требует поддержки более широких полос до 100 МГц с несколькими диапазонами, несущими и потоками MIMO, что создаёт очень сложный набор функций и условий для устройств.

S8703A Functional KPI Toolset совместно с E7515B / E7515W / E7515P UXM 5G Wireless Test Platform предоставляет инженерам мощный и гибкий инструмент для упрощения тестирования и проверки производительности устройств по пропускной способности данных с поддержкой throughput как на IP-, так и на MAC-уровне. Всего за несколько щелчков пользователи могут легко настроить точные и воспроизводимые сценарии реального использования, используя примерные test cases, чтобы быстро запустить тестирование.

Smart Scheduling для тестирования пропускной способности данных

Smart Scheduling — уникальная функция, предназначенная для упрощения настройки scheduling для различных duplex mode и frame structures. 5G имеет очень гибкую конфигурацию PHY, что делает scheduling сложным из-за переменных на PHY-уровне. С функцией S8703A FKPI Smart Scheduling пользователю достаточно указать duplex mode (FDD или TDD), frame structures (включая one cycle, dual cycle и различные special frame structure), а FKPI tool автоматически задаёт все необходимые параметры для соответствующей настройки scheduling в Test Application. Эта функция не только упрощает настройку, но и позволяет использовать один test case для различных комбинаций band/frame, существенно упрощая сопровождение test cases.

Рисунок 15. Конфигурация Smart Scheduling

Рисунок 14. Типовая конфигурация для тестирования пропускной способности данных

Типовая тестовая конфигурация для тестирования пропускной способности данных состоит из E7515B / E7515P Base Station Emulator, который создаёт сигнальную среду как для 4G LTE, так и для 5G NR, а также C8801A Data Server PC, с которого IP test data может передаваться через UXM и по RF на тестируемое устройство. ПО S8703A Functional KPI устанавливается на C8801A Test PC, который управляет всей тестовой конфигурацией по LAN через C8802B 10Gbps Ethernet Switch, рассчитанный на высокие скорости передачи данных, требуемые 5G.

Тестирование энергопотребления от батареи

Рисунок 16. Конфигурация теста времени автономной работы

Высокая производительность и преимущества 5G предъявляют очень высокие требования к беспроводным устройствам. Добавление mmWave, MIMO более высокого порядка, более высоких схем модуляции, нескольких несущих и более широких полос требует, чтобы устройства имели эффективную систему с точки зрения потребления энергии от батареи. Кроме того, ранние устройства с поддержкой dual connectivity (EN-DC) должны контролировать, передавать и принимать трафик одновременно через антенны LTE и 5G NR, тем самым используя больше энергетических ресурсов устройства. Это делает крайне важным, прежде всего для производителей чипсетов и устройств, тщательный контроль производительности устройства с точки зрения потребляемого тока при выполнении типичных пользовательских операций, таких как paging, standby mode, голосовые вызовы и потоковая передача данных. Кроме того, энергоёмкие и требовательные к данным OTT-приложения постоянно работают в фоне беспроводных устройств, что требует тщательной проверки работы батареи при различных пользовательских профилях.

С помощью S8703A Functional KPI Toolset инженеры могут легко характеризовать работу батареи, измеряя потребляемый устройством ток во время операций использования в idle или connected mode. Это включает paging, активные голосовые вызовы и передачу данных, а также проверку характеристик устройства при работе критически важных функций энергосбережения, таких как DRX и eDRX.

Функциональное тестирование аудио

По мере повсеместного распространения сетей 5G поэтапное внедрение голосовой функциональности становится важнейшим фактором для экосистемы, поскольку не все сети развёртывают эти функции одновременно. Необходимо проверять, что современные устройства поддерживают IMS-based calls как для Voice over LTE (VoLTE), так и для Voice over New Radio (VoNR). Современные беспроводные сети 5G имеют различные сценарии развёртывания голосовых вызовов, каждый из которых необходимо протестировать и проверить, чтобы обеспечить работоспособность беспроводных устройств во всех случаях.

Рисунок 17. Типовая тестовая конфигурация для тестирования времени автономной работы

Рисунок 18. Сценарий развёртывания Audio/Voice для 5G NR

Современные сети работают в следующих вариантах:

Рисунок 19. Тестовая конфигурация для VoNR

Эти сценарии критически важно проверять, поскольку в реальных условиях они имеют серьёзные последствия для производительности. С S8703A Functional KPI Toolset пользователи могут легко настраивать, тестировать и проверять эти сценарии. Всего за несколько щелчков мышью пользователь может определить тестовую кампанию, включающую ключевые сигнальные параметры и условия в сети LTE или 5G с их возможным влиянием на аудиофункциональность и общий пользовательский опыт. Network emulator — в данном случае E7515B UXM 5G — может эмулировать сеть LTE и 5G NR в соответствии с актуальными стандартами и спецификациями. Конфигурация также предоставляет IMS-функциональность, позволяющую устройствам с поддержкой VoLTE и VoNR регистрироваться и устанавливать mobile-originated или

Рисунок 20. Типовой тест для аудио

mobile-terminated voice call на основе IMS. Также критически важно уметь проверять функциональность с различными аудиокодеками, такими как Adaptive Multi-Rate (AMR) codec для широкополосного и узкополосного аудио (AMR-WB, AMR-NB), а также с соответствующими скоростями кодека.

Тестирование мобильности

Для сетей 5G надёжность является одним из ключевых принципов успешного развёртывания и внедрения. Устройства должны иметь возможность плавно перемещаться между различными секторами сот, диапазонами, полосами, сетями и при этом сохранять соединение как в idle mode, так и при активном соединении передачи данных. По мере дальнейшего развёртывания операторами сетей 5G стратегии multi-RAT deployment становятся обязательными, поэтому устройства должны поддерживать standalone и dual connectivity handovers и redirections для бесшовной мобильности между элементами сети 5G, а также Inter-RAT сценариями.

S8703A Functional KPI Toolset совместно с E7515B UXM 5G:

Рисунок 21. Поддерживаемые сценарии мобильности

Рисунок 22. Тест мобильности

Field-to-Lab testing

S8703A Functional KPI Toolset позволяет пользователям извлекать scheduling, configuration и parameters из field log, собранного UE, и эффективно применять их для функциональных performance tests на UXM 5G network emulator.

Functional KPI Toolset имеет пользовательский file parser, позволяющий импортировать field log.

Пользователи могут:

Рисунок 23. Field-to-Lab testing с использованием Functional KPI

Тестирование экстренных служб

Проверка CMAS и ETWS

S8703 Functional KPI Toolset позволяет пользователям всего за несколько щелчков быстро проверять критически важную систему общественного оповещения на базе 3GPP непосредственно из интуитивно понятного графического интерфейса.

Рисунок 24. Тестирование ETWS с использованием Functional KPI

Тестирование Dual UE и Dual SIM

Большинство новых мобильных устройств поддерживает как физическую, так и встроенную SIM в одном устройстве, что повышает необходимость обеспечения корректного сосуществования и функционирования обеих систем при их одновременной активности. Распространённые проблемы, связанные с 5G NR aggregation, registration и throughput, могут быть легко обнаружены с помощью S8703A Functional KPI Toolset совместно с UXM 5G.

Проверка голоса, данных и сообщений как в idle, так и в connected state.

Рисунок 25. Тестирование Dual SIM с использованием Functional KPI

Рисунок 26. Сценарии тестирования Dual SIM

Благодаря последним усовершенствованиям платформы UXM 5G и решений network emulation пользователи теперь могут выполнять Dual UE или Dual SIM testing, используя только один UXM 5G network emulator.

Ранее требовалось использовать полную ёмкость двух устройств UXM 5G и настраивать каждое из них отдельно, что приводило к увеличению времени настройки и возможным ошибкам. Пользователи могут измерять энергопотребление, качество аудио и throughput для каждого устройства/SIM.

Это усовершенствование увеличивает тестовую ёмкость и оптимизирует эффективность тестирования в рабочем процессе пользователя.

Рисунок 27. Тестирование Dual SIM с FKPI

Рисунок 28. Тестирование Dual UE с FKPI

Портфель Network Emulation Solutions (NES) компании Keysight предлагает набор решений для RF-тестирования, охватывающих весь workflow разработки устройства.

RF-решения Keysight для 5G

Портфель Network Emulation Solutions (NES) компании Keysight предлагает набор решений для RF-тестирования, охватывающих весь workflow разработки устройства.

Рисунок 29. Решения для эмуляции сети