科技网

当前位置: 首页 >通讯

提升计费准确性的测试方法初探0

通讯
来源: 作者: 2018-12-29 19:22:15

作者:王韬 安徽移动计费业务部

引言

随着移动通信业务的飞速发展,市场竞争也越来越激烈,新业务、新套餐层出不穷,从需求提出到推出市场的时间越来越短。BOSS系统作为移动通信核心业务支撑系统,如何对市场需求做出响应,特别是如何在最短时间内保障各种新推套餐的计费准确性,从而保障支撑服务质量,为市场营销赢得宝贵的时间差,是目前形势下对业务支撑系统的迫切要求。

电信业务计费准确性是运营商对内提供收入保障,经营分析与决策的基础;是对外提供优质服务,适应快速发展的业务和市场,在激烈的市场竞争中取得优势的前提。由于电信业务种类繁多,新业务增长迅速,计费系统需实时变动、升级,以适应业务的需求,从而增加了系统的风险,为计费业务系统的准确性、稳定性、高效性提出了更高的要求。

计费业务分类如下:

(1)话音业务:包括语音业务和呼转业务。

(2)数据业务:包括短信、彩信、GPRS、移动梦。

(3)其他业务:卡类业务、集团业务。

计费系统处理流程

针对移动通信企业的计费系统来说,其计费处理主要流程如下:

(1)采集原始数据:不同类型的业务,需要从不同的采集点得到原始话单数据,采集点包括端局交换机、智能、SCP、集团下发文件、短信中心、IP前置机、短信关、彩铃平台等。

(2)预处理/标批:从不同采集点得到的原始话单记录格式不同,预处理就是将这些不同格式的原始话单数据转换为统一的标准格式的话单。标准批价过程是对预处理后的话单根据资费政策对话单进行批价的过程,也叫一次批价,根据业务类型/采集点的不同,如果该业务(如智能业务)对应采集点的话单已经完成了批价动作,那么就不需要标准批价步骤,否则还需要进行标准批价动作。

(3)分拣:对批价后的话单根据话单类型、业务区进行分拣,对话单文件进行合并,形成较大的文件下发给后续的处理单元。

(4)错单回收:对批价或分拣过程中产生的错误话单与不计费话单进行提取、自动回收。

(5)查重:对重复话单进行剔除。

(6)上发:省际漫进、国际漫进用户的话单文件,高额文件,汇总文件和其他文件的上发。

(7)二批:对各个专业的话单进行二次批价(主要是针对话单级的优惠处理)。

(8)其他:包括生成特定格式话单和其他相关处理功能。

分析计费处理过程,可以将其分为两类,一类是费用计算过程,包括标批和二批,一类是如预处理、分拣、查重、上发等数据流转辅助过程。针对计费系统的测试和验证也从这两个方面入手。由于预处理、分拣、查重、上发等过程处理算法比较单一,出错概率不大,因此计费测试的重点和难点还是在费用计算的准确性验证上。

传统计费验证的问题

由于电信计费系统普遍采用后台进程的批处理运行模式,没有人机交互图形界面,因此如何既快又准的完成计费套餐费用计算的准确性验证,在传统的测试方式下一直是一个难题。以下是套餐验证普遍采用的步骤和方法。

(1)根据业务需求在BOSS计费系统中配置相应的套餐优惠模板;

(2)根据套餐优惠规则,从生产系统中按相应条件为每种通话类型搜索相关数据,形成话单文件,如果需要对某种通话类型测试多个数据,则复制该通话类型对应的话单,修改其中的数据;

(3)修改话单文件中的用户信息,把测试话单中生产系统用户替换为选定的测试用户;

(4)配置BOSS计费系统参数,把准备好的测试话单文件放在计费程序入口;

(5)运行标批和二批程序;

(6)话单批价后,将批价后话单导入数据库;

(7)手工计算话单的费率和预期结果,与导入数据库中的话单费率和折扣率进行人工比对,如果相同,即可认为测试通过。

这个测试过程是针对单个套餐的测试过程,为了验证新套餐或新变更的程序是否会影响其它套餐,需要对已推出市场的所有套餐进行全面测试,测试步骤如下:

(1)选择一个业务比较完整的地市,取其整月完整话单数据;

(2)在修改前的系统和修改后的系统上分别对该话单数据进行处理;

(3)为每种套餐抽取一两个用户的数据,比较两套系统的处理结果,如果一致,则认为对现有套餐的处理是一致的;

(4)修改后的系统测试时,也可以在已有数据的基础上,增加为新业务准备的数据,这样在结果的手工比对时会更复杂一些,工作量更大一些。

深入分析上述计费测试方法,会发现其存在如下问题:

(1)由于缺乏对测试需求(计费规则)的有效管理以及无法建立需求和用例(话单)的跟踪关系,导致测试人员无法有效的分析测试用例对测试需求的覆盖情况,很容易出现测试用例不能完整覆盖测试需求的问题。选择一个地市整月数据也不能保证能覆盖所有套餐均被测试。

(2)在测试用例设计的时候,往往是通过手工选择、修改物理话单文件来实现的。这种方法会使测试人员将大量的精力耗尽在重复单调的劳动中,极大地影响工作效率,而且不具备可重复性,每个测试人员选择的话单和数据不尽相同,即使同一个测试人员在针对同一个套餐进行测试时,两次测试的数据选取可能也不同,从而导致测试结果不同。

(3)由于测试用例都是保存在实际的物理话单中,因此对于测试用例的维护只能通过手工修改话单文件来实现。这种维护方法效率较低,出错率也较高。

(4)在计费准确性验证过程中,批价结果比对的工作量很大。通常的方法是先手工计算费率和折扣率,再查询数据库,找出对应的测试结果手工逐一比对,这个环节会消耗大量的人力和时间,测试成本远远高于测试成果。

基于上述原因,为了提升计费测试的效率和准确性,需要开发一个针对套餐费用计算的验证系统,利用该系统,进行各类套餐测试的管理。包括测试需求管理、测试用例设计、测试数据制作、测试结果比对,从而用计算机替代大量繁琐、重复的手工劳动,释放测试人员的精力,提高测试结果精准度,将工作重心转移到测试分析这一类更有价值的工作上。同时,通过在该验证系统中建立测试数据库,将以往的工作成果、测试经验有序、分类的组织在此数据库中,使其能够被重复利用,确保大规模的套餐回归测试能够、快速有效的执行。

计费准确性验证系统

如何提升计费系统费用计算功能的准确性测试呢?我们可以把计费系统概括为一个IPO(输入/处理/输出)模型,需要采用黑盒测试的方法,实现对该模型的验证,模型如下:

图1IPO模型示意图

与通常有界面的测试过程不同,BOSS计费系统是一个后台系统,不存在字符终端、Windows或Web风格的操作界面,极少有人机交互过程,它处理的是预先准备好的数据文件。对计费系统的测试过程,就是要输入各项测试数据,调用BOSS计费系统处理后,得到输出结果,并比较输出结果与预期结果的差异,判断是否存在错误。整个计费系统的主要的输入和输出元素如下。

输入元素:包括预处理后的计费话单数据文件;一次批价处理相关规则(各种资费标准和执行时间);二次批价处理相关规则(各种资费标准和执行时间);客户优惠套餐定制信息;用户帐单信息;输入数据文件位置信息;输出话单数据文件位置信息。

输出元素:包括一次批价和二次批价后的正常计费话单文件;计费详单、计费帐单和高额停机记录;错误话单文件;暂不计费的文件;处理日志;备份数据文件。

1.功能需求

经过对计费系统运行流程和接口数据的分析,并且参考成熟的测试理论,我们对计费验证系统提出了如下的功能需求。

(1)具备管理标批相关规则和参数的功能;

(2)具备管理二次批价相关规则和参数的功能;

(3)具备管理客户优惠套餐定制信息的功能;

(4)具备管理客户基本信息的功能;

(5)具备管理业务需求(计费规则)和测试用例(话单)对应关系的功能;

(6)提供测试用例生成工具,可以实时生成需要计费的话单文件;

(7)具备计算测试用例预期结果(批价结果)的功能;

(8)可执行BOSS计费系统计费程序;

(9)自动比对测试用例执行结果(批价结果比对)。

在使用计费验证系统时,每次变更程序或新增套餐后,计费测试案例应能覆盖各种通话类型和所有套餐,计费验证系统需要维护所有通话类型和套餐优惠类型,并可以根据通话类型和套餐优惠规则产生话单,同时能够调用计费程序进行费用计算并进行计算结果与预期结果的比对。

2.设计原则

(1)参数化

由于计费业务频繁变化的特点,计费验证测试系统应能适应这种变化,各种费率、基本资源、资费信息、优惠定义、结算标准等都应以参数的形式存放于验证系统的数据库表中,且可以根据业务类型分类管理。

当某些业务发生变化需要修改时,只需修改相应的参数即可做到整个计费验证系统的修改。如计费资费参数管理、标准资费参数设置、优惠资费参数设置、帐务资费参数管理、标准费用参数设置、帐务优惠参数设置、套餐资费参数管理、优惠时间参数、号码源参数、优惠政策参数、入费参数等。

(2)复用

对计费的测试来说,一个最大的难点就是缺少能覆盖各种通话类型和优惠套餐的测试案例库和测试数据库,在建设好计费验证系统后,应能形成一套完整的测试案例库和测试数据库,能管理计费业务需求,形成完整的测试流程,并能在以后的测试过程中复用。

复用的内容包括:测试需求库(计费业务需求)、测试案例库、测试数据库、测试参数库、测试脚本(计费验证系统)、自动测试过程和方法论。

(3)自动化

计费验证系统应能实现测试话单的自动生成、预期结果自动计算(部分情况下仍需要手工计算)、测试结果自动比对等自动化功能。

(4)测试案例与数据分离

在计费验证系统中,每个测试案例(话单模板)都可以对应到相应的计费套餐上,对于同一个测试案例,也可以有多套测试数据与之对应,如边界值、异常值测试等。测试案例与测试数据的分离可以加强系统的可维护性,使系统结构更加清晰,更易于管理。

3.逻辑结构

根据计费验证系统的功能需求和设计原则,计费验证系统设计分为“系统管理”和“计费验证”两个相关子系统,如图2所示。

图2计费验证系统组成

(1)系统管理子系统

在计费验证系统中,需要管理很多参数,上个章节描述的测试过程中,就涉及到用户信息导入、呼叫类型选择、优惠类型选择等内容,这些内容作为系统参数,需要在系统管理模块中进行管理。

系统管理模块主要包括参数设置、话单管理、其他3个部分的内容。

●参数管理

包括计费验证系统需要使用的BOSS系统资源,主要包括以下内容:测试用户信息(服务号码、地区号、IMSI码、小区号等)、省内各地市代码表、中继信息管理表、边界小区信息表、国内号码段(GSM)、国内长途区号表、特殊号码表等。

●话单管理

功能包括逻辑话单和物理话单管理两个部分,提供对各项优惠类型、优惠要素和批价算法的管理、逻辑话单和物理话单对应模板管理,能依据约定的物理话单格式把逻辑话单元素填入,形成物理话单。

●其他

包括设置、维护系统运行的各种其他参数。

(2)计费验证子系统

●测试需求管理

该模块主要用于管理计费业务的测试需求。通过分析计费业务的特点,我们发现套餐计算的测试需求实际上就是一条条的优惠规则;而优惠规则又是由各种呼叫类型和优惠类型组合而成。测试需求管理模块实现的功能就是通过将呼叫类型和优惠字段进行组合,生成各种优惠规则。由于BOSS系统的套餐也是由各种优惠规则组合而成。因此,测试需求的组织结构从上至下依次是套餐、优惠规则、测试点。测试人员利用系统的提供的“向导”可以自动生成套餐、优惠规则、测试点。

●测试用例管理

对于计费系统来说,测试用例就是对应于各个优惠规则、模拟用户拨叫行为的测试话单。这些测试话单是在逻辑话单模版基础上,修改相应的数据字段而构成。当测试人员在测试需求模块中选定相应的优惠规则时,验证系统自动生成对应与该优惠规则的话单模版。一旦测试人员把选取相应的模拟呼叫数据填入优惠类型涉及的字段,系统就可以自动生成一条符合该优惠规则的测试话单,并依据规则的复杂程度自动计算或手工计算填写出一次批价、二次批价后的预期结果。此外,系统可以自动建立起测试需求和测试用例的跟踪关系,以保证测试用例对需求的覆盖率。

●测试执行管理

测试执行管理主要由3个部分组成:物理话单文件的生成、话单文件上传、批价结果提取和执行结果比对。“物理文件生成”能够实现将验证系统中的测试用例转换成BOOS系统可识别的物理话单文件,当格式发生变化的时候,通过配置,系统可以支持新的物理格式文件。“话单文件上传”模块将已生成的测试话单文件上传至BOSS计费系统指定路径,待计费系统处理完话单文件后,由“批价结果提取”模块将执行结果导入计费验证系统,通过“测试结果比对”实现将导入的实际执行结果同预期结果进行自动比对,生成执行报告。

●测试结果分析

测试结果分析模块主要是实现测试报告的生成和测试结果数据的统计分析。用户可以定制测试报告的输出格式和内容,通过输入查询条件,系统可以产生各种统计分析报表。这些报告和统计分析报表将为决策者提供依据。

4.计费准确性验证流程

计费准确性验证流程如图3所示。

图3计费准确性验证流程

计费验证总体流程分5个步骤。

(1)测试需求分析:整理计费规则,分析标批和二批资费计算规则。

测试需求分析可以分为两个部分,一部分是针对标批的需求分析,一部分是针对二批的需求分析,针对标批的需求分析比较容易,整理出各种呼叫类型就可以完成。针对二批的需求分析流程见图4。

图4 针对二批的需求分析流程

二批相关的业务需求的整理主要是整理各地市优惠套餐的优惠规则,针对每种不同的优惠类型(如打折优惠、费率优惠、赠送优惠、分时优惠、分区优惠、群组优惠等),整理出相应的优惠方式,以及与优惠相关的要素,以便能对测试数据准备提供指导,并为自动生成话单模板和物理话单打下良好的基础

(2)测试数据设计:根据计费规则产生话单模板,管理话单数据,产生物理话单,并自动或手动计算预期批价结果。

测试数据设计流程如图4所示,另外需要说明3点。

●可以针对标批、二批分别设计测试数据,与地市相关用户信息,对标批来说,选择好呼叫类型即可自动产生话单模板,补充相关数据(如通话时长)后即可产生物理话单;

●二批测试的数据准备选择对应套餐和优惠规则后,即可针对该优惠规则产生对应呼叫类型的话单模板,填入数据后即可产生逻辑话单,逻辑话单包括话单主要元素;

●无优惠套餐的测试数据可以在标批数据准备中进行,也可以在此处进行,不选择套餐和优惠规则即可。

图5 测试数据设计流程

(3)测试执行:上传生成的物理话单和其他数据到BOSS计费系统,执行计费过程,得到批价结果。

测试执行流程如图6所示,另外需要说明4点。

●测试数据即逻辑话单,已经包括话单各主要元素,把这些主要元素按物理话单格式排列好,即可转换为物理话单。

●预期结果计算与优惠类型相关,在测试需求分析时会定义优惠条件,此时会根据套餐和优惠类型读取优惠条件,选择合适的计算公式,计算预期批价结果。对于验证系统中没有计算公式或优惠条件特别复杂的情况,可以填入手工计算的预期结果。

●转换后的物理话单需要上传到BOSS计费系统指定位置,并在BOSS计费系统中设置好相关参数和数据(如用户信息),才能运行BOSS计费系统,得到批价后的话单。

●从BOSS计费系统指定位置可以下载计费完成后的话单文件,并从中解析出各种计费元素,导入验证系统的数据库中,与预期批价结果进行自动比对。

图6 测试执行流程

(4)测试结果分析:从BOSS计费系统取得批价结果,自动与预期结果比对,形成测试报告。

测试结果分析流程如图7所示,另外需要说明2点。

●测试结果可以采用表格形式呈现,也可以采用图形的方式呈现

●系统自动产生测试结果报告

图7 测试结果分析流程

(5)结束。

结束语

上述内容是对提升电信行业运行支撑系统计费准确性的测试能力和效率的初步设想,它适用于目前电信运行企业庞大而复杂的各类优惠和套餐的检验。由于采用了有效的测试案例管理手段,使测试话单能够一次开发多次使用,随着测试次数的增加,使用计费验证系统的测试成本,要远低于相同规模使用传统验证方法所消耗的测试成本。进行一次计费套餐或优惠规则的业务测试,从原来的几十个小时时间到现在只需几十分钟就能完成,使周期性、全面性的计费测试成为一个可能,解决了原来传统测试难以持续进行的问题,从而可能发现计费系统中更多隐含的缺陷,使之能够在正式商用前迅速被发现和解决,提高了计费系统的准确性、稳定性,减少用户对话单费用计算错误的投诉,提供了更高的服务品质,同时也为新营销策略早日上市赢得宝贵的前期准备时间。(耿文欣)

分板机
建筑木方
古建牌楼

相关推荐