电信运营数据采集与整合

电信计费系统 -数据,采集,整合,回顾,OOAD UML Socket编程 多线程编程 JDBC编程 IO/NIO文件处理.,内容,理解采集与整合的需求. 理解采集与整合的设计. 理解采集源wtmpx数据的格式结构. 理解采集数据的分析匹配结果数据. 理解采集中类结构的设计-类图与时序图. 理解采集中核心流程-类中函数说明.,整体需求与结构说明,采集需求说明,本系统是一个计费的系统，要想对用户进行准确的收费，首先必须能够获得用户使用开放实验室的准确的使用记录，采集子系统正是为了获取这些记录而提供的。 获取用户使用实验室的准确记录有三种情况： 利用操作系统的自身功能：开放实验室是一个Unix服务器， Unix服务器本身就具有记录系统日志的功能。用户每次登录和退出Unix服务器的信息都会被自动保存到一个在线日志文件/var/adm/wtmpx中。采集系统通过调用Unix系统函数来读取这个日志文件中的内容，然后对读取到的内容进行整理，整理为方便计费的数据，其中包括登录名、登录时间或登出时间等作为计费依据的数据。最后把这些数据存入数据库中，以备其他系统使用。为了使读取的数据量不至于过大，采集系统会每小时定时执行一次，每次只采集上一个小时时间段之内的数据。 2、利用开放实验室的个人web主页功能(personal web hosting): 只要用户在其主目录(home)下创建了public_html目录，采集系统通过扫描目录public_html就可以产生计费依据。访问开放实验室的web信息: 用户每次访问web服务器，web服务器都会在access.log中记录下相应的信息，如客户端的ip和被访问的URL等。通过分析web服务器的访问日志产生计费依据。 3、使用开放实验室的e-mail功能: 根据邮箱的个数产生计费依据。 说明：2，3的情况目前不做处理，提供扩展接口便于今后扩展。,整合需求说明,采集系统定时将用户使用服务器的数据存入到了数据库中，但这些数据都是流水帐的数据，是用户每次使用UNIX操作系统的用时。如果用户量大，用户频繁地登入/出，将产生大量的数据，不便于将来生成用户的月账单和对开放实验室的使用情况进行月统计和年统计，因此，出现了整合系统。 整合是将某个用户或某个实验室在某一时段内所用机时求和后形成一条记录。整合系统具体整合规则如下： 1. 每小时定时整合一次，生成以小时为单位统计的数据，程序总是每小时定时整合前一小时的数据。 2. 每天定时整合一次，生成以天为单位统计的数据，程序总是每天定时整合前一天的数据. 3. 每个月定时整合一次，生成以月为单位统计的数据，程序总是每个月定时整合前一个月的数据。 整合按用户与实验室整合,便于帐单查询与帐务查询,以及用户自服务帐单查询.,相关术语字典,实验室 就是用户使用的Unix服务器,用户需要帐号与口令,通过IP访问. 业务帐号 用户使用实验室需要的帐号,口令,IP必须向电信运营商才能获得,该申请信息就是业务帐号,业务帐号中包含资费种类,用户的费用产生就是不同业务帐号下费用的总计. 帐务帐号 用户费用结算的信息就是通过帐务帐号来管理.帐务帐号主要记录用户的支付方式,申请的业务帐号等. 帐单查询 就是费用查询,费用按不同业务的费用按帐务帐号总计成用户费用.帐单查询就是查询帐务帐号下的费用,和每个帐务帐号下的业务帐号明细. 帐务查询 按实验室查询在每个实验室上产生的登录时长统计. 用户自服务帐单查询. 用户可以查询发生在自己个人帐务帐号下的总计费用,以及费用明细.,计费系统整体结构说明,XX电信运营商新增一项Open Lab（开放实验室）出租业务，即该电信运营商提供基于Unix平台的实验室环境，选择使用这种业务的用户能够远程登录到实验室中做基于这个实验室环境的一些工作和实验。运营商希望借助先进的计算机技术对访问实验室的用户进行管理和计费，由此实现对此项业务运营的支持与管理。本项目主要包括以下子系统： 采集系统 整合系统 用户管理系统 资费管理系统 管理员管理系统 帐单查询系统 帐务查询系统 用户自服务系统 权限管理系统,计费系统整体结构图,电信计费系统的业务工作流模型,电信物理结构拓扑图,数据采集部署结构图,用户计费原理,当用户申请帐务帐号后就有了交费数据,然后可以申请业务帐号. 用户通过申请的业务帐号和口令登录电信的实验室服务器使用服务. 计费的依据是用户使用实验室的时间长度和使用服务的资费标准. 用户使用实验室的时长公式: 登录时长=用户登出时间-用户登录的时间. 用户应该交纳的费用公式: 交纳费用=登录时长*资费单位费用 + 资费基本费用.,要实施的系统,电信运营计费管理系统: 用户通过该系统向管理员申请帐务帐号与业务帐号. 管理员通过该系统录入资费标准. 管理员通过该系统统计查询所有实验室的用户使用情况. 超级管理员通过该系统授权一般管理员. 电信数据采集与整合系统: 采集系统:由系统定时启动扫描系统的登录历史文件,把用户登录/登出实验室的数据采集并分析处理后存储到数据库服务器. 整合系统:把采集的原始数据按用户或按实验室进行统计整合,便于管理员统计查询或便于用户查询个人的应交费情况. 用户自服务系统: 用户可以通过该系统修改个人的信息资料,或查询个人的交费情况.,需求分析 -用例分析,采集整合用例,采集的C/S设计,采集过程的特点: 由于系统本身分散的特点,采集点与数据存储点是分散的. 采集点是客户Client,存储点是数据库服务器Server 采用两种方式C/S可以达到目的. JDBC是直接的C/S方式 优点:简单,直接 确定:数据库安全性差.现在已经产生很多技术避免对数据库的直接访问.如EJB,Web服务,JMS等 低层的Socket数据传输方式.本设计中采用的方式. 优点:数据库安全. 缺点:面向低层开发,需要处理多线程,数据传递失败等细节.,数据采集-采集点说明,数据采集-存储点说明,数据整合说明,Java代码实现整合 存储过程实现整合,采集源数据说明 - 采集前的补充说明,用户登录数据记录源wtmpx格式,在Unix中用户登录的记录存放的一个系统历史记录文件wtmpx中,该文件是二进制文件. 该文件的读取有两种方式: 通过C读取. 通过Java读取.本设计中采用的方式. 读取文件的关键是理解二进制记录格式,在C中有一个结构提utmpx,只要理解该结构体就可以理解记录格式.,理解utmpx结构体,Wtmpx记录字节,详细说明wtmpx,Type含义,#define EMPTY 0 #define RUN_LVL 1 #define BOOT_TIME 2 #define OLD_TIME 3 #define NEW_TIME 4 #define INIT_PROCESS 5 #define LOGIN_PROCESS 6 -登录进程 #define USER_PROCESS 7 -用户进程 #define DEAD_PROCESS 8 -终止进程,数据采集分析设计 -客户端,数据采集分析设计,分析设计的思路 按用例场景为单位进行分析设计. 以时序图为主要手段,以类图为主要目的的分析模式分析设计. 分析中重点关注:数据源-处理过程-数据结构 分析中的三个阶段: 第一阶段:数学模型建立阶段 实体类 功能类 第二阶段:业务逻辑模型建立阶段 DAO层类, 功能类责任分配. 第三阶段:模型整合与完善阶段 利用J ava的设计模式,产生辅助类,降低系统的耦合程度.,数据实体类图设计-数据源,实体类LogRecord说明,LogRecord: 把数据源的数据读取后以对象形式保存. 在该系统中,采用把登录/登出分开存放,便于分析. 负责封装日志中数据 user：登录用户帐号 type：登录类型,登录7/登出8 visittime：登录/登出的时间 labip：采集的服务器IP userip：用户IP pid:登录进程ID，主要识别同用户的登录。 MatchedRecord 负责存放匹配处理好的数据.就是把用户登录/登出整合成一条数据. 在数据发送,本地存储都以该类型的形式使用.,根据实体类设计成表结果,原始采集用户登录时长明细表 (details_x) 其中x 是1-31-MatchedRecord类,数据实体类图设计-数据存储目标,数据实体类说明,在采集数据的存储方式,根据客户需求与系统性能的考虑,设计的时候把数据存储表结构分为三类: 采集的原始登录数据记录表。 按不同用户在不同实验室上的数据整合表。 按不同实验室的数据整合表。 注意：按实验室整合与按用户在不同实验室上整合的存储因为数据量的问题在设计上有区别。其中前者的表按天，月，年各一张，后者的天表31张，月表12张，年表根据年份一年一张。,采集的原始登录数据记录表,该表特点： 该类表一张。该表设计成一个，主要是原始数据很少被查询。 数据量很大。 可能为用户查询使用业务的明细的时候查询。 登录/登出构成一条记录,不存储时长。 可能几个小时一条记录，也可能一小时内若干条记录。,按不同用户在不同实验室上的数据整合表,该类表主要存储整合后的数据。其中存储时长，按时间间隔分三种： 一小时内的数据整合成一条记录。单独存放在一张表中-天表。 一天内的数据整合成一条记录。单独存放在一张表中-月表。 一个月内的数据整合成一条记录。单独存放在一张表中-年表。 注意： 这三张表结构完全一样，除时间范围具体的值不同。 因为该表查询的频繁度很高，在设计的时候设计成天表31张，月表12张，年表根据年份一年一张。,按不同实验室的数据整合表,该类表存储整合数据，其中不再存储用户登录名等信息，按时间间隔分三种： 一小时内的数据整合成一条记录。单独存放在一张表中-天表。 一天内的数据整合成一条记录。单独存放在一张表中-月表。 一个月内的数据整合成一条记录。单独存放在一张表中-年表。 注意： 该表的查询主要是运营商在统计运营情况的时候使用，使用频率相对较低。设计的时候采用每种表各一张。,设计实体类的意义,实体类是E-R中的E的编程语言描述. 实体类是数据的OO实现与分析设计结果. 使用实体类的好处: 在程序中以对象形式使用数据结果. 在程序中数据可以持久. 可以很轻松与Hibernate融合.,类说明,Detail-对应设计的表结构与原始采集后生成的格式一样 loginname 登录名 labip 登录实验室IP loginip 用户IP logouttime 登出的时间 logintime 登录的时间 duration 登录时长 DetailDay, DetailMonth, DetailYear类与上面描述一样.,类的表结构描述,按用户统计整合的时记录表detaildays_x 其中x是1-31,类的表结构描述,按用户统计整合的天记录表detailmonths_x 是1-12,类的表结构描述,按用户统计整合的月记录表detailyears_x x不定x表示年,类的表结构描述,按服务器整合的时记录表detaildays,类的表结构描述,按服务器整合的天记录表degtailmonths,类的表结构描述,按服务器整合的月记录表detailyears,采集端类图,时序说明,类说明,CollectionLaunchor 采集主程序类，发动采集线程。,类说明,CollectionThread 采集线程，负责启动采集过程。,类说明,DataCollector 负责采集环境的处理与数据采集，分析处理,类说明,LogRecord类 负责登录/登出数据封装。 MatchedRecord类 负责匹配好的数据的封装。 CollectionListener接口 规范采集好的数据的处