当前位置:首页 >> 信息与通信 >>

河北唐山CDMA网络质量事故回溯报告


文档名称

文档密级:

Huawei Technologies Co. Ltd.

Report No. Rev 2.0

Strictly Confidential

河北唐山CDMA网络质量事故回溯报告

Prepared by: Checked by: Approved by:

刘利锋

Date: Date: Date:

2009-7-16

Huawei Technologies Co., Ltd.
All rights reserved

2013-9-17

华为机密,未经许可不得扩散

第 1 页, 共 7 页

文档名称

文档密级:

1、事件过程描述: ............................................................................................................................................... 3 2、事件反思 ........................................................................................................................................................... 5 4、问题背后的问题 ............................................................................................................................................... 6 5、总结 ................................................................................................................................................................... 7

2013-9-17

华为机密,未经许可不得扩散

第 2 页, 共 7 页

文档名称

文档密级:

1、事件过程描述:
河北 CDMA 项目唐山本地网为河北省重点区域, 6 月 10 日割接完成, 自 割接完成后立即 进行大量新建站及 1x、DO 扩容;至今已有在网设备 1x 基站 556、载频数 2063,DO 基站 353 个基站、载频数 2012。 7 月 12 日唐山项目组进行参数核查时发现存在 7 个基站驻留策略与既定策略不一致, 通过对割接脚本核查,原脚本正确,唐山网规组 TL 苏文庆、TS 孙军计划对 7 个站驻留策略 参数进行调整,安排合作方进行准备。 7 月 14 日唐山电信网优部门在晚上 20 点收到用户投诉“唐海党校”基站无法主被叫, 唐山网规组检查该站话务量、掉话、呼建 KPI 指标正常。 7 月 15 日 11 点再次收到“唐海党校”投诉,网优到达现场测试,现场测试“唐海党校” 主被叫正常;但测试发现“唐海供电一所”无法起呼,但可以从其他基站切入该站; BSC 侧进行该站告警、接入、登记数据检查,并对基站进行复位操作,问题依旧。跟踪信令发现, 主叫没有任何信令发到 BSC, 被叫的时候手机也没有任何响应消息, 联系交换核查数据正常。 分析全网话务指标进行对比,发现 26 个基站话务量为 0,且在同一 Abis 接口板。现场派出 多人测试,,经用户同意对发现不能通话基站进行紧急闭塞。询问现场没有近期无操作,怀 疑 Abis 接口板故障。 7 月 15 日 14 点左右现场 B 侧工程师知会省项目组,并再次询问现场没有近期无操作。 打 800 建单,启动紧急事件处理流程。 7 月 15 日 14 点 30 左右分省项目组在石家庄召开电话会议,要请研发等相关人员接入 处理。 7 月 15 日 16 点左右研发检查日志,初步判断为驻留策略问题,让现场人员检查驻留策 略。检查这三个站主流策略,发现 283、201 频点的 CCLM、ECCLM 发送参数均为不发送,导 致在 283、 频点无法寻呼建立寻呼信道, 201 导致 1X 语音无法接入, 用户主被叫均不能拨打, 造成大量用户投诉。 根据日志检查发现 7 月 14 日下午点唐海曹妃甸、唐海供电一所、乐亭远大酒店等七个 基站的多载波参数驻留配置错误。后通过维护台用 LST CDMACH 检查问题基站配置参数,发 现三问题基站下的 283、201 频点的 CCLM、ECCLM 发送参数值为不发送,即基站不下发任何
2013-9-17 华为机密,未经许可不得扩散 第 3 页, 共 7 页

文档名称

文档密级:

寻呼信道列表。 合作方郑柯柯承认 7 月 14 日 16 时未告知任何人下发 7 个站驻留参数调整脚 本 回顾整个事件,有以下几个关键点:
时间 事件 操作人 结果 参数检查发现 7 个站 201 频点仅在 201 频 点 CCLM、ECCLM 苏文庆(TL)、孙 7 月 12 日 参数核查 军(TS) 发送,与驻留策略不 符。 与割接脚本进行核 查,割接脚本正确; 7 月 13 日 7 月 14 日 参数修改决策 驻留策略脚本制作 苏文庆、孙军 郑柯柯(合作方) 决策需要进行修改。 脚本制作错误,问题 隐患 TL 苏文庆、TS 孙军 未收到脚本;但未及 时关注策略整改进 脚本审核 未审核 度。 问题:未在规定时 间、下载未审核脚 本、 未经 TL/TS 允许、 7 月 14 日 16 点 7 月 14 日 20 点 用户投诉“唐海党校”基站无法主被叫 独自下发加本、未经允许 郑柯柯(合作方) 孙军、魏国星(合 作方) 下载脚本后未跟踪 涉及基站状态 检查该站话务量、掉 话、呼建 KPI 指标正 常 发现故障基站,并进 行全网话务 KPI 指 标,发现 26 个基站 7 月 15 日 11 点 再次收到“唐海党校”投诉,现场测试正常;测 试发现“唐海供电一所”无法起呼 检查基站无告警、 分析存在无法进行呼叫基站均 在同一 Abis 接口板,现场测试对不能呼叫基站 7 月 15 日 14 点 7 月 15 日 14 点 30 分 7 月 15 日 16 点
2013-9-17

苏文庆、 魏国星 (合 作方)

接入次数为 0 次,部 分未开通基站

进行闭塞,对测试站进行复位,询问现场近期无 人进行参数修改操作 省项目组召集电话会议,跟踪督促问题进展 杨硕(B 侧) 河北省项目组

800 建单,启动紧急 处理流程

现场对 7 个基站进行 检查发现 201 和 283 研发分析发现硬指配存在问题
华为机密,未经许可不得扩散

800

频点 CCLM、ECCLM 参
第 4 页, 共 7 页

文档名称

文档密级:

数均设置为“不下 发”,现场修改后正 常 省项目组 7 月 15 日晚连夜赶赴唐山,7 月 16 日 7 月 16 日 上午向用户出具报告,进行安抚。 靳庆刚、刘利锋

2、事件反思
本次事件由一名网优工程师进行参数修改没有按照流程执行引起, 但是从整个过程中发 现了很多本应能够杜绝事件发生的关键点没有把握好,导致问题不断扩大。 1. 每周项目会议均对网络安全、参数修改流程(提交申请、审批、执行、观察、闭环)进 行重点强调,且上周刚完成规范学习考试,为什么现场仍然会存在私自修改参数的情 况? 2. 现场根据核查发现参数问题,已经制定了调整决策,却没有跟踪进展和过程,没有给出 操作时间和流程提醒,是缺少责任心还是已经麻痹、还是自认为小事情、不会出问题。 问题往往都会存在认为不可能出现问题的地方。 3. 参数修改后,没有对参数进行检查,且对修改基站指标为什么没有进行跟踪观察? 4. 收到用户投诉后,仅对投诉基站进行检查;现场用户只能通过位置进行大概描述,第一 次收到投诉分析时,仅分析用户提及的基站,为什么不能扩展到周边基站? 5. 现场进行测试时,发现不能呼叫,从后来原因结果看,在广播消息中完全安可以判断出 问题,为什么现场处理人员就不能进行判断? 6. 出现问题时想到询问现场是否进行参数修改,但是为什么就没能查出来参数被修改问 题,而且 LST CDMACH 是常用命令,很快就能查到,为什么就没能查到? 7. 出现问题时已经询问现场人员是否进行参数调整, 现场均没有人承认自己进行操作; 且 没有该项操作记录;如果能够多从自我分析,多想想自己,可能就会大大降低事态的扩 大?

2013-9-17

华为机密,未经许可不得扩散

第 5 页, 共 7 页

文档名称

文档密级:

4、问题的警惕及改进措施
此次事件中,贯穿着流程意识薄弱、 项目管理、 操作监控、 现网安全意识差、问题跟踪、 操作记录、故障判断等众多问题;通过对本次事故的分析,本次事故产生存在严重的隐患:

1.

搬迁顺利完成后,网络指标、用户评价等均优于原来预期;成功喜悦掩盖了潜在的更大 危机;虽然在项目组在周例会多次强调网络安全、操作流程,但仍然存在没有真正落实 到每个成员实际工作当中、 没有真正贯彻到每个成员思想当中。 今后项目组不但要定期 进行规范学习、考试,还要组织进行答辩,切实让每个人都能吸取教训,网络安全天天 抓、时时抓。

2. 责任心、 认真重视程度需要加强: 真个事件过程中从决策制定后的跟踪执行、 脚本制作、 投诉处理、测试即故障排查,无数个只要再认真细心一点、责任心再增强一点、对事情 再深入一点就能够将事件影响最小化及时解决; 可是每次的擦肩而过、 点到为止让事情 不断扩大;可见提高每个人的职业素养、责任心、事事小心的意识仍是一项重要工作。 3. 敲响警钟, 网络安全不容忽视: 本事件涉及 7 个基站, 从中反映的问题, 想起来都后怕; 如果修改的是 BSC 及或其它参数,后果不堪设想;每一个人都必须严格要求自己,网络 操作,责任重大,特别是优化工作,所有操作都在现网进行,只有按照规章制度办事、 按照流程操作,才能保证不犯错误,顺利交付。 4. 事故处理完毕以后, 组织唐山项目组全员召开事件进行回溯会, 通过对时间开始到最后 处理过程进行分析, 现场每人根据对本次事件认识和教训, 结合自己工作进行分析并发 言;刨析到项目管理工作监控不到位、审核工作不到位、流程意识薄弱、现网安全意识 差、对问题跟踪不彻底、没有操作记录危害、故障判断不仔细等问题;通过本次会议让 每个人都认识到规章、流程重要性;自由按照规章制度、流程规范操作才能保证项目顺 利进行,任何一次偶尔、侥幸的违规都将造成严重后果。本要在整个河北项目组进行学 习,让每个人都从中吸取经验,不要在自己的工作中再次出现此类问题。

2013-9-17

华为机密,未经许可不得扩散

第 6 页, 共 7 页

文档名称

文档密级:

5、总结
本次事故反映了现场管理、合作方监控不到为;规章制度不落实;现网意识差、网络安 全操作没有落实到实际工作中;问题跟踪不彻底;故障判断不到位等问题。为现场工作敲响 警钟。在今后工作中一定要加强现场操作监控,网络安全、流程规范、规章制度执行,让流 程、制度、网络安全成为每个人的工作习惯,才能保障网络安全交付。

2013-9-17

华为机密,未经许可不得扩散

第 7 页, 共 7 页


相关文章:
河北唐山CDMA网络质量事故回溯报告.doc
河北唐山CDMA网络质量事故回溯报告 - 文档名称 文档密级: Huawei T
质量事故处理报告.doc
质量事故处理报告 质量事故调查处理报告一、 事故经过 2016 年 4 月 19
质量事故处理报告记录.doc
质量事故处理、报告记录产品名称 规格型号 生产厂家 事故发生时间 发生地点 事故原因 处理人 处理结果 质量事故处理、报告记录 文档贡献者 乐者嘉荣 贡献于2016-05-...
质量事故处理报告.doc
质量事故调查处理报告 一、事故经过 2013 年 6 月,发货到山东青岛的一批
质量事故调查报告.doc
上海外高桥造船海洋工程有限公司 报告编号:20140421 搭载部质量事故调查报告 H1340-40A 问题一、 调查背景以及事故描述 2014 年 4 月 21 日品保部质量员在内...
质量事故调查报告.doc
质量事故调查报告_表格类模板_表格/模板_实用文档。德信诚培训网 质量事故调查报告 事故编号 事故名称 事故类别 事故损失 事故经过 应急处理 直接原因 事故原因 间接...
质量事故处理报告.doc
合肥置地广场悦中心工程 外墙涨模质量事故调查、分析、 -2F 外墙涨模质量事故调查、分析、处理报告 中建三局合肥置地广场悦中心工程项目部 2011-12-8 一、 ...
质量事故调查报告.doc
×××有限公司 保密 □是 □否 公司 调查报告 事故 发生部门: 发生时间: 事故级别: 事故调查报告 事故类别 发生时间 涉及产品 涉及人员 □质量 □安全 □生产...
质量事故调查报告.doc
质量事故调查报告一,基本情况 (一)工程概况 (二)项目投资主体,参加各方基本情
2016年质量事故总结报告.xls
2016年质量事故总结报告_调查/报告_表格/模板_实用文档。年度总价报告类型 EXCEL 表格 2016年年度质量事故总结报表部门 生产工序/部门胶印 模切 自动粘盒 水印 生产...
质量事故处理报告格式.xls
质量处理事故报告事故概述:(时间,地点,经过,事故类别,造成的经济损失等) (质检部) 原因分析: (技术部+生产工程部) 预防纠正措施: (技术部+生产工程部) 事故...
质量事故分析报告.doc
质量事故分析报告一、 质量事故发生的时间: 二○一二年四月二十五日 二、 出现质量事故员工姓名: 王书民 三、 事故原因及经过: 在二○一二年四月二十五日,...
质量事故分析报告[1].doc
质量事故分析报告[1]_制度/规范_工作范文_实用文档。关于天津大港沙井子风电三期工程 7#、8#箱变基础混凝土浇筑后 暖棚内未升温事故报告事故概述 2011 年 12 月...
质量事故调查报告.doc
NPR 仪征工 厂工程 基础质量事故调查、分析、 基础质量事故调查、分析、处理报告 中国核工业华兴建设公司 NPR 仪征工程项目部 二 00 五年三月二十三日 一、 质量...
工程质量事故处理报告.doc
工程质量事故处理报告 华侨城 D3 主楼与 D2 车库交界处后浇带 两侧模板拆模过早事件处理报告一、事件调查背景: 2013 年 5 月 21 日下午,经建设单位工程部领导...
产品质量事故分析报告2.doc
陕西兴机泰电器有限公司 质量事故处理报告单主题: 产品图号: 产品名称: 201
质量事故调查报告.doc
质量事故调查报告_调查/报告_表格/模板_实用文档。质量事故调查报告,适用于工厂出现大的质量事故调查分析用,表格中已有案例 质量事故调查报告 PO# 发生数量 C154344...
建筑质量事故分析报告.doc
2.3 、工程质量事故处理所需的资料 1) 、与工程质量事故有关的施工图。 2)、 与工程施工有关的资料、 记录, 例如建筑材料的试验报告,各种中间产品的检验记 ...
质量管理部--质量事故分析报告书.doc
质量管理部--质量事故分析报告书_调查/报告_表格/模板_实用文档 暂无评价|0人阅读|0次下载|举报文档质量管理部--质量事故分析报告书_调查/报告_表格/模板_实用...
混凝土质量事故总结报告-修.doc
混凝土质量事故总结报告一、 工程概况序 号 1 2 3 4 5 6 7 8 9
更多相关标签: