“网尽其用”,老网络的新用场 本日,共享单车,已经充斥在中国的大街小巷。但是,可能很多人想不到,支撑这些共享单车后面的网络,并不是5G,也不是4G,而是作为第二代无线通信的GSM网络。 共享单车对带宽、速率、时延哀求不高,GSM网络有最广最深度的覆盖,更能知足随时随地启停的哀求,且本钱低。以是主流单车厂家都采取GPRS(通用分组无线系统)模块做通信根本,通过GPRS开锁或者“GPRS通信+蓝牙”赞助开锁。最初GSM是为语音业务而出身的网络,是为人们通话做事的,现在却是“老网络碰上新运用”,于是乎,新的问题和需求便不断被催生出来。
共享单车海量运用 GPRS领域专家郭志宽回顾起刚开始打仗这些场景的一幕幕,依然影象犹新。 2019年2月3日,作为当天的热线任务人,郭志宽溘然收到客户反馈共享单车开锁失落败的用户投诉,一向对GPRS新场景问题敏感的贰心想,随着共享单车数量的爆发式增长,这类问题后续可能越来越多,如果处理不及时,将影响弘大的共享单车运用群体出行便利性,随意马虎引起消费者投诉,进而危害客户利益。 由于之前未处理过类似的问题,郭志宽还是花了半个来小时头脑风暴,好好梳理了问题处理思路:怎么界定问题?是共享单车本身还是网络侧的问题?如果是网络侧的问题,和无线网络的哪种制式干系?用户可能利用的是4G、5G网络,和2G有关联性吗?是不是同一类问题导致开不了锁? 带着这些疑问,他和一线、客户做了一次互换。 “单车厂家已经供应了开锁事理图,锁具的通信模块只有GPRS芯片,因此问题一定是和GSM网络干系,而同一辆单车在有的基站覆盖下可以开锁,有的基站覆盖下打不开锁,证明是和网络侧干系。”客户说。 客户也反过来质疑我们:“华为是不是对网络新动态研究不敷,产品对这种新场景处理可靠性不足,导致概任性失落败?” 客户的质疑无可辩驳,我们必须尽快定位根因,给客户一个可信的答复。 郭志宽主动联系一线,实际拜访了多个投诉点,同时对多个单车投诉点所在基站的海量数据剖析比对,逐步锁定了开锁问题的几种场景,并给出了网络调度策略:大量单车的集中摆放,频繁附着和接入,导致网络侧资源紧张,进而造成拥塞。结合单车业务接入频繁但并不永劫光占用网络的特点,他制订了精确网络优化方案:降落PS业务信道资源和增加PS业务接入信道资源,该方案可以预留更多的接入资源担保大量单车接入网络。同时,由于海量单车入市韶光不一致,厂家管理存在问题,导致大量单车欠费,进而无法开锁,团队建议客户供应欠费单车列表,交由厂家处理, 缴清欠费。这些方案在投诉点落地后,单车投诉问题大大缓解。 投诉问题处理后,郭志宽及时总结出一套适配共享单车等物联网场景的参数方案,同时提出3项产品掩护测试改进,方便该类问题定位。当前共享单车场景的问题处理质量和处理效率快速提升,投诉点收敛明显。 从客户角度来看,客户希望网络能做到“网尽其用”,而由于GSM“广覆盖+低本钱”的上风,除了共享单车,一些海量的物联网运用(如新能源汽车充电桩等)都选择寄托于2G网络。据统计,当前在中国,就有超6亿的物联网设备承载在2G网络上,大量的新场景运用需求哀求我们主动拥抱变革,做好物联网新场景和范例问题的精确适配,在新场景下知足客户需求。老网络乞助电话响起,业务规复优先 2021年2月25日23:40,伴随着熟习的“Welcome to join the conference”,夜班刚到岗10分钟的许晓明被拉入电话会议:“你好,我是M代表处,我们这有一台CDMA BSC6600停电规复后打不了电话了,请帮我们看看,感激。”BSC6600老平台?!
有多少年都没受理过这里的CDMA问题了,许晓明飞快地在大脑中完成网络情形检索。没成想刚到岗就捡到“宝”了!
“影响多少动态用户?已做过什么规复动作?要不要报事件?”接线后紧急规复“X问”早已烂熟于心。 “几个屯子站点,约200多个用户,客户没操作,要立时规复。”不容多想,许晓明立即呼入CDMA专家张瑞等快速谈论,初步判断问题是由数据同等性非常或中央交流框某单板故障所致。 他迅速根据该故障场景规复方案指引操作,可是问题竟毫无改进,软件版本是十一年前发布的,现场已无CDMA网络掩护技能,临时割接站点效率低,脚本逻辑繁芜随意马虎出错,耗时长,风险太高。只剩末了一个方案:将机框连接到其他空闲端口进行业务转移。 但是,设备太老了,现场职员都没打仗过。 “我不知道如何登录BAM(后台管理模块)做事器,数据下载不了。”壅塞在基本操作上,的确是猜想之外。当下,最好的办法便是我们得到客户授权,远程接入,在线辅导现场职员下载数据。“专家出马,一个顶俩”,张瑞快速帮忙一线下载数据,完成单板连线逻辑梳理,找出空闲端口,并制作相应脚本。但是端口逻辑繁芜,要给本地员工阐明清楚十分费力,与其反复阐明如何连接,还不如直接画个图。 拔线,插线,实行脚本,随着现场操作实行,所有人屏住呼吸,目不斜视地盯着单板状态的变革。当看到第一块单板状态由红变绿时,紧张的气氛逐渐放松下来,5分钟后,所有单板加载完毕!
“客户反馈说用户可以打电话了,夸你们干得很好!
”造诣感瞬间爆棚,原来“网络虽老,宝刀不老”是这种滋味。 老产品进入生命周期的末期,很多小运营商会减少投资,而且随着一线和客户掩护职员的流动,韶光一长,老制式产品的掩护技能就丢失了……这些都是掩护老网的难点。但在一些欠发达地区,老产品仍发挥着它们的余热,坚挺地承载着通信的义务。对付这种突发的乞助,只管有各种客不雅观上的困难,我们也不能有丝毫的倦怠,武断落实“网络安全第一、业务规复优先”的这种事情信念,并持续地传承下去。老网虐我千百遍,我待老网如初恋 借用一位掩护兄弟的话,搞网络掩护事情,真是“越老越难”。一起走来,与问题为伍,与操作为伴,在一次次的“打怪”与改进中,我们的2G网络“老当益壮”,也给团队成员留下了一个个难忘的经历。繁忙的春节是常态 2018年2月11日,农历尾月二十六,B国客户的二级ITR(问题到办理)管理升级的急匆匆地升到了GTAC。 “客户本日凌晨22套BSC(基站掌握器)翻频后KPI(关键性能指标)恶化严重,将严重影响2月14日LTE商用发布会,客户CTO不断投诉。”一线描述着问题背景。 赵文文迅速启动攻关,通宵剖析,结合现网滋扰恶化场景给出相应的优化方法,并辅导一线在凌晨五点全网履行。但经由话务早高峰不雅观察,KPI改进有限,一线的忍耐到了极限,很快问题升级!
攻关组紧急谈论,须要重新设计频率方案并履行。因此铁三角阵型迅速组建:翻频专家赵文文卖力联系TMO(技能管理办公室)进行方案评审以及辅导GSC(环球做事中央)制作翻频脚本;基站专家刘冬核查RRU的功率、频率冲突问题;性能专家卢新辉卖力现网配置和话统剖析,制订翻频后的KPI优化方法……大家充分发挥各自专业上风,紧密协同,各个环节无一差错,在客户哀求的韶光点完成了全部有问题BSC的干系操作,操作后KPI均达标,打消了客户疑虑。终极,客户利用GSM腾出的频段成功在该国实现了LTE首商用。 2月15日,除夕。PSE(产品支持工程师)卢新辉和往常一样早早来到了公司,这已经是他连续第三年在除夕夜值班过大年了。晚餐韶光,部门安排一起吃年夜大饭,然而刚刚落座,再熟习不过的GTAC热线溘然响起,互报姓名,又是B国!
“兄弟,除夕快乐。非常不好意思,我们有个非常紧急的问题须要GTAC兄弟支持,G客户本日也要上线LTE,但LTE设备激活失落败,客户首商用LTE,十万遑急,必须立即办理。” 他遑急火燎吃上两口,就往办公室赶,这也算是年夜大饭了吧。 路上便收到二级管理升级短信提醒,随后被一线呼入电话会议。等回到工位,对现网的频率方案、组网方案已基本摸清,并根据以往的问题处理履历大致明确了问题剖析方向。随后,立即拉通LTE侧的兄弟启动线上剖析,经由反复核对确认,创造是客户方案的GSM和LTE频率“斗殴”所致。 快速修正了LTE频率,但问题依然存在。来不及沮丧,重新梳理问题,仔细核对,创造部分频段配置又有问题,导致超过了设备的最大带宽支持能力,调度GSM频点后,业务终于规复正常。 2018年的除夕夜,就这样过了。 这样的春节,是团队的常态。当海内万家团圆时,他们大概正经历着各种风暴的磨练,让网络末了波澜不惊。也不仅仅是春节,一年365天,7X24小时,每一分钟都须要在线,没有震天动地创举,只有默默无闻的坚守。20年一次的GPS翻转保障 2019年2月,王大峰接到部门关照:“GPS(环球卫星定位系统)卫星近期将要翻转,GSM网上存量最大,请主导无线保障!
”放下电话,持续串的疑问浮现在脑海中:为什么翻转?跟无线有啥关系?有啥影响?…… 根据掩护业务中“字越少,事越大”定律,任务显得紧急而神秘。 他快速查询资料理解情形,原来GPS周计数器位数有限,自1980年投入利用以来,19.7年会归零一次,2019年4月7日07:59:42将迎来第二次归零翻转,翻转后,GPS韶光将初始化到上次翻转的韶光1999年8月22日,所有同步GPS的网络设备韶光也将初始化。 天呐!
无线存量有几百万站,如果网元韶光回退19.7年,license(容许证)期限怎么办?会不会影响同步,导致批量断站? 绝不能让这样的问题发生!
GTAC无线随即成立KEA(重大事宜保障)项目组,提出“零中断、零投诉、无感知”的目标,王大峰担当保障组长。干掩护岗位那么多年,他第一次觉得压力山大:如何预测翻转后可能涌现的所有风险场景?如何提前实行风险清理方案?如何制订紧急规复预案? 经由多轮谈论,项目制订了“三步走”的策略: 第一步:联合研发搭建镜像实验室,全场景验证韶光翻转后风险; 第二步:根据测试排查风险项,制订规避方案,快速下发到现网; 第三步:一旦预案被击穿,确保及时规复业务的应急手段。 经由连续60多天的努力,无线整体识别风险43项,实行规避方案28个,进入翻转保障倒计时。 测试组怀着“不肯望测出问题,但又希望测出问题”的抵牾心情,持续测试,恐怕漏掉任何一个未知风险。 4月4日,翻转前三天,测试组溘然传来,创造新风险场景:掌握器OMU(操作掩护单元)系统韶光将会跳转到2000年1月1日,导致某业务无法登录!
所有人一下子紧张起来,迅速集结,谈论和制订规避预案并验证有效,在当日凌晨刷新了第N版《GTAC无线GPS翻转规复预案》操作辅导书…… 4月7日,大家集中在作战室,屏住呼吸等待翻转时候的到来,随时相应一线热线,并30分钟通报一次网上表现。截止到中午12点,除了有一个局点上报10个站点突发时钟源告警外,环球几百万的无线网络平稳渡过20年一次的GPS时钟翻转,数以亿级的终端用户完备没有受到本次翻转的影响。我们实现了既定目标,真正做到了“零中断、零投诉、无感知”。 那一刻,没有欢呼雀跃,但从大家的眼神中能看到,作为掩护专家的自满和重大事宜保障后的如释重负! 老网被高制式“误伤” 2020年6月的一天上午,王路接到Y国一线的热线,客户投诉多个GSM VIP小区涌现无话务问题,哀求急速办理。站点都是GSM<E多模站点,升级后LTE正常,但GSM有问题,初步判断该当是内部涌现非常,须要基站日志等详细信息进行定位。还没等展开进一步排查,代表处领导上线了,“这是VIP区域,很快可能上升到客户高层了!
须要尽快规复业务!
” “对问题小区设备远程掉电复位。”果真,进行掉电复位后,GSM小区业务规复了。按此方法,陆续规复所有问题GSM小区。 但问题的根因是什么呢?很快,我们拿到日志。按理日志该当很快能找到非常点,但出乎猜想的是,排查所有日志,均无非常记录。 “难道是这个新升级的基站版本在GSM侧新引入了什么问题?”我们找研发确认,但创造该补丁GSM侧没有任何变革,只有LTE侧有改动。这就奇怪了,没有合入任何代码的GSM反而出了问题? 问题剖析毫无头绪,只能通过在实验室完备镜像现网站点。我们通过无数次考试测验,终极定位:新版本内存调度非常,LTE占用了内存区域,导致GSM侧读取内存失落败,属于误伤。 目前4/5G网络逐步霸占了主流运用地位,环球很多地方无线产品“四世同堂”,新的制式引入,带来了更多的需求和特性,也带来更多的代码变更和问题,共模场景下高制式操作影响GSM的情形越来越多。而此类问题每每短缺成熟的维测手段,对定位和规复问题都存在严厉寻衅。在没有有效的、彻底的办理方案之前,新网要上,老网也要能运行下去,就须要我们这些“老兵”不断推动研发履行制式间代码隔离,阻断制式间的影响,同时增强针对这类问题的掩护测试,增强问题定界和定位效率,共同应对这一新场景的寻衅。 “老网虐我千百遍,我待老网如初恋”。对付我们这些老兵来说,通知着这些“老网”,每每涌现意想不到的新问题,唯有沉下心来,细细琢磨老朋友到底哪里又不高兴了,去找到问题的症结所在,让它重新抖擞青春。网络会老,老兵不老 2020年的一次民主生活会上,团队谈论如何强身健体,团队跑步老将分享了自己的跑步心得和收成:“随着年事的增长,为事情奋斗,为生活奔波,传说中的中年危急准期而至。我开始了跑步,后来逐渐爱上了这项运动。坚持了几年,参与过各种马拉松、越野跑、康健跑,从一个跑步门外汉到深度热爱者。我们卖力的产品进入了生命周期的中后期,老产品的掩护就像跑马拉松,网络就像我们的身体一样,要让网络健壮,我们自己先不能倒下。有些网上问题,确实是我在跑步的时候想到的思路,不信大家可以试试!
” 一番话,引起了大家的共鸣,团队后来策划了“GC意见意义跑”活动,在老将的带领下,大家激情飞腾,公园、园区、小区、大街上……留下了大家挥汗如雨的身影,3个月的活动结束后,跑步逐渐成了大家的爱好,支撑大家以康健的体魄投入到事情中去。
GC成员跑步轨迹 目前,在这场老产品的“掩护马拉松”中,团队当前保留18人,号称“GC十八罗汉”。结合GTAC小众产品策略,团队履行了白名单管理:识别CDMA专家2名、事件规复专家2名、GPRS业务专家1名、性能优化专家2名,留住老产品的“根”。同时,大家也在积极主动学习新技能,全员节制GSM<E CloudAIR新特性、欧拉系统新方案、GSM和高制式的网络协同等,跟上新时期,做一个拥抱变革的老兵。 网络会老,老兵不老,当前团队成员军队稳定,斗志昂扬,用实践证明着坚守网上百万老旧存量掩护奇迹的决心。2021年春节期间,全员参与了值班保障,确保问题清理一直歇,问题清理率达成寻衅。 GSM&CDMA作为无线通信的“打底”网,弘大的网上存量会产生非常多的新场景,须要我们在受理一线问题的同时,保持开放的心态,主动思考,充分利用GTAC天然的 “网络触角”上风,担起二线承上启下的职责,不断推动方案优化和掩护能力提升,在作业质量和效率上深耕,坚持跑完GSM&CDMA掩护的马拉松,这是一份任务,也是信念。
