当前位置:首页 > 科技  > 网络

腾讯云突发故障 87分钟波及1957个客户!官方公开内幕

来源: 责编: 时间:2024-04-15 18:08:07 118观看
导读 4月8日下午,腾讯云突然发生服务故障,表现为接口响应报错、内部服务错误、网页显示504错误等。504错误代表的是网关超时(Gateway timeout),也就是服务器作为网关或代理没有及时从上游服务器收到请求。当天傍晚,

4月8日下午,腾讯云突然发生服务故障,表现为接口响应报错、内部服务错误、网页显示504错误等。7ag28资讯网——每日最新资讯28at.com

504错误代表的是网关超时(Gateway timeout),也就是服务器作为网关或代理没有及时从上游服务器收到请求。7ag28资讯网——每日最新资讯28at.com

当天傍晚,腾讯云回复称,官网控制台相关服务出现异常,正在紧急修复,部分地区已恢复,其他地区也正在继续抢修中。7ag28资讯网——每日最新资讯28at.com

腾讯云突发故障 87分钟波及1957个客户!官方公开内幕7ag28资讯网——每日最新资讯28at.com

现在,腾讯云官方公布了对此次故障的复盘及情况说明。7ag28资讯网——每日最新资讯28at.com

根据腾讯云的说法,4月8日15点23分,腾讯云团队收到告警信息,云API服务处于异常状态,随即在腾讯云工单、售后服务群、微博等渠道开始大量出现腾讯云控制台登录不上的客户反馈。7ag28资讯网——每日最新资讯28at.com

经过故障定位发现,客户登录不上控制台正是云API异常所导致。7ag28资讯网——每日最新资讯28at.com

云API是云上统一的开放接口集合,客户可以通过API以编程方式管理和操控云端资源,云控制台通过组合云API提供交互式的网页功能。7ag28资讯网——每日最新资讯28at.com

故障发生后,依赖云API提供产品能力的部分公有云服务,也因为云API的异常出现了无法使用的情况,比如云函数、文字识别、微服务平台、音频内容安全、验证码等。7ag28资讯网——每日最新资讯28at.com

此次故障一共持续了近87分钟,期间共有1957个客户报障。7ag28资讯网——每日最新资讯28at.com

腾讯云突发故障 87分钟波及1957个客户!官方公开内幕7ag28资讯网——每日最新资讯28at.com

从客户的视角来看,云服务大概可以分为数据面和控制面,其中数据面承载客户自身的业务,控制面负责操作云上不同产品。7ag28资讯网——每日最新资讯28at.com

此次发生故障的控制台和云API,是对控制面的影响。7ag28资讯网——每日最新资讯28at.com

腾讯云突发故障 87分钟波及1957个客户!官方公开内幕7ag28资讯网——每日最新资讯28at.com

通俗来讲,如果把云服务类比为酒店,控制台相当于酒店的前台,一旦发生故障就会导致入住、续住等管理能力不可用,但已入住的客房不受影响。7ag28资讯网——每日最新资讯28at.com

这次故障中,客户已经配置好的服务器等IaaS资源,包括已经部署运行的业务,没有受到云API异常的影响。其他以非云API方式提供服务的PaaS、SaaS服务,也都正常服务。7ag28资讯网——每日最新资讯28at.com

腾讯云突发故障 87分钟波及1957个客户!官方公开内幕4月8日当天腾讯云全产品进出流量趋势图,可以看到不受影响7ag28资讯网——每日最新资讯28at.com

但是,使用API提供的服务类产品受到不同程度的影响,比如腾讯云存储服务调用当天有明显下滑。7ag28资讯网——每日最新资讯28at.com

腾讯云突发故障 87分钟波及1957个客户!官方公开内幕4月8日当天腾讯云存储服务调用数据趋势图,可以看到存储服务调用有一个明显的波动7ag28资讯网——每日最新资讯28at.com

本次故障处理过程如下:7ag28资讯网——每日最新资讯28at.com

15:23,监测到故障,立即执行服务的恢复,同时进行原因的排查;7ag28资讯网——每日最新资讯28at.com

15:47,发现通过回滚版本没能完全恢复服务,进一步定位问题;7ag28资讯网——每日最新资讯28at.com

15:57,定位出故障根因是配置数据出现错误,紧急设计数据修复方案;7ag28资讯网——每日最新资讯28at.com

16:02,对全地域进行数据修复工作,API服务逐地域恢复中;7ag28资讯网——每日最新资讯28at.com

16:05,观测到除上海外的地域API服务均已恢复,进一步定位上海地域的恢复问题;7ag28资讯网——每日最新资讯28at.com

16:25,定位到上海的技术组件存在API循环依赖问题,决定通过流量调度至其他地域来恢复;7ag28资讯网——每日最新资讯28at.com

16:45,观测到上海地域恢复了,此时API和依赖API的PaaS服务彻底恢复,但控制台流量剧增,按九倍容量进行了扩容;7ag28资讯网——每日最新资讯28at.com

16:50,请求量逐渐恢复到正常水平,业务稳定运行,控制台服务全部恢复;7ag28资讯网——每日最新资讯28at.com

17:45,持续观察一小时,未发现问题,按预案处理过程完毕。7ag28资讯网——每日最新资讯28at.com

腾讯云表示,故障的原因是云API服务新版本向前兼容性考虑不够,以及配置数据灰度机制不足。7ag28资讯网——每日最新资讯28at.com

本次API升级过程中,由于新版本的接口协议发生了变化,在后台发布新版本之后,对于旧版本前端传来的数据处理逻辑异常,导致生成了一条错误的配置数据,而灰度机制不足导致异常数据快速扩散到了全网地域,造成整体API使用异常。7ag28资讯网——每日最新资讯28at.com

发生故障后,按照标准回滚方案将服务后台和配置数据同时回滚到旧版本,并重启API后台服务,但此时因为承载API服务的容器平台也依赖API服务才能提供调度能力,即发生了循环依赖,导致服务无法自动拉起。7ag28资讯网——每日最新资讯28at.com

通过运维手工启动方式才使API服务重启,完成整个故障恢复。7ag28资讯网——每日最新资讯28at.com

近年来,国内各家云服务多次发生故障:7ag28资讯网——每日最新资讯28at.com

2024年4月9日支付宝崩溃,2023年12月3日腾讯视频崩溃,2023年11月27日滴滴崩溃,2023年11月12日阿里云和阿里系服务集体崩溃,2023年3月5日B站崩溃……7ag28资讯网——每日最新资讯28at.com

腾讯云突发故障 87分钟波及1957个客户!官方公开内幕7ag28资讯网——每日最新资讯28at.com

本文链接://www.dmpip.com//www.dmpip.com/showinfo-17-83495-0.html腾讯云突发故障 87分钟波及1957个客户!官方公开内幕

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 阿姨吐槽年轻人卧铺挂帘子不让坐 网友评论一边倒:别道德绑架

下一篇: 云南泼水节现场到处都在拔拖鞋:一个滑铲 拖鞋直接变护膝

标签:
  • 热门焦点
  • 5月iOS设备性能榜:M1 M2依旧是榜单前五

    5月iOS设备性能榜:M1 M2依旧是榜单前五

    和上个月一样,没有新品发布的iOS设备性能榜的上榜设备并没有什么更替,仅仅只有跑分变化而产生的排名变动,刚刚开始的苹果WWDC2023,推出的产品也依旧是新款Mac Pro、新款Mac Stu
  • K8S | Service服务发现

    K8S | Service服务发现

    一、背景在微服务架构中,这里以开发环境「Dev」为基础来描述,在K8S集群中通常会开放:路由网关、注册中心、配置中心等相关服务,可以被集群外部访问;图片对于测试「Tes」环境或者
  • 学习JavaScript的10个理由...

    学习JavaScript的10个理由...

    作者 | Simplilearn编译 | 王瑞平当你决心学习一门语言的时候,很难选择到底应该学习哪一门,常用的语言有Python、Java、JavaScript、C/CPP、PHP、Swift、C#、Ruby、Objective-
  • JVM优化:实战OutOfMemoryError异常

    JVM优化:实战OutOfMemoryError异常

    一、Java堆溢出堆内存中主要存放对象、数组等,只要不断地创建这些对象,并且保证 GC Roots 到对象之间有可达路径来避免垃 圾收集回收机制清除这些对象,当这些对象所占空间超过
  • 为什么你不应该使用Div作为可点击元素

    为什么你不应该使用Div作为可点击元素

    按钮是为任何网络应用程序提供交互性的最常见方式。但我们经常倾向于使用其他HTML元素,如 div span 等作为 clickable 元素。但通过这样做,我们错过了许多内置浏览器的功能。
  • 信通院:小米、华为等11家应用商店基本完成APP签名及验签工作

    信通院:小米、华为等11家应用商店基本完成APP签名及验签工作

    中国信通院表示,目前,小米、华为、OPPO、vivo、360手机助手、百度手机助手、应用宝、豌豆荚和努比亚等9家应用商店,以及抖音和快手2家新型应用分发平
  • 华为HarmonyOS 4.0将于8月4日发布 或搭载AI大模型技术

    华为HarmonyOS 4.0将于8月4日发布 或搭载AI大模型技术

    华为宣布HarmonyOS4.0将于8月4日正式发布。此前,华为已经针对开发者公布了HarmonyOS4.0,以便于开发者提前进行适配,也因此被曝光出了一些新系统的特性
  • iQOO Neo8 Pro真机谍照曝光:天玑9200+和V1+旗舰双芯加持

    iQOO Neo8 Pro真机谍照曝光:天玑9200+和V1+旗舰双芯加持

    去年10月,iQOO推出了iQOO Neo7系列机型,不仅搭载了天玑9000+,而且是同价位唯一一款天玑9000+直屏旗舰,一经上市便受到了用户的广泛关注。在时隔半年后,
  • 机构称Q2全球智能手机出货量同比下滑11% 苹果份额依旧第2

    机构称Q2全球智能手机出货量同比下滑11% 苹果份额依旧第2

    7月20日消息,据外媒报道,研究机构的报告显示,由于需求下滑,今年二季度全球智能手机的出货量,同比下滑了11%,三星、苹果等主要厂商的销量,较去年同期均有下
Top
Baidu
map