首页 > 生活分享 > 免费教学 > 持续近87分钟1957个客户报障 腾讯云回应事故原因

持续近87分钟1957个客户报障 腾讯云回应事故原因

发布时间:2024-04-14 17:47:02

2024年4月8日下午,腾讯云出现服务故障,接口响应报错、内部服务错误,网页显示504错误。504错误代表网关超时(Gateway timeout),是指服务器作为网关或代理,但没有及时从上游服务器收到请求。

4月8日傍晚,腾讯云公告,腾讯云官网控制台相关服务出现异常,工程师正在紧急修复中。部分地区已恢复,其他地区也正在继续抢修当中。

4月14日,腾讯云官方对4月8日故障情况进行说明:4月8日15点23分,腾讯云团队收到告警信息,云API服务处于异常状态;随即在腾讯云工单、售后服务群以及微博等渠道开始大量出现腾讯云控制台登录不上的客户反馈。

经过故障定位发现,客户登录不上控制台正是由云API异常所导致。云API是云上统一的开放接口集合,客户可以通过API以编程方式管理和操控云端资源,云控制台通过组合云API提供交互式的网页功能。事故根本原因在于腾讯云版本变更过程中,没有有效执行沙箱验证和预案演练,暴露了在变更管理上的不足,最终导致云API服务新版本向前兼容性考虑不够和配置数据灰度机制不足的问题。

故障发生后,腾讯云方面表示,依赖云API提供产品能力的部分公有云服务,也因为云API的异常出现了无法使用的情况,比如云函数、文字识别、微服务平台、音频内容安全、验证码等。此次故障一共持续了近87分钟,期间共有1957个客户报障。

从客户的视角来看,云服务可以分为数据面和控制面,数据面承载客户自身的业务,控制面负责操作云上不同产品。比如目前使用最广泛的IaaS服务基本上都是以直接面向数据面为主,控制面仅在客户购买或需要对资源层面进行调整操作时会涉及。此次发生故障的控制台和云API是对控制面的影响。通俗来讲,如果把云服务类比为酒店,控制台相当于酒店的前台,是一个统一的服务入口。一旦酒店前台发生故障,会导致入住、续住等管理能力不可用,但已入住的客房不受影响。

腾讯云方面称,这次故障中客户已经配置好的服务器等IaaS资源,包括已经部署运行的业务,没有受到云API异常的影响。其他以非云API方式提供服务的PaaS和SaaS服务,处于正常服务的状态。但用API提供的服务类产品(需要“酒店前台服务“)有不同程度的影响,比如腾讯云存储服务调用当天有明显下滑。期间售后团队协助部分客户做了业务容灾预案的实施,将受影响服务做调度以快速恢复客户的业务服务。

腾讯云方面表示将从提升系统韧性、强化变更管理与保护措施、增强故障响应与沟通能力三方面进行改进。

近年来,因云服务问题导致应用程序“崩了”的现象频繁发生。今年4月9日,支付宝崩了登上热搜,用户反映在使用支付宝APP时出现“已经停止访问”的页面。随后支付宝方面回应称:少量用户访问部分页面时出现了短暂性的访问不畅。这一情况已经快速恢复,用户的资金和信息安全都不受影响,各项功能也都可以正常使用。但具体事故原因并未进一步说明。

2023年12月3日晚,腾讯视频“崩了”登上微博热搜。腾讯视频方面回应称,出现了短暂技术问题,正在加紧修复,各项功能在逐步恢复中。

2023年11月27日晚间,滴滴App系统发生故障,全国大面积崩溃,服务无法正常使用。11月29日,滴滴方面发表声明称,各项服务已经恢复,初步确定,这起事故的起因是底层系统软件发生故障。

2023年3月5日20:20左右,在B站用户活跃的高峰期,许多网友发现B站手机和电脑端均无法访问视频详情页,当晚B站团队在出现故障20分钟后解决了问题。多位行业人士倾向于原因是“迭代更新出现代码故障”,这是2021年7月B站大规模服务器崩溃后的官方解释。

如果不是滴滴全国范围的长时间崩溃造成大规模的负面影响与讨论度,非行业人士不会将某款软件的暂时“崩了”作为热点讨论。万博智云CTO孙琦对第一财经表示,滴滴事件仅是一个个案,但该事件故障级别较大,确实影响到了一定规模普通群众的生活。实际上,很多用户看不到的软件故障正在每天发生,这在行业内是一个较为常见的问题。

此次腾讯云发生大范围故障,有行业人士将其与2023年11月阿里云史诗级故障并称。2023年11月12日晚间,阿里云发生故障,“阿里云盘崩了” “淘宝又崩了” “闲鱼崩了” “钉钉崩了” 等话题相继登上热搜,阿里系诸多产品受到影响。阿里云对此公告称,2023年11月12日17:44起,阿里云监控发现云产品控制台访问及API调用出现异常,阿里云工程师正在紧急介入排查。18:54阿里云再度公告称,经过工程师处理,杭州、北京等地域控制台已恢复,其他地域控制台服务逐步恢复中。

免费教学更多>>

安道拓发布模块化座椅解决方案ModuTec 停产多年后启动大规模招聘,“山寨车鼻祖”众泰汽车艰难求生 中国品牌二手车销量跃升南非市场前列,Tiggo 4 Pro成最畅销车型 未来院孵化企业完成数亿元Pre-A轮融资 不敢在印度建厂造车,真是因为带不回利润? 行业首个!128TOPS单芯片跑通城市NOA,轻舟智航联手理想汽车,首发量产上车 吉利集团发布2030战略,剑指650万辆! 央企新能源转型生死局, Meta今年拟实现AI眼镜年产能翻番 剑指2000万副 抵挡敌意收购,Netflix考虑修改条款全现金收购华纳兄弟 美国科罗拉多州警车引入自动车辆识别系统 号称每小时可开出12张超速罚单 苹果为何选择与谷歌AI合作?郭明錤:迫于短期挑战、压力 苹果和谷歌谈成一笔大生意,马斯克发文:强烈不满! 本田启用新Logo,明年将率先搭载于新款纯电车和混动车 日本车企在中国销量连跌7年,该怎么稳定汽车市场呢 王自如回应不看格力工资条 还有下半句:基层员工一定要看 美系巨头们的“去中国化”豪掷,能赢吗? 8.88万元起售/智能AI加码,上汽大众朗逸 Pro上市 限时焕新价12.49万起 2026款捷途旅行者上市 小鹏汽车Q3毛利率首破20%,Q4交付目标上调至12.5万辆 已签约!安波福新项目落地武汉 Flyme Auto合作车型10月销量超19.5万辆,同比增长200% 3M动力电池解决方案——助力推动电动出行的未来 为Linux开发者而来!同星智能发布多款SocketCAN工具 三星有望重启 Galaxy A7x 系列,新机 Galaxy A77 在 Geekbench 跑分平台现身 优酷、B站,被一个后来者超车了 毫无预兆的,Gartner给大模型开发平台排了座次 USB接口的颜色可以说是快速识别性能的“视觉语言”,但并不是标准和推荐的方法 18个月月收33万刀!起底“AI套壳”生意经:是昙花一现还是隐形金矿? 你的快递,是无人车送的,物流公司为了降低亏损、补充人力