30万「程序猿」的未来简史:去O,上云

文章图片
呼兰拜见DBA“师祖” , 向30万人喊话 。
文|Tech星球张宇婷
“有一天醒来 , 我站上体重秤 , 显示身体年龄57岁 。 ”
不久前 , 脱口秀演员呼兰决定不再兼职程序员工作 。 毕业于哥伦比亚大学精算专业的呼兰 , 曾经在上海担任创业公司CTO 。 上秤那天 , 他的“第一个想法是 , 再干3年就可以退休了” 。
6月9日 , 在一场名叫“头号云话题”的对话节目中 , 呼兰碰到了另外一位“师祖级”程序员盖国强 。 盖国强轻松谈笑 , 毫无焦虑感 , 甚至摸摸自己刚剃的发型 , 打趣道 , “我的发型 , 已经是从青铜到王者” 。 节目被制作方传到抖音、B站上 , 一些留言评论 , 这位发型一看就是大神 。
在中国超过30万数据库工程师(简称DBA)中 , 盖国强的确是大神 , 甚至影响了整个职业群体发展 。 曾经被Oracle(甲骨文)公司授予OracleACEDirector(ACE总监)称号 , 这是Oracle公司对外部所能授予的最高技术荣誉 , 当他在2008年作为国内首位大咖获得这个称号时 , 商业数据库正如日中天 。
当年 , 腾讯、阿里巴巴、华为 , 所能想到的互联网大厂 , 都以最高薪招聘数据库工程师 , 甚至可以达到月薪10万;而盖国强建立了圈内最好的线上社区 , 出版了10多部业内追捧的Oracle业务手册 。 令人想不到的是 , 他和呼兰探讨的话题竟然是:商用数据库工程师 , 会不会在两、三年后像恐龙一样灭绝?
疫情中的三种流量峰值
“需要焦虑的不是程序员 , 而是传统厂商……”坐在盖国强身边的李飞飞说 。 花名飞刀 , 快言快语 , 李飞飞是有全球影响力的达摩院首席数据库科学家 , 阿里巴巴副总裁 , 阿里云数据库负责人 。

文章图片
左为云和恩墨、ACOUG创始人盖国强 , 右为阿里云数据库负责人李飞飞
盖国强点点头说:“得DBA者得天下” , 谁能让30万人更快拥抱云原生 , 谁的数据库就将取得未来的市场 。 全球权威的技术咨询公司Gartner预计 , 2023年前 , 75%的数据库会跑在云端 , 不再是公司采购的设备上 。
正在度过的疫情中 , 直播带货、在线教育、在线娱乐 , 屡屡突破流量峰值 。 三个似乎毫不相关的场景背后 , 是同样的数据大量并发交互 。 这背后的云原生数据库 , 承受了普通人也能感知的一些考验 。
6月6号晚 , 刘涛(花名刘一刀)在淘宝直播单场破2.2亿元的销售额 , 创下明星直播带货的新记录 。 刘一刀入职阿里后 , 四场直播 , 场场观看人数都破亿 。 其中 , 每一笔交易 , 都要同时录入10几个关键数据 , 包括资金、库存、用户等各个维度 , 出错一个 , 买不到货的“剁手党”一定会跳起来 。
前一个周末 , 在线教育独角兽猿辅导 , 例行模拟考试 , 百万量级学生同时在线参加 。 这类考试 , 系统会10分钟内直接评分 , 并生成智能诊断分析报告 。
猿题库产品技术总监张文治告诉Tech星球(微信ID:tech618) , 每天至少会2.5亿道题目的数据产生,学生、家长、老师 , 都在产生数据的链路上 。 通过大量数据进行教学交互分析 , 也是猿辅导的强项 。
由于境外地区仍然居家隔离 , 让在线娱乐需求陡然增加 , 游戏出海领头羊莉莉丝、TapTap等继续在东南亚、日本市场获得高速增长 。 同时 , 玩家数量和时长的增加 , 让实时数据驱动运营的难度增大 。
这些场景下 , 大量级的数据交互 , 目前都跑在阿里巴巴的数据库产品上 。 天猫双11是更大的场景 , 其中PolarDB产品甚至每秒支持8700万次交易事务 。
如果由一家公司去购买传统商业数据库 , 再部署在自己服务设备上 , 完全无法做到实时、低成本 。 商业数据库的收费按年计算 , 商业谈判周期按月度起算 , 上述场景的数据峰值 , 都是在几天甚至一天之内发生 。
传统商业数据库时代 , 还要花费DBA大量搬砖精力进行安装部署、升级扩容等基础性工作 。 任何数据的提取、分析也都需要人工操作 , 而未来的数据管理趋势是智能化 。 数据管理工作 , 因为云和AI正在变得更加智能化 , 架构师、算法工程师成了当下的热门职业 。
云原生数据库技术革命 , 联动着DBA人群的职业发展 。 以盖国强为代表的 , 以使用Oracle为主的30万数据库技术人才(行业社区估算) , 要同时经历这场云原生技术的变革洗礼 。
6月9日 , 李飞飞也公布了大量阿里云客户的意愿 , 今年要帮助1000家企业替代传统数据库(业内普遍称为“去O”) , 10000套传统数据仓库上云 。
「Hi , 师祖」
由于盖国强在数据库领域工作了20年 , 他拿出一张手机截图 , 年轻一代已经常用“师祖”的称呼跟他说“hi” 。
“看清走势 , 云是一个大趋势” , 这位曾经摘得商用数据库至高荣誉的人 , 却在2014年成为最早一批转型云数据库的工程师 。
早在2011年 , 盖国强和自己在运维社区中认识的几个朋友 , 成立了创业公司“云和恩墨” , 把“云”这个字写进公司的名字里 。

文章图片
盖国强公司「云和恩墨」合照
盖国强在Oracle商用数据库圈子里太有名了 , 以至于他将自己的公司和云绑定在一起 , 让业内人士感觉“挺反认知的” 。
2014年恐怕是创业几年后 , 印象最为深刻的一年 。 当年7月 , 北京下了一场罕见的大雨;另一面 , 一个客户投入了半年多时间的项目上线在即 。
7月20日 , 就在项目上线的第二天 , 系统出现了严重的性能问题 , 频繁崩溃 。 当客户找到盖国强时 , 满怀期待的问 , 到底有没有办法彻底解决 , 在变更发布中循环往复出现的性能故障 。
抱着认真的责任感 , 还有过往的经验 , 盖国强和团队拿出全部的技术积累诊断优化系统 , 将引发问题的SQL进行了全面的优化 。 虽然最后系统恢复 , 但盖国强和客户深度复盘:要从根本上杜绝上线故障 , 一定要在变更发布前进行严格的SQL无死角地毯式排查 。
“打死我也不做!”
谁知 , 在交代接下来的工作时 , 团队中一位刚刚从阿里云来加盟 , 被盖国强在圈内名气吸引的技术专家 , 竟然反驳道 。
“我愿意用产品化的方式实现出来 , 发挥技术的最大优势 , 而不再是像以前一样用人力循环往复 。 ”他说道 。
盖国强以为 , 凭借自己多年的经验 , 前置的审核排查消灭问题 , 已经是最好的解决方案;他想不到的是 , 一个刚刚入职的年轻员工却用互联网的方法 , 更进一步 , 改变了他的认知 。
复盘公司过去三年的发展历程 , 确实 , 如今越来越多的用户上了云 , 一位金融客户在当时已经将核心业务搬到云上 。 但彼时盖国强的公司还在靠着人力提供服务 , 成功的项目甚至还带点“个人英雄主义的色彩” 。
可这能让公司走多远呢?
盖国强反思 , ”是否可以通过一种云上的产品 , 将技术普适化?”
选择 , 因为相信还是因为看见?
“退回到过去 , 最难的是前瞻” , 盖国强对Tech星球(微信ID:tech618)说 。
16年前 , 2004年的淘宝曾经有着全球最大的Oracle集群 , 但互联网发展的速度太快 , 阿里巴巴对数据的需求超过了IOE(IBM小型机、Oracle数据库、EMC存储)的极限 。 2008年 , 时任阿里巴巴首席架构师、阿里云CTO王坚首次提出“去IOE” , 但当时 , 阿里巴巴内部从技术大牛到一线实习生 , 都觉得去IOE是不太靠谱的事情 。
在曲折中前进 , 阿里巴巴能够“去IOE”的成功背后 , 是阿里巴巴三任CTO的合力 。 除了当时CTO王坚 , 还包括前任阿里巴巴CTO、现任阿里云总裁行癫在淘宝的推动 , 以及现任CTO鲁肃在支付宝金融平台上的努力 。
2014年的时候 , 技术大拿盖国强当然知道 , 阿里巴巴脱离商用数据库过程中经历的所有难题 。 倒退回2014年 , 行业大势是没能看得清楚的 。 如今已是全国第一、全球第三的阿里云 , 在当时不过成立5年 , 没有像今天这样成功 。
盖国强很佩服Salesforce创始人贝尼奥夫 , 这家SaaS公司与Oracle、AWS齐名 , 是引领了云技术的开创性公司 。
贝尼奥夫在1999年创立Salesforce , 推出“nosoftware(消灭软件)”的口号 , 当时亦没有人相信 。
“未来是什么?未来不是现实 , 未来只是潜在的现实;只有我们直面它、相信它 , 并为之奋斗 , 它才可能成为现实 。 ”2014年之后 , 盖国强和公司决定 , 把所有的收入 , 投入到面向云时代的产品研发中 。 创始团队不拿钱 , 全部砸到研发中 。
新的行动 , 需要从无到有建立研发团队 , 把所有的钱投入到未知的产品研发上去 。
幸运的是 , 盖国强的创始团队竟然没有分歧 , 甚至有核心成员表达了更加激进向云转型的想法 。
这种高度的一致 , 源自创世团队的五位成员 , 都曾是盖国强成立的技术社区中的网友 。 当初的技术社区主题是Oracle商用数据库 , 今天几位网友又一起携手转型 。
但并不是没有困难 。
盖国强回忆 , 那时需要大量投资 , 风险很大 。
“如果做产品 , 进入到你们不熟悉的领域 。 你是阿里还是腾讯 , 哪有技术底气?你们的经验哪里来?你们的创意来自哪?你们有研发团队?”客户不断质疑 。
团队甚至走过了一段弯路 。
一个产品的转型先锋队 , 一年人工成本就要三五百万 。 一开始两年的时间 , 没有取得太大的成绩 , 上千万投入就打了水漂 。
转型后的公司逐渐形成了六大产品 。 结果和当初的设想是否完全一样 , 已不重要 , 难得的是坚持下来了 。
盖国强的公司通过靠人力输出服务 , 进化到输出产品 , 云化产品 。 从围绕私有化场景提供服务 , 逐渐演进到兼顾公有云服务 。
科技创业很残酷 , 有时候往往行业只认前三名 , 你必须有足够的前瞻、人才和产品 , 还要转化为客户认同的价值 。
盖国强最早意识到要转型 , 作为技术分享者 , 在各种公开场合 , 他毫不吝啬的分享自己的观点 。 这甚至让他们前瞻性的产品在同期产生了更多的竞争者 。
他的逻辑是:我做的不好 , 愿意被淘汰 , 我做的好自然有回报 , 竞争者让我加速进步 。 “说白了 , 不自己革命 , 被别人革命更惨” , 盖国强说道 。
进化不是从石头缝「蹦」出来的
王坚曾多次说:“‘去IOE’最难的就在于人 。 每一次的技术转换 , 我们都是在革自己的命 。 如果没有同事们当时敢于尝试的勇气 , 阿里的技术难题都可能扛不过去 。 ”
可以理解 , 一个学了大半辈子Oracle的程序员 , 突然要学习开源数据库、云数据库 , 意味着一切要重新开始 。
以前盖国强写了很多本关于Oracle的书 , 那些书在豆瓣上早期评分接近8分 。 但这几年 , 这些书翻阅的人变少了 。
天变了 。
可能盖国强足够聪明 , 除了自己转型 , 他当时带着公司的DBA们开始转型 。
“我从来没有把过去的成绩 , 看成一个负担或者标签 。 在IT的技术领域 , 是不断成长快速向前的 。 ”
“靠人的交付有差异 , 靠产品就不会 。 ”
“但从商业数据库 , 到云端原生数据库技术 , 我并不认为这会带来什么挑战 。 挑战是在心里 。 ”
过去十年 , 是科技行业进化的黄金十年 , 但DBA这个群体并没有想象中进步地快 。
20年前DBA做的是数据库的安装、备份、巡检;20年后做的事情还是这些 。 但实际上 , 今天的云数据库已经可以把基础的工作用新的形式替代掉 。 DBA从业人员可以从琐碎的工作中脱身 , 演进为数据架构师、数据分析师、算法工程师 。
回到开篇提到的呼兰和盖国强的对话 。 呼兰认为:从传统商用数据库到云原生数据库 , 对于程序员来说 , 就像是开的车 , 从燃油车升级成电动车 。 数据库本身的核心优化、事务处理、SQL的交互是没有大的变化 。 但云上原生数据库标准、语法、生态一致且好用 , 技术上不担心被锁死 。 这和传统商用数据库有本质区别 。

文章图片
极客脱口秀演员呼兰
5G和IOT时代来临 , 也称作AIOT 。 这将给行业带来进一步的变化 , 数据更加复杂化 , 数据向流的方式转变 。 云端边一体 , 对于IOT数据的处理产生新的挑战 。
云原生数据库不是从石头缝子“蹦”出来 , 是过去四十年间 , 数据库的积累之上产生的 , 云数据库更多是从开源发展起来的 。 数据库的理论和原理没有被颠覆 , 本质相通 。 DBA进入到云数据库领域 , 难度并没有那么高 , 只要完成思想的转变 , 转变过程是非常快的 , 难的是心理上的畏惧感 。
“因为人天然担忧和畏惧新的挑战” , 盖国强说 。
从传统商用、开源到云原生数据库 , 真正改变的是 , 资源的使用方式 。 云其实是提供新的算力 , 可以弹性伸缩即时获取 。
企业更喜欢买固定资产 , 对软件资产认知不足 。 放弃固定资产采购转为云上采购 , 把可以管理的数据资源搬到云上 , 又是一个巨大的挑战 。 “挑战人性 , 人对于变化的畏惧 。 ”
“在IT这个世界里 , 你学习的慢就是退步 。 别人是百米冲刺 , 你慢悠悠就会被淘汰 。 如果我们跑在行业后面 , 就帮助不了用户 。 ”
“我们要解放人 , 不做搬砖的苦力活 , ‘革命’才有能力做更有价值的事情” , 盖国强认为 , 并不是技术革了你的命 , 而是不进步的技术会革掉你的命 。
搞技术的人 , 从入行到专家 , 三年时间可以掌握一个新技能 。 一种风潮的形成 , 从造势到成为趋势 , 大约就是三年 。
三年前 , 认识到开源数据库、云原生数据库是未来 , 盖国强要求公司所有人学习数据产品掌握技能 , “大家最开始是抵触的” 。
到了今年 , 他已经不再要求了 。 叫他“师祖”的年轻人们反而觉得 , 如果你不让我学习PolarDB(阿里云自主研发的新一代云原生数据库)是在阻碍我的前途 , 你是不是对我有意见?
未来简史 , 数据库生态加速
数据库经过几个发展阶段 , 分分合合 。
如今 , 加上开源数据库、云上数据库 , 数据库行业再次进入到群雄争霸的阶段 。
在传统数据库时代 , DBA的生活状态一般是熬夜加班 , 每一套数据库的脚本和演练 , 实施、测试 , 至少要做半年 。 每一个“五一”、“春节”等假日 , 7*24小时工作 , 一旦出现问题 , 赶去救火 。
DBA为什么要过这样的生活?如果有一种新的技术可以将升级迁移变成自动的 , 不需要熬夜加班搞测试 , 将省下来的时间用于学习 , 为什么要揪着过去的苦日子不放?
DBA这个群体是保护数据库的 , 国产数据库、开源数据库在实践中要靠DBA , 整个生态的推动 。 DBA可以自信地认为 , 自己是云厂商之争中最炙手可热的香饽饽 。
第一次听说PolarDB公测后 , 猿辅导产品技术总监张文治就觉得 , 这个产品的分布式特点 , 可能会适合于集中学习考试这样的场景 。 猿辅导运营在线模拟测试已经颇有心得 , 疫情期间 , 这个能力被老师、学生认可 , 在此之前 , 数据库运维团队和阿里云团队一起 , 在2天左右时间 , 就完成了数据库的扩容 。
张文治认为 , 新型云原生数据库 , 近几年确实可以让数据团队更专注于业务 , 团队不断扩大 , 在公司也获得更大认同 , 但是 , 也要同时注意云原生数据库和开源数据库的差异 , 这样在问题追查中 , 更游刃有余 。
【30万「程序猿」的未来简史:去O,上云】几年间 , 阿里云还研制了DTS、ADAM、DAS等一整套帮助数据迁移和自动运维的工具包 。 即便从Oracle数据库迁移 , 往往也只需要修改5%不到的代码量 , 另外 , 云原生数据仓库AnalyticDB也可以很好的解决各类数据分析场景的调整 。
从传统数据库到云数据库 , 技术的转变是实实在在的 , 但不是暴风雨的前夜 , 海鸥搏击暴风雨 , 而是春雨随风潜入夜 。
数据库看似古老的领域 , 在IT界已经有40年历史的数据库 , 就像这个领域的恐龙 。 但这个'恐龙'却不会灭亡 , 只是会向新的方向转型进化 。
DBA是否会觉得在云计算时代 , 自己不再重要?被抛弃?
事实上 , 恰恰相反 。 在数据库从业人员行业里 , 有一句话:数据库最后一公里 , 得DBA者得未来 。
阿里云数据库负责人李飞飞则说 , “得生态者得未来” 。
推荐阅读
- “光盘打卡”小程序火了 激励年轻人节约粮食
- 紫外线、黑色素通通走开!2020日本夏季最新话题「防晒产品」收拾整顿
- 新华网|白俄罗斯总统卢卡申科说愿根据宪法程序分享总统权力
- 全身红斑起皮屑,这种反复发作的「尴尬病」,原来是没用对治疗方法!
- 卢卡申科|白俄罗斯总统卢卡申科说愿根据宪法程序分享总统权力
- 易车|又搞事!年薪30万轻松拿下它!实拍红旗HS7
- 蒙古国送的3万只羊会变成羊肉|蒙古国送的3万只羊会变成羊肉 蒙古国正式启动3万只羊捐赠程序
- 雷军|7000多万人次观看!雷军带货首秀金额破亿,因没秃顶被质疑是假程序员
- 拼多多|获文艺复兴科技基金增持近330万股 拼多多股价盘前涨幅近6%
- 淋雨|超尴尬瞬间!「小白兔」躲墙淋雨!他不忍心冲过去结果:气得大骂
