新闻中心

互联网开发互联网开发是干嘛的杏彩体育注册为什么是TDSQL?

2024-01-21 20:08:39
浏览次数:
返回列表

  11月2日,一家中等规模的券商——东吴证券宣布,发布中国金融行业首个全面自主创新的核心交易系统。

  这是因为,此前虽然TDSQL已助力超过30家金融机构完成核心系统数据库替换,位居行业第一,但证券行业“全量”可能还是首次。

  东吴证券用上全国产系统+全量国产数据库的消息,显示出中国企业在国产替代道路上的进步,超出我们的想象,以至于我们有点熟视无睹了。

  在非常长的一段时间里,IBM、Oracle和EMC(存储企业)所提供的小型机、数据库、磁盘阵列,就是金融企业根本无须考虑的默认选择。

  贵到什么程度呢?我在csdn上翻出一篇老帖子,里面对用2台小型机+EMC存储+oracle软件许可证的价格算了一笔账,是860万元(2015年价格)。

  而如果换用当时的x86服务器+开源数据库呢?一共要投入12台数据库服务器和4台应用服务器,杏彩体育app下载全部按顶配算,一共是180万元。

  860:180,对比一下你就会发现,其实用x86机器和小型机,单纯从硬件、存储的角度来算,价格差的并不太大,真正贵的就是oracle数据库的应用授权,动辄就是几百万、几千万。

  而且这还是个开始,如果在使用中出现问题,你要请oracle的技术人员来解决、维护,这也很贵;哪怕将来你要撤出,特别是你要提前撤,不好意思,还要交一笔分手费。

  而且,这个分手费还是预存的……对,没听错,你用人家的数据库,不但你不是“上帝”,还要为可能的提前“分手”缴纳高昂的保证金。

  这就好比你买了一辆车,硬件不贵,但车机系统很贵,而且你还要预缴3年的“车机使用费”,如果你提前更换车机系统,之前交的费就扣除不退了。

  而且,这不是5年、10年前的事儿,是当下仍然在发生的事情——2020年,据数据统计,以Oracle为代表的国外厂商仍占据我国数据库市场80%以上份额,国内厂商仅占20%。

  但是,注意这个“但是”,从2020年到2023年的3年里,国内数据库厂商已经从Oracle等企业里“夺回”了27.4%的市场份额,加上之前的20%,使得中国数据库市场的占有率基本成了5:5。

  看到这个趋势,我们可以相信,再过3年,这个比例可能变成8:2;再过5-8年,中国数据库就可能“全量替换”国外的高端数据库,特别是在金融这种oracle的传统重点行业里。

  这是很多企业共同努力的结果,但我们今天只剖析一个企业的产品,也就是腾讯的TDSQL分布式数据库。

  也不是作者偏爱腾讯,只是因为,腾讯的TDSQL是目前中国金融行业里,替换案例最多、成功率最高、影响力最大的,已经替30家国内的金融机构替换或部分替换了核心数据库。

  听起来的感觉,就像是一个做跑车的企业,做了一台火星车,虽然都是各自领域里的产品,但完全不是一个技术体系的。

  没错,这也是中国特色,现在中国产业互联网里面能打的,除了华为之外,大部分都是做toC业务出身的,比如腾讯、阿里、百度。

  这个现象,其实也不是中国独有。比如美国现在排名靠前的产业互联网技术企业中,很能打的亚马逊、谷歌,也都是toC起家的。

  1.舍得投入。这些科技公司有足够的资源投入产业互联网技术的研发。当然,这不是一个主要原因,因为那些toB的企业,更有钱;

  2.有场景、杏彩体育app下载有痛点。腾讯这些企业,最不缺的就是应用各种先进产业互联网技术的场景和痛点,它们构成了很重要的成功要素;

  3.规模带来的成本诉求:前述的小型机、企业级数据库等,杏彩体育app下载它们在设计之初基本都没有考虑到要应对10亿量级的网民的这个问题,它们的优化方向是以高可靠性为诉求的,而不是以超高并发为主要诉求的。

  所以,如果中国这个网民量级在全球独一档的国家的主流互联网平台,还用IOE来满足高并发需求的话,不是做不到,而是成本会高到吃掉所有的利润。

  腾讯这样的企业,对数据库的需求,简单说就是,对于绝对的稳定性要求没有那么高,但对于应对高并发、海量吞吐的要求很高,这是其业务特性决定的。

  于是,腾讯开始了自研数据库的道路,而据考证,最早的自研数据库,应用在腾讯Q币的计费系统中,而最早的版本采用了开源的MYSQL数据库这个技术栈。

  当时,这个计费系统有时会宕机,主要的原因就是云计算还没有普及,而当时的腾讯,对高性能吞吐、分布式水平扩展、分布式KV存储等等也没有太多的技术积累。

  这也代表了腾讯这样的从C端业务起家的中国互联网企业的典型场景——早期技术实力不够雄厚、代码质量不高、牛人很少,但场景丰富、用户数量惊人,因此对系统的弹性和成本十分在意。

  这也决定了,腾讯自研数据库,开局就直奔分布式而去,因为分布式系统的特点是小错时常有,但韧性好、成本低。而且弥补错误的成本也较低、社会影响也比较小。在这种情况下,互联网企业可以用便宜的X86服务器,放心的使用分布式系统。

  这样发展了很多年,腾讯突然想到了一个问题——既然这数据库我用了这么多年,打磨的也算是固若金汤了,我干嘛不拿去卖给那些被“IOE税”困扰的企业啊?

  可是出去一打听,真的没有金融企业敢用——金融企业素来严谨,要引入一个新技术,首先就是要靠案例说话。

  可腾讯总不能拿着管理Q币的数据库去说服管理人民币的数据库的使用者吧,就这样转了一圈,腾讯眼前一亮——咱们不是有个微众银行么?

  一个腾讯数据库的早期开发员工告诉笔者,当时双方争论的是,微众银行坚持既然采用了分布式数据库,就要把服务器分布到足够多的小集群里,而TDSQL的研发人员则认为,分布是可以的,但没有必要拆分那么多的小集群。

  这引起了腾讯TDSQL开发人员的注意,他们仔细研究了微众银行的需求后发现——不是我们的TDSQL不给力,也不是我们技术上做不到,而是我们根本忽视了用户的需求,我们没有从内心认同金融机构对于可靠性的极度追求,反而试图从纯技术的角度来说服对方。

  “这也是我们toB业务在走向广阔市场前上的重要一课,那就是用户需求导向”,这位老腾讯告诉笔者。

  然而,随着腾讯TDSQL走向更广阔的市场,他们意识到,应该增强更多的品牌背书,也应该从更具有广泛说服力的第三方测试中,测试一下TDSQL的公允性能。

  所以这个结果论证出来后,TDSQL就决定,去通关国际事务处理性能委员会(TPC)的TPC-C测试。

  简单说,这个机构就是评价数据库在联网状态下处理能力的终极机构,而腾讯考试的结果,通俗一点说就是——让14亿中国人中的六,从早上8点起开始,以每分钟下一个订单的速度,一直下单持续到17点下班,而且中间还经历了若干次两次随机物理机器断电和一次云服务的故障模拟,最终性能波动率为0.2%,仅为要求的十分之一——这也说明了,腾讯自研的分布式架构的TDSQL数据库,在稳定性上甚至超过了基于集中式系统制定的测试基准,这成为分布式云数据库发展史上的一个里程碑,也是腾讯TDSQL至今保持的一项世界纪录。

  从最开始的在张家港农商行的核心系统中得到一次难能可贵的应用机会开始,2020年后的TDSQL凭借一个个的扎实案例,在金融行业里迅速推广。

  例如,2022年5月,中国银行的亿级数据,一次性下移至依托腾讯云等国产厂商核心技术自主打造的分布式平台上。这是中国银行首次实现通过基于自主可控基础软硬件构建的技术平台承载核心业务流量。

  此前的2021年,农业银行也引入了TDSQL作为核心系统数据库,所涉及的个人负债、信用卡、对公存款等多个核心模块已于2022年上半年投产,所承载的并行验证环境每日交易量约5.8亿笔,峰值TPS约11000。

  在证券领域,2022年3月7日,腾讯云数据库TDSQL已在国信证券业务系统中成功落地,新系统承载了国信证券的OTC交易柜台系统、反洗钱系统和HR人力管理系统等。上线运行以来,承载了单日亿元级别的交易规模,尤其在开市、收盘等流量高峰期,依旧能保障数据平稳运行。

  当然,东吴证券也是逐步接纳TDSQL,也有一个小步快跑的过程,但终究“转正”很快,而且为腾讯输出了一个“全量替换”的案例,这是国产数据库的一次重大胜利。

  其次,或者说更重要的是,腾讯TDSQL证明了,分布式系统的优势不仅仅是成本上的、自主替换或说自主可控上的,而是其架构有助于用户的创新需求,这也是一个新的价值点。

  东吴证券信息技术总部副总经理庄颉告诉笔者杏彩体育注册,此前的系统限制了东吴证券的创新,因为“旧的系统垂直扩展还可以,横向拓展的能力较差“。

  庄颉非常看好分布式数据库的潜力,他明确的提出——使用分布式(数据库),是目前证券行业发展的一个必然的趋势,这个其实是跟证券公司的业务形态是有关系的,多元化发展是必然的趋势。他说:“一套系统打天下的时代过去了,分布式系统可拆分的特性能够快速满足创新的需求,这种优势不仅仅是技术上的,还有架构上的潜力”。

  最后,也是很重要的是,这次腾讯是和东吴证券的技术供应商——顶点软件一起合作的,这意味腾讯云在服务客户的能力上日益多元化,更为适应不同行业的发展规律,从“包打天下”变成了“伙伴成功”,体现了腾讯云toB的商业能力的成熟。

  曾经有很多早期的腾讯合作伙伴告诉笔者,腾讯云的商务风格早期比较强势,喜欢“包办”,但逐渐适应了与多个主体合作,这为腾讯推开不同行业的大门,无意中获益甚多。

  而从结果导向来看,基于腾讯云数据库与系统开发商顶点软件的协同优化,东吴证券新系统整体并发处理能力相较之前提升10倍,单节点业务并发量提升到至少每秒10万笔,交易平均延迟也从原有10毫秒提升至1毫秒以内,并能够支持千万级交易委托。系统上线后,数据库负载在高峰期保持在 10%以下,能够有效满足东吴证券未来三到五年的业务增长需求。

  这句在数据库行业流行的名言,背后是一个公认的行业共识:金融行业庞大的数据量,对数据库稳定性、一致性、可用性的高要求,是考验一款数据库是否合格的标准。

  特别是近年来,自主可控已经成为科技领域最重要、最紧迫的战略。数据库作为核心基础软件之一,在过去几十年中,却被国外传统数据库长期垄断,这就带来了极高的技术成本和潜在的企业安全风险。

  在这种背景下,国产化已经上升到国家战略层面,国产创新已经上升到了安全层面,而腾讯提前布局,终于有所收获。而且,这还仅仅是一个开始。

  其次,从架构上,TDSQL和背后的腾讯云,从真实的业务需求出发,从无到有、筚路蓝缕的开创,逐步创造了基于云原生的开放、多元、创新的格局,从技术上解放了生产力,突破了传统集中式技术架构难以接耦的难题,在云时代的高并发、大数据、融合计算等领域场景下,为中国千行百业打破边界和局限进行企业业务创新,贡献了自己的力量。

  最后,随着大模型时代的到来,云计算成为AI赋能的决定性通路和载体,随着ABC合流(AI+Big Data+Cloud)的真正到来,分布式数据库也将和AI能力充分结合创新,从而开创一个前所未有的,而腾讯将在这个中,为中国成为世界级数字技术的创新策源地,贡献自己的力量。