传奇1997 - 第一百二十三章 系统改造与技术升级

    正所谓，工欲善其事，必先利其器。
    所有业务前端的产品和服务，甚至市场营销活动。
    都需要依靠后端的系统和技术支撑，这也是互联网公司的核心竞争力。
    尤其是在现在易趣的业务线已经非常多。
    各种不同的业务类型，对后台技术的需求也越来越复杂的前提下。
    打造一个能够为前方一线提供足够支撑和良好用户体验的后台系统，
    就成为新成立的“大中台”事业群的核心工作目标。
    可这并不容易……
    就拿电商平台来看：
    易趣公司早期的后台系统，是由庞勇一个人写的（易趣网b2c）。
    在97年的时候，还用的是c语言和asp(active server pages，动态服务器页面）技术，数据库用的是sql server。
    而新成立的淘宝网，则采用了最新的linux+mysql+php的架构。
    之所以采用这个架构，是因为一方面用到的技术是开源、免费的，而且无需编译，发布快速。
    这样一来，光是要将电商平台在后台系统做整合，就需要对整个系统架构进行重新升级……
    更不用说，还要涉及到一点也不比电商平台系统简单的搜索平台和社交平台了。
    所以，隋波刚刚布置完一系列的业务线工作，
    就被庞勇请来，参加技术委员会的会议。
    希望让他听一听大家的讨论，最后定下一个方案来。
    隋波虽然对技术细节一窍不通，
    但是他一直都是公司产品的“首席体验官”。
    可以从用户体验的角度，提出需求和改进意见。
    这样，技术部门也可以有针对性的，来进行系统改造和技术升级。
    另外最重要的是，无论是升级系统，还是改进技术，增加服务器、购买数据库软件……
    这些都是需要耗费大量资金的。
    如果不让隋波这个大老板来听一听。
    到时候报预算，审批下来也慢啊……
    在技术委员会上，庞勇简单介绍了目前电商平台的系统架构情况。
    现在暂时来看，整合难度最大的是易趣网和淘宝网。
    像百度搜索，从王川最初开始研发，就有一整套独立的后台系统。
    现阶段只需要做数据接口，打通用户信息就可以，等到后期，电商和搜索业务交叉的需求增加的时候，再做更进一步的整合。
    电商平台所有产品和功能的底层，其实都是商品管理和交易管理两大系统。
    其中主要包括：存储数据库、开发语言、负载均衡、缓存、cdn等。
    同时，要想形成真正具备整合能力的“大中台”，将各种业务线整合在一起，还必须有中间件系统(soa，分布式组件架构)，如高性能的服务框架、分布式的数据访问工具等。
    简单来说，首先是商品管理系统。
    举个例子，电商平台商品管理系统，在后台系统有个专用名词叫商品类目属性。
    比如服装，就要分成男装、女装，按照季节，又要分为春夏装、秋冬装……
    再继续细分，还可以分为大衣、t恤、裤子……
    甚至还能再细分到材质，是蕾丝还是纯棉……
    这样，商品的类目属性就会形成非常复杂的网状结构。
    对此，技术部门最后做出了一个名为forest（森林）系统，来对商品的数据信息进行结构化，以便于前后台的调用。
    另外有一个难点，就是图片存储系统。
    前两年，因为网速和用户体验的考虑，易趣网上图片很少。
    但现在，无论是易趣网还是淘宝网上，都已经开始出现了大量图片。
    毕竟图片无论是在商品展示上，还是交易系统中都非常重要。
    “无图无真相”、“一张好图胜过千言”。
    现在电商平台的流量中，图片的访问流量要占到90%以上。
    这么多的图片数据，和这么大的流量，会给后台系统带来非常大的压力。
    尤其是大规模的小文件存储和读取，这就需要在存储技术和缓存技术上，进行升级和创新。
    同时也对，基础网络的带宽提出了更高的要求。
    另外，因为电商平台所有的功能都需要依赖用户信息，用户中心模块必须单独拿出来，否则以后系统无法扩展。
    这就需要一个中心系统uic(user information center)，
    可是uic拿出来之后，应用系统每天访问uic，uic访问数据库读取用户信息，以易趣网和淘宝网现在的流量，几乎每天都有数千万甚至上亿次的读取，数据库很快就会崩溃。
    这样，一方面需要进行数据库的分布式数据分层访问，另外就是缓存技术。
    从前端的缓存，和全局负载均衡设置，传递到后端，流量就非常均衡和分散了，对前端的相应性能也大大提高。
    无论是数据库、负载均衡、缓存、开发语言等，这些还是属于纯技术研发的问题。
    可cdn就是真正的硬件投入+软件研发了。
    什么是cdn？
    cdn(content delivery network，即内容分发网络)，
    它涉及到硬件（服务器）、软件（系统）、带宽（就近分布）三个方面。
    现在易趣公司在全国已经分布了十多个服务器节点，在电信机房和地方信息港，10m的带宽，已经远远不能满足现在的网站需求。
    首先要升级到100m带宽，同时对服务器硬件进行升级，并且升级cdn的架构，提高服务器的单机性能。
    可以说，cdn直接关系到数据库存储、缓存、负载、流量。
    会影响到所有平台系统的效率和前端所有业务产品的用户体验……
    一大堆的技术名词，听得隋波云山雾绕。
    “老庞，你能不能从一个用户的使用角度，简单直接的来告诉我，这个系统的后台运作流程？”
    庞勇点点头，整理了一下思路，说道：
    “这么来说吧……
    当用户想要上网买一个商品，他会首先打开我们电商网站，这时，浏览器会首先查询dns服务器，把网址转换为ip地址，这会因为不同的地区和不同的网络，转换后的ip地址不同。
    这首先涉及到负载均衡的第一步，通过dns解析域名，把你的访问分配的不同的入口，尽可能保证是所有访问入口中，最快的一个。”
    隋波点点头，这样说的确很清晰。
    庞勇继续道：“当你通过入口成功访问我们电商网站时，就产生了一个pv(page view，页面访问量），同时你作为一个独立用户，这次访问网站的所有页面均算成一个uv(unique vistor，用户访问）。”
    隋波继续点点头，pv和uv是网站规模的重要指标。
    “因为同一时刻访问网站的人数太多，所以，生成网站首页页面的服务器不能是仅仅一台，目前我们用户生成易趣和淘宝两个电商网站首页的服务器就接近100台，通过负载均衡系统，后台系统会分配给其中一台服务器完成。”
    隋波明白了，负载均衡系统是第一步。
    “通过一系列复杂的逻辑运算和数据处理，给你看的网站首页的html内容就生成了，浏览器下一步会加载页面中用到的css、js(javascript)、图片等样式、脚本和资源文件。
    因为同一个域名下并发加载的资源数量有限，为了保证用户访问网站的速度，就需要采用cdn来保证流量的分散和就近的cdn节点。”
    隋波默默点头，对cdn他还是有一定了解的，前世时，bat三大巨头都在全国大规模的布置cdn，就是出于数据和网站的效率。
    庞勇继续介绍：“当用户开始浏览首页，你可能只是没有明确的购物意图和目标，只是随意看看，也可能是有一定的购物意图，主要是属性上的需求，又或者已经有了明确的目标，只是进行表和挑选。
    这就需要通过网站内的分类目录和搜索来完成。
    其中分类目录背后，就是刚才我提到的forest系统。而搜索，目前我们暂时采用了站内搜索的方式，后续会和百度搜索团队沟通，借鉴更精确的搜索技术，做到站外搜索能够直接链接到商品页面。”
    隋波点头表示知道了。
    “你找到心仪的商品后，可能会有打开图片，或者浏览商品详情，加入购物车等等行为。
    不论你是否进行了交易，你的访问行为都会被系统如实记录下来，用于后续的业务逻辑和数据分析。
    这就涉及到了分布式数据存储和用户信息中心系统。
    就这样，用户的浏览数据、交易数据和其他数据记录不断保存和积累在我们的数据库中。
    并通过我们基于数据计算平台的，由数百台服务器组成的数据系统，进行不断的分析和挖掘。”
    隋波听到这里，这才笑道：“你早这么给我介绍，就很清楚明白了！”
    我听了一下，现在你们“大中台”事业群的问题是两个方面。
    一个是硬件上的升级，一个是软件上的升级，对吧？”
    庞勇噎了一下，无奈点头：“这么说……，也没错。”
    那么多复杂的问题，被隋波这么归纳了一下，也只能感叹。
    像隋波这么牛的人，终于也有缺点啊，他是真不懂技术……
    隋波也从来不讳言这一点。
    所以他一直对技术团队都非常重视，这也是庞勇、周枫、王川这帮人，跟了他这么久，依然觉得跟他混还挺不错的原因。
    除了易趣一直在事业上不断前进所带来的成就感，也有隋波的尊重和支持。
    否则，这两年那么多新出现的互联网创业公司，都曾想过挖易趣的技术团队，从股份到高薪，也是各种诱惑。
    但易趣的核心技术团队，没有一个离开的。
    隋波当即拍板：“服务器增加，你按照三年内用户增加到5000万为标准，需要增加多少服务器，直接报预算。
    另外带宽方面，我们直接和电信谈一个全国范围的合作，所有服务器cdn节点都把带宽升级，100m不够就300m。
    你说的电商平台的整合和技术升级，我没意见。
    需要购买国外的数据库软件的就买，需要自己研发的，你来组织团队开发。
    你不是已经开始调各业务线的技术人员到总部了吗？这里面总能找出高手来。
    项目研发的团队奖励，按照公司规定，之外再加50%！
    我就提两个要求：
    第一，系统和技术升级，不能影响到前台的用户体验，至于你们怎么做我不管。
    第二，时间，我给你3个月的时间，你必须完成公司各业务线的系统整合。”
    庞勇拉他来参加技术委员会，就是为了得到他的支持。
    闻言兴奋的点头道：“我明白了，波总，你放心！一定完成任务。”
    隋波又说道：
    “百度搜索的数据库和整体系统，复杂程度不亚于电商平台。
    同时搜索团队现在在优化搜索引擎技术的同时，还在开发营销平台。
    你和王川你们两个，平时要多沟通，经验方面要多交流。”
    王川也是技术委员会的成员，闻言和庞勇一起点头。