淘宝网应用基础数据仓库

疯狂电话销售;;; 淘宝网所面临的挑战，分别来自业务面与技术面就业务面采看，如何设计出更多且更好的行销活动以吸引更多客户，正是首要的业务目标．而在技术面，基础架构竹提升度强化将是关键淘宝网干2003年成立，就连年以倍数快速成长，对于延展性的需求特别高；但另一方面，基础架构的建置仍缺乏整体且完善...

    成立于2003年的淘宝网稳踞亚洲购物网站的第一名，会员敷超过4000万人，每年成交额皆以倍数快速成长，在2006年就已突破169亿人民币随着业绩的持续攀升，以及同步成长的惊人数据量，淘宝网希望能从中挖掘出有用的信息，作为业务决策与网运营的依据，因此，决定投资建置敷据仓库
    淘宝网所面临的挑战，分别来自业务面与技术面就业务面采看，如何设计出更多且更好的行销活动以吸引更多客户，正是首要的业务目标．而在技术面，基础架构竹提升度强化将是关键淘宝网干2003年成立，就连年以倍数快速成长，对于延展性的需求特别高；但另一方面，基础架构的建置仍缺乏整体且完善的规划与考量，则是主要的隐忧．
    截至目前为止，淘宝网所累积的数据量已达10TB之多，而且，这个敷字还会随着每年翻倍成长的成交额同步上升但鹿大的数据量与计算量，已超出原有环境的负荷，进而对数据库的运行速度造成显著的影响淘宝网原有的数据库虽然只使用了二?三年，但由于数据量成长很快，再加上夸年激活了许多新项目，对于敷据库的要求也相对提高?因此，建置数据仓库时．最大的技术挑战将在于效率及速度
    2007年初，淘宝网找采了Oracle、NCR、IBM、HP与Sybase进行解决方案的评估，第一道关卡是概念验证【Proofofconcept．PoC)，进行大批量的特殊查询与并行查询；第二道关卡则是性能／价格比．
    以性能而言．0racle在多项标杆测试里处于领先位置．更重要的是，运行于开放系统的0racle数据仓库，相较于采用专属软硬件的竞争产品，不仅初期建置成本更低，维护及升级也更为容易，而且，因未来需求的成长，还能以更低投资，更弹性地扩充IT基
础架构因此淘宝网认为Oracle的性能好，价格比也领先，能够解决其数据量太大，导致数据库变慢的问题
    淘宝网以Oracle网格运算(gridcomputing)技术重新打造并强化基础架构环境，再进行数据仓库的建置，短短半年之内就完成上线工作淘宝网表示，数据仓库的效益，在于分析历史、预测将来，以及看到所有活动的历史轨迹它同时也是最佳指针，有效规范最终决策，不致太过偏离现实
    淘宝网的数据仓库主要提供商业智能(business intelligence)分析与数据挖掘(datamining)两大功能，同时，也会根据业务需求，提供所需的企业级报表，或进行用户行为模式分析
    淘宝网高达八成的员工都会使用数据仓库系统，无论是财务、市场、服务或网站运营，同样必须每天看报表、做分析而对于主管方面，则是生成报表之后，再以电子邮件寄发
    举例来说，针对十一长假，淘宝网设计了许多促销活动上线，要确认活动是否达到预期目标，就要靠数据仓库来计算及分析活动的效果此外，市场部门也能根据往年的历史数据，找出效果最好的活动并重新包装推出
    淘宝网指出，数据仓库上线之后，搜寻及查询数据的效能比原有环境提升两倍以上，整体系统的效能表现游刃有余，使用上也更为迅速、便利针对数据仓库的未来应用方向，淘宝网也有许多规划与期望，例如，增加“推荐引擎”，强化对消费者的服务，让
数据仓库的应用不只局限在传统领域，而是让更多人使用并共享淘宝网希望在每个部门的业绩都成倍数成长时，IT部门当然也不能落后以0racle技术建置的基础架构与数据仓库环境，应该具备支持公司在未来持续成长的延展空间
    除了建置数据仓库之外，强化基础架构同样名列本次项目的重点Oracle则以网格运算技术oracle reaI applicat：ion cluster?s与oracle cluste~?ready services，结合自动化管理方案oracle automatic storage management与oracle parti“oning，为淘宝网打造高延展性且自动化的基础架构环境
    以oracle automatic storage management为例，主要在取代原本必须以人力手动操作及调整的主机工具由于oracle automatic storagemanagement是高度自动化的解决方案，绝大多数的作业都能自动进行管理，无需人力介入操作，因而大幅减轻了工作负担
    举例来说，要为服务器增加磁盘时，过去必须先由IT人员做好规划，涵盖从设定、安装到分散数据，才能行动但现在，IT人员只需下指令，后续作业就由oracleautomatic
storage management自动接手完成，通盘考量最佳的安装及建置作法，完全无需IT人员的介入
    过去必须耗费两小时才能完成的工作，oracleautomatic storagemanagement只要五分钟就能完成，不仅效率更高，管理负担也相对减轻了许多而且，ol"acle automatic storage management还能随时自动进行监控调整，确保系统环境的优化增添商业智能与数据挖掘功能后的数据仓库，运行效能的提升超过两倍
    针对淘宝网所需的并行处理系统，oracle realapplicationclusters先以四个节点来建构底层环境，但也预留了后续扩充至八个节点、十六个节点的成长空间，满足淘宝网对系统效能及延展性的重视，同时也大幅提升数据仓库的性能
    值得一提的是，淘宝网从选定Oracle到数据仓库系统上线，在短短六个月内就完成项目而且，建置及导入作业都是由淘宝网一手包办，显见其强大的技术实力而在项目进行过程中，Oracle也协助执行概念验证与技术问题的排除这很大程度上在于淘宝网原有的数据库就是Oracle，而且也搭配了oracle real applicationclusters，因此，早已培养了一群专业人才与资源，不仅可沿用至数据仓库项目，整体上线过程也更为驾轻就熟

特别注意：本站所有转载文章言论不代表本站观点，本站所提供的销售技巧，管理软件，如需使用，请与原作者联系，版权归原作者所有