1.2 微观

企业大数据项目不可能仅仅依靠一个人或者几个人就可以完成，而是需要一个相互配合的团队，同时要结合各业务部门、IT部门的不同长处，考虑内部需求和外部环境来综合协同作战，这样才有可能成功。

如何构建大数据团队并推进其落实和部署呢？

要让大数据战略在企业范围内得到最有效的落实和部署，很明显需要一个强有力的大数据团队，进行明确目标、共同协作、协调和信息的分享。然而不明显的是，往往企业会存在一定的阻力，即对于建立大数据组织构建、确立同一目标和沟通协作所需要的变革。

尤其是当要进行深层次的行动，例如大数据需要对组织结构和绩效考核进行优化或者再造时，就不能低估一个企业内抵制变革的能力和意志。国内企业更是如此，典型的有家族式的民有企业，大型的国有企业，甚至涵盖一些外资企业。由于中国所特有的关系和帮派而形成了大量的对变革恐惧进而抵制的人群，因为这可能已经影响到他们的利益或者位置。

1.2.1 资源协同

在大数据工作中提及内部资源，我们经常会想到数据资源、服务器资源、人力资源、费用预算，其实总结起来就是人、财和物，所谓的人即人力资源，我们可以调配、使用或影响到的员工群体；财即开展大数据我们拟投入的费用预算，费用预算包含软件成本、硬件成本和人工成本；而物即指我们使用的工具和要加工的对象。

在内部资源的协同上，不同企业会遇到不同的问题，有的是数据问题，有的是服务器问题，有的是费用预算问题，但归根结底更多的是人的问题，人在内部资源的协同上具有至关重要的核心地位。企业员工的行为直接构成或破坏了企业大数据的战略，大数据行动必须不断地关注数据，也需要不断地通过数据指引业务发展、技术开发等各方面细节，令数据深入企业的各个角落，并且激励员工传递数据价值。

在国内的情况，大数据项目往往不是技术或流程的问题，对许多企业或者组织而言，行动和态度必须改变，并且应当促进在企业的协作中对大数据的支持。下面是四个需要改进的方面：目标清晰化、管理扁平化、能力可量化、知识透明化。

❑目标清晰化：企业必须使员工的目标与大数据的目标一致，针对员工的奖励计划进行相应的调整对这种一致性和减少组织中主要的抵制力量是非常重要的。

❑管理扁平化：战略管理层需要建立一个更加宽松、扁平化的组织，尤其是与大数据相关的事物可以直接到达关键决策层。

❑能力可量化：企业必须发展相关的业务技能如大数据分析、挖掘、团队建设和数据评定等，并尽可能地推动内部资格评定与激励，令每位员工都了解自身的优势和劣势，正确引导员工成长。

❑知识透明化：应用成熟的知识管理工具和技术以减少大数据分享中的障碍，构建起内部协作与创新，知识分享透明化将会帮助企业大数据快速推进。

在内部资源协同是面临很大挑战的，关于之前企业内部对于大数据的抵制阻力的警告并非危言耸听，那么其后面隐藏着什么呢？永远不要低估组织内对变革的抵制力量，那可能会摧毁团队的一切努力，并导致整体项目走向倒退。

以下是根据历史经验归纳总结的，大数据项目不能轻易实现的原因：

❑组织的共同目标不明确；

❑组织不鼓励和奖赏好的个人服务；

❑没有建立相关激励和知识的数据；

❑变革加快，打破了更多人的安逸生活；

❑大数据被认为只与分析或职能人员相关；

❑在战略和信息共享上与合作伙伴的协作太少；

❑缺乏良好的技能，相关的专业资格得不到认可；

❑企业成员对于大数据定义的理解和实践不在同一水平上；

❑创造力被“我们不这样做”或者“以前我们不是这样做”的态度扼杀；

❑在大数据的变革过程中，新规则威胁了旧的权利基础和势力范围；

❑大多企业的旧传统是重视个人奖金，因此知识分享不能受到激励；

❑决策者被短期思想驱动，在短时间内看不到效果便被反对者重新引导回去。

综上所述，其实内部资源的协调还是落在了人的问题，只要企业中人的思想观念问题得到解决，资源协调问题就解决了一大半，但是往往在观念的培养上需要一定时间和周期。因此在企业快速实施和上线的过程中，明确的大数据目标、自上而下的扁平管理、可量化的评估体系以及透明的知识管理，可以在一定程度上帮助企业解决观念的问题，以此快速地将企业内外部资源流转起来，共同实现大数据的最终目标。

1.2.2 战略定位

大数据功能如何定位呢？是服务于企业员工、管理层、供应商、客户，还是服务于其他机构？大数据具体的功能地位取决于企业大数据的目标，以及期望通过大数据帮助企业实现什么。从外部服务对象的角度看，大数据功能主要是服务于互联网、企业、政府和民生；然而从内部服务对象的角度看，大数据功能主要是服务于客户、企业自己、合作伙伴，甚至企业所在的行业及行业上下游对应的产业链。因此在实施大数据前，企业要考虑大数据对应的短期和长期战略目标，通过战略目标的确定，定位大数据要帮助企业实现哪些需求场景，这样才能快速有效地助力企业快速发展。

企业级大数据根据企业所处的不同发展阶段，有针对性地制定不同的功能定位，按照功能定位，将技术开发资源进行有策略的倾斜，逐步实现企业级大数据的功能场景。

从大数据工作的角度出发，大数据的功能定位则包含打通数据孤岛、理解数据结构、建立数据标准、建设数据模型以及模型投入商用五个部分。

❑打通数据孤岛：依据Hadoop分布式大数据平台开发的数据同步功能，能够将结构化（规范的数值表格）和非结构化（文本、日志、音频和图片等）进行一站式的抽取、整合与存储。

❑理解数据结构：数据对于每个大中型公司都存在库多表多和逻辑多的情况，尤其对于电商零售公司，很难找到对所有库表的关系非常清楚的一个人，因此需要通过数据血缘关系功能建立数据库之间的关系、数据表之间的关系和数值本身的关系，贯穿业务规则，这样才能最高效地提升运营效率。

❑建立数据标准：数据的传输、记录和处理总是会因为各种主观或者客观原因导致不准确或者缺失的情况，需要通过数据的过滤、填充、合并、筛选、分类汇总、排序和计算等处理功能，建立干净数据，这样才能更加准确地反映企业的真实情况，同时在后续模型建设中才能更好地提炼企业数据价值。

❑建设数据模型：数据模型是数据挖掘最具价值和魅力的功能，需要融合分类、聚类、回归、时序、神经网络和关联等算法，根据实际业务目标，选择适合的算法进行模型建设，从而最真实地综合和预测业务发展规律。

❑模型投入商用：模型的最终目标都是应用，对于企业就是商用，实现商业价值，模型的商用目前在营销、精准广告、社交扩展、地理服务、市场研究、金融征信、风险管控、人力资源、信息协同和财务领域的应用相对成熟，企业需要根据自主的业务类型，选择和定位大数据功能，最重要的是能够帮助企业和客户实现对应的商业价值（可以是销售业绩提升，也可以是成本的下降或者利润率的提高等）。

针对电商和零售企业，站在企业经营的角度出发，大数据的功能定位可以依据客户、运营和产品三条主线来进行规划：客户主线主要包含客户洞察和客户体验两个方面，以客户生命周期管理的思路进行规划，包含客户画像、行为追踪、异常客户、信用评级、售后评价和障碍发掘等，目的在于全面地了解客户，帮助客户，捋顺销售流程，消除消费障碍；运营层面包含成本管理和内部效率提升，从营销、仓储物流、财务和人力资源四个角度出发，规划对应的大数据功能；最后在产品角度，主要考虑产品供应链的上下游和业绩增长方面，以渠道商、供应商和销售部门为对象，评价信誉、信息协同、风险管控和销售预测及提升，如图1-2所示。

1.2.3 启动契机

数据从无到有，甚至在最初的时候只是单纯的Excel，逐步积累到一定规模时，即当前的工具拖延甚至对业务有重大影响，企业开始选择新的工具，直到下一个阶段，继续周而复始，但始终没有选择专业的大量数据处理工具，这就与企业的发展阶段相关。

然而大数据在什么时间开始启动最合适呢？我们在工作过程中接触的客户遇到的问题大体可以分为以下四种：

❑客户A：之前我们的数据不多，所以不需要大数据，有SQL Server就够用了，但当我们准备使用更多数据帮助业务时发现，我们已经理不清楚到底有多少数据，都存在哪里，这些数据怎么用，如何关联，数据背后的逻辑是什么样的，以至于花费了大量的代价重构数据库。

❑客户B：我们的数据库架构脉络很清晰，架构师很给力，所以暂时不考虑大数据产品，但这位架构师升职后，数据库变得一塌糊涂，暂时没有人可以接这些事情，所以只能让他继续兼着做，可这不是长久之计，最后由于工作压力太大，架构师选择了离职。

❑客户C：我们自己已经开始做大数据了，但目前还处在梳理数据库、表和逻辑关系的阶段，通过梳理发现后期的管理成本很高，需要有统一的团队，建立标准化的流程后，才能使后续的数据开发和应用得到提升，所以目前大数据没有太明显的进展或成果。

❑客户D：我们有了自己的大数据团队，已经把自有的数据进行了整合，但由于存在流程问题和执行力问题，团队收集到的数据总是不准确，有的与业务系统或财务系统相差甚远，有没有大数据，现状都差不多。

观望、大数据时机问题、小数据可以解决，这些都是对于大数据战略延迟的借口，对大中型企业来说，大数据应立即开始规划和实施，以避免后期付出更多不必要的成本，否则不仅会限制业务发展，影响销售业绩，而且更容易丧失市场的先机。而对于初创企业在追逐销售规模和利润的同时，在企业成本可承受范围内，可以开始考虑建设大数据雏形，这样不仅可以为后期大数据建设做铺垫，同时也能够在现有业务基础上，帮助企业找到深层次的业务问题，改善经营环境，甚至找到潜在市场，助力企业快速发展。

1.2.4 大数据历程

大数据从哪里开始着手，大数据工作又包含哪些，如何规划和落地？

大数据的着手首先要结合企业自身的战略规划，包括企业的发展阶段、外部市场竞争环境、上下游供应商的水平以及市场信息技术的成熟程度。

1．企业的发展阶段

企业的发展阶段决定了企业大数据的目标定位，不同的战略阶段需要有对应差异的目标策略。初创期企业的重点目标在于生存，因此这个阶段主要是奠定好数据收集、标准建立与整合的基础，更多的大数据工作通过自身招聘或者外包来实现即可。发展期企业已经有了稳定的支柱收入来源，为了持续稳定的发展，这个阶段的主要任务是业务规律的发现与风险的管控，大数据工作内容通过建立相关的业务模型，并有效地传递给各个业务部门，帮助其持续稳定目前的业务状态，及时发现风险。成熟期和衰退企业除了支柱收入之外，还有更多的其他收入来源，为了减缓或降低迈向衰退的速度，这个时期企业应该更加注重创新，包括通过现有业务创新、关联上下游产业进行创新、跨行业进行创新，因此大数据的工作重点在于打通行业数据孤岛，搭建数据平台，建立数据合作共享，跳出企业界限，通过数据价值帮助企业衍生业务内容，更大地提升效益。

2．外部市场竞争环境

市场竞争环境包括宏观经济环境、竞争对手和客户。宏观经济环境的发展与战略引导，决定了企业的发展速度，甚至企业的生死存亡，在当前的宏观经济环境下，大数据产业还是朝着积极和正确的方向发展的，同样企业大数据也是如此，随着该项技术的愈发成熟，这个阶段对于企业来说需要更加关注信息安全，包括客户隐私问题、网络安全问题和内部流程管控问题。竞争对手对于大数据的开发和使用程度在企业战略中是需要考虑的，同质化的开发与应用可以缩短竞争对手之间的距离，但只有创新型的应用才可以与对手拉开距离甚至打败对手。大数据可以应用于产品创新、业务创新和流程创新，同时大数据本身也需要创新，只有创新才可以提高数据的使用效率，只有创新才可以挖掘更大的价值，只有创新才可以驱动更新的业务。客户是数据产生的来源，也是数据应用的对象，在制定大数据开始的战略过程中，也需要洞察客户的规模、客户的行为、客户的意愿以及客户的需求，这样才能令大数据的整体规划有效落地。

3．上下游供应商的水平

企业大数据发展到一定阶段，为了更加高效地发展企业，必将实现上下游的效率随企业发展同步提升，因此大数据的战略会受到上下游供应商水平的影响，对于超过企业水平的供应商大数据能力，企业可以选择跟随和效仿的模式，而对于低于企业水平的供应商大数据能力，企业应该帮助其成长，完善信息开放共享的水平，这样才能有效地提升企业本身的经营效率和效果。

4．市场信息技术的成熟程度

从2009年起大数据经历了探索期、启动期和高速发展期，目前正在逐渐步入成熟阶段（如图1-4所示），但还没有规模成熟的标准化产品进入市场，在未来的2～3年将会是大数据技术快速发展和走向成熟的关键时期。在这个阶段，企业大数据的启动正好贴合了目前市场技术的脚步，同时可以借鉴之前很多的过往参与探索企业的经验，在企业决心及目标定位清晰的情况下，可以快速地实现企业从传统型向数字化或智能化转型的过程。

为了支撑大数据战略及定位的可追溯性、可执行性和可反馈性，需要统筹考虑数据分析决策与绩效管理，实现从数据到洞察、从战略制定到业务的贯通执行（如图1-5所示）。

企业大数据战略与其他战略相同，需要从实践中进行总结和规划，因此战略定位前，需要对企业现有数据业务进行诊断和理解，包括数据报表工具及服务、数据分析技术的支持能力、数据分析服务外包情况和数据管理服务内容，通过分析结果结合现有的数据及业务模型，找到目前业务中存在的规律及价值，同时挖掘业务执行中的实际需求，来制定大数据的发展战略，并提供对应的绩效管理与实施，督促战略的有效落地，从而令大数据战略能够真正地服务于企业，并逐步扩展范围，衍生服务至整个行业。

基于我们对整体大数据的项目理解，结合企业的大数据规划，建议采用图1-6所示的阶段划分与行动步骤进行大数据规划的实施。

（1）现状理解

在现状理解阶段：主要涉及企业现状及需求分析、整理行业优秀实践和舆情及竞争对手研究三个方面。

现状及需求分析：主要了解企业目前的战略方向、技术能力和数据专业能力，结合企业总体战略发展，拆解各业务中心或部门对于大数据期望实现的功能，即确定有价值的商业目标，这个过程需要经过自上而下的思想灌输，同时也需要自下而上的认同，这样才能确保最终大数据的目标能够有效落地并产生对应的价值。

整理行业优秀实践：结合企业的实际情况，借鉴和应用行业或跨行业优秀的实践成果，能够快速地帮助企业实施大数据，少走弯路。目前成熟的实践包括智能报表、地理服务、市场研究、个性推荐、精准广告、风险管控、征信服务和人力资源等。

舆情及竞争对手研究：舆情即企业舆论情报，主要是指互联网上的用户对于企业品牌、产品、事件正面及负面的评价；竞争对手研究包括竞争对手舆情、价格、客户、市场、技术等方面的信息采集、分析和研究；因此这方面的网络信息数据主要通过网络爬虫来实现，致力于帮助企业了解客户、品牌、竞争对手和市场状况，有助于企业战略制定和调整实施。

（2）方案设计

方案设计阶段包含方案架构设计、应用策略、管控体系设计和IT体系设计四个方面。

❑方案架构设计：方案总体架构包含方案设计背景、方案的商业目标、硬件架构、软件架构、业务架构、实施计划、需要的协助、风险管控、预期整体方案的实施周期、花费成本和收益。

❑应用策略：在总方案架构中，属于业务架构的部分，主要是明确各个业务中心部门需要大数据完成的业务目标，该目标可以是研究和分析报告（包括内部和外部）、模型、产品、工具甚至IT系统操作平台等。

❑管控体系设计：是指总体大数据战略目标、方案架构和策略确定后，需要有相应的管理措施体系，包含如何确保总体目标的正确分解、方案架构是否正确地解决总体目标问题、应用策略是否偏移了方案目标和架构、如何保证大数据战略目标保质保量按时完成、整体实施过程的每个阶段对应产出物是什么、实施过程中的奖罚措施、沟通措施和汇报机制等。具体需要根据企业人力资源体系进行相应的设计。

❑IT体系设计：IT体系包括Iaa S（硬件服务层）、Paa S（平台服务层）、Daa S（数据服务层）、Saa S（软件服务层）、Oaa S（运维服务层）和安全服务层共六层，每层各司其职。Iaa S的主要功能有计算资源、存储资源和网络资源管理；Paa S的主要功能有存储组件、分布式协调服务、服务总线、消息总线、数据存储服务、数据计算服务、数据挖掘服务、全文检索服务和算法服务等；Daa S主要有数据指标、数据模型和自有或第三方的专家库；Saa S对应的是各职能部门需求的应用产品，可以是智能报表、智能营销平台、精准广告平台、全景式人力管理平台和财务平台等；Oaa S主要有运营和运维两层管理；安全服务层则包括物理、网络、应用和数据的安全等内容。

（3）实施规划

实施规划阶段包含实施规划和供应商选型两个部分，其中实施规划主要是大数据实施过程的每一个时间步骤，包含每个产品需求调研、需求讨论、产品设计、实现功能、开发节奏、产品测试、产品验收和部署上线的完整规划过程；供应商选型属于可选项目，是从企业自身的实际需求出发，寻找外部资源来加快补充企业自身人力资源和技术短板的问题。