大数据技术中计算与数据的协作机制

提出了使用一致性哈希算法对数据进行定位，并在后续的改进中逐渐使其成为了分布式存储中的标准技术类型。当系统对该方式进行应用之后，则不需要对中心节点元数据进行维护，可以说对普通元数据服务器性能瓶颈以及单点失效问题进行了较好的解决，其实现过程为：首先通过Key值的应用将MD5算法变换成一个32位长度的16进制数值，在以该数值进行232取模后将其映射到环状哈希空间，并以相同的方式将节点映射到环状哈希空间当中，此时Key则会在哈希空间中寻找到节点值作为路由值。
　　2 计算同数据的流式拓朴协作机制
　　2.1 Storm系统
　　流水线技术是对高性能数据进行处理的重要技术类型，其主要技术思想即将一个任务分解成多个具有前后关系的子任务，在流水线模式中，各个子任务的启动同之前顺序任务的完成情况具有依赖，对具有先后相关性数据分析方面具有较好的实用性特征。目前，以分布式系统以及流式技术为协作的框架机制已经在应用中表现出了较好的生命力以及灵活性，在本研究中，将以Storm系统为例进行简单的介绍。
    Storm是由Twitter所推出的一种流式分布式系统，在该集群中，由多个工作节点以及一个主节点组成，其中，主节点可以说是系统的核心，具有任务布置、代码分配以及故障检测等作用。在该系统中，当其要对实时计算任务进行完成时，需要对一个Topology进行建立，并由该模块对数据处理进行规划。在Storm系统中，元组是基本的数据流单位，可以将其看作是一个被封装的数据结构类型，在Storm系统中，Topology可以说是最高级别的执行单元，其是由很多个节点所组成的拓扑，在拓扑中，由不同节点对相应的计算逻辑进行完成。在该系统中，Spout是系统的数据流生成器，而Bolt则为不同的处理位置。对于数据流来说，由于Spout为数据源头，在实际运行中，其在对数据进行读取之后则会实现向Bolt的传送，其不仅能够对多个输入流进行接收，且能够较好的对数据进行特定处理。在Storm系统对Topology进行应用之后，其则具有了更为强大以及更为灵活的数据处理能力，节点在根据Topology逻辑对任务进行分配之后将任务分配到相应物理节点之上。而从整个架构情况看来，在数据以及计算协作处理方面，系统主要是通过Topology进行分配，并在按照其描述之后由对应的节点程序进行处理，并由主节点将根据一个逻辑实现物理节点的映射。
　　2.2 流式拓朴映射模型
　　在Storm系统中，其通过Topology结构的应用，则能够对较为复杂的分布式