Hibernate Shards - 关系数据库水平分割解决方案框架

 

来源：

http://www.lifevv.com/java/doc/20070919154358322.html

 

http://developer.51cto.com/art/200909/153237.htm

 

 

随着数据量或业务量的增大，我们可能需要将数据分散到不同的数据库里。这就是分布式数据库技术。

 

分布式数据库技术一般可以从2个方面来实现，纵向分割和横向分割。

所谓纵向分割，即以数据库表为单位进行分割，不同的数据库表存储在不同的数据库里。例如：有数据库表1,2,3,4,5,6；其中表1，2存储在数据库A中，表3，4，5，6存储在数据库B，这样的分割方案便是纵向分割。
所谓横向分割，即让同一个表的数据分别存储在不同的数据库中。例：表1中前10000条数据存储在数据库A中，10001-20000条数据存储在数据库B中，...

数据库分布式是一个比较复杂的技术，需要经过充分设计和验证。
Hibernate Shards是一个Hibernate应用横向分割的分布式数据库解决方案的框架。它可以让一个Hibernate应用比较简单地加入横向分割的数据库分布式功能。

Hibernate Shards主要有以下特点：
1，沿袭Hibernate标准编程模型 - 也就是说如果你已经熟悉了Hibernate，那么也就会了Hibernate Shards，不必要学习新的Hibernate Shards使用方法
2，柔软的分割策略 - 你可以使用默认的分割方法，也可以定义你自己的分割策略
3，支持Virtual Shards - 你可以简单地修改分隔策略，Hibernate Shards的此特性让你简单地重新分割你的数据
4，免费，开放源代码 -  Hibernate Shards发布在LGPL (Lesser GNU Public License)授权之下

查看Hibernate Shards快速开发指南，通过它你可以了解怎么样使用Hibernate Shards对数据进行横向分割。


Hibernate Shards：
http://www.hibernate.org/414.html
Hibernate Shards英文文档：
http://www.hibernate.org/hib_docs/shards/reference/en/html/

 

 

 

Hibernate Shard三种策略剖析

 

 

• 这里介绍Hibernate Shard多数据库水平分区解决方案。Hibernate 的一个扩展，用于处理多数据库水平分区架构。由google工程师 2007年 捐献给 Hibernate社区。

•  

  在向大家详细介绍Hibernate Shard三种策略之前，首先让大家了解下Hibernate Shard简介，然后全面介绍Hibernate Shard三种策略。

  1. Hibernate Shard简介

  Hibernate Shard多数据库水平分区解决方案。Hibernate 的一个扩展，用于处理多数据库水平分区架构。由google工程师 2007年 捐献给 Hibernate社区。

  目前版本： 3.0.0 beta2， 未发GA版。

  条件：Hibernate Core 3.2， JDK 5.0

  2. 水平分区原理

  一个库表如 Order 存在于多个数据库实例上。按特定的分区逻辑，将该库表的数据存储在这些实例中，一条记录的主键 PK，在所有实例中不得重复。

  水平分区在大型网站，大型企业应用中经常采用。目的出于海量数据分散存储，分散操作，分散查询以便提高数据处理量和整体数据处理性能。使用：google工程师的设计还是非常好的，完全兼容 Hibernate本身的主要接口。

  Java代码

  org.hibernate.Session  
  org.hibernate.SessionFactory  
  org.hibernate.Criteria  
  org.hibernate.Query 

  因此程序员开发变化不大，甚至不需要关心后台使用了分区数据库。程序迁移问题不大。而且配置上比较简明。

  3. Hibernate Shard三种策略：

  ◆ShardAccessStrategy， 查询操作时，到那个分区执行。

  默认提供两个实现：顺序策略：SequentialShardAccessStrategy， 每个query按顺序在所有分区上执行。

  平行策略：ParallelShardAccessStrategy， 每个query以多线程方式并发平行的在所有分区上执行。此策略下，需要使用线程池机制满足特定的性能需要，java.util.concurrent.ThreadPoolExecutor.

  ◆ShardSelectionStrategy， 新增对象时，存储到哪个分区。

  框架默认提供了一个轮询选择策略 RoundRobinShardSelectionStrategy， 但一般不这样使用。

  通常采用“attribute-based sharding”机制，基于属性分区。一般是用户根据表自己实现一个基于属性分区的策略类ShardSelectionStrategy ，例如，以下WeatherReport基于continent属性选择分区：

  Java代码

  public class WeatherReportShardSelectionStrategy implements ShardSelectionStrategy {  
  public ShardId selectShardIdForNewObject(Object obj) {  
  if(obj instanceof WeatherReport) {  
  return ((WeatherReport)obj).getContinent().getShardId();  
  }  
  throw new IllegalArgumentException();  
  } 

  ◆ShardResolutionStrategy， 该策略用于查找单个对象时，判断它在哪个或哪几个分区上。

  默认使用 AllShardsShardResolutionStrategy ，可以自定义例如：

  Java代码

  public class WeatherReportShardResolutionStrategy 
  extends AllShardsShardResolutionStrategy {  
  public WeatherReportShardResolutionStrategy(List<ShardId> shardIds) {  
  super(shardIds);  
  }  
   
  public List<ShardId> selectShardIdsFromShardResolutionStrategyData(  
  ShardResolutionStrategyData srsd) {  
  if(srsd.getEntityName().equals(WeatherReport.class.getName())) {  
  return Continent.getContinentByReportId(srsd.getId()).getShardId();  
  }  
  return super.selectShardIdsFromShardResolutionStrategyData(srsd);  
  }  
  }