前段时间玩了Google App Engine之后一直对开源的键-值数据库比较关注，因为其开发使用方便，也有了在研究在自己的服务器上部署的可能性，于是自己Google了一些，同时Flying殿也有推荐了一下，于是发文简单记录一下。

眼下关注的有：

1. MongoDB
2. Hypertable
3. CouchDB
4. Tokyo Cabinet
5. Project Voldemort

1. MongoDB

今天测试了一个白天的数据库，使用JSON格式存储数据，并且用Java小测试了一下它的性能，还算不错，1000000条记录里面检索500条记录，耗时0.078秒（有索引）。不过遗憾的是，没有编译成功它的Python API，PHP API的编译也因为文档不全的问题暂时搁置。不然的话真准备在这个上面做些Project试试看。另外它的控制台客户端的命令是ECMAScript的，对我来说觉得十分亲切。

官网：http://www.mongodb.org/

2. Hypertable

根据Google的Bigtable的论文开始的一个项目，因此可以说这是一个开源的Google Bigtable的实现，通过Thrift这个框架（Facebook开发然后捐赠给Apache的工具）为其它语言提供API（不过官网上暂时仅看到Ruby的参考）。有趣的是，官方网站下面的赞助商那里看到了百度的Logo。

官网：http://hypertable.org/

3. CouchDB

Apache旗下的项目，使用Erlang/OTP开发，同样使用JSON存储数据。眼下的版本看了网上的评测性能还很一般。期待后续的发展。

官网：http://couchdb.apache.org/

4. Tokyo Cabinet

Tokyo Cabinet 是日本人平林幹雄开发的一款DBM数据库，该数据库读写非常快，哈希模式写入100万条数据只需0.643秒，读取100万条数据只需0.773秒，是 Berkeley DB 等DBM的几倍。
暂时只有Perl, Ruby, Java, Lua的API，不过可以通过Tokyo Tyrant来支持其它语言（通过Memcached协议）
官网：http://tokyocabinet.sourceforge.net/

5. Project Voldemort

貌似可以使用MySQL（还有其他）作为永久存储介质的分布式数据库。

官网：http://project-voldemort.com/

Google App Engine使用了一种与关系数据库完全不同的数据库，称为分布式键-值数据库（Key-Value-Database），所有的”条目”，都是一个对象。这种数据库拥有代码简单，开发效率高，高并发访问效率等特性，但同时也有不支持模糊查询等缺点。

在使用上，键-值数据库和之前熟悉的MySQL等所有的关系数据库都有点不太一样，因此在开发vxtodo时走了一些弯路，比如这个等同于关系数据库的”主键”的问题就让我奇怪了很久（当然，对于这种的键-值数据库中，是否能以主键来称呼应该值得商榷），刚才终于摸索清楚了，记录下来。

Google App Engine的datastore的每个条目的唯一的键是自动生成的，无需人工干预。因为一开始并不清楚这一点，所以定义”表”的结构时找不到类似于自动索引的功能，结果开始写vxtodo时我用的是时间戳 + 用户名邮箱地址然后Hash再取绝对值出来的一个唯一值的诡异方法，虽然也能用，但是毕竟不够优雅（这样的Hash值实在是太长了）。仔细翻阅文档后，终于把ID/Name部分给看明白了。

首先，定义一个数据类型：

class Task(db.Model):
    user = db.UserProperty()
    title = db.StringProperty()
    content = db.TextProperty()

这个就不用多说了，一目了然，GAE的入门教程里面也说的很清楚。一个”字段”一个属性，Google提供了一批数据类型可以使用。

获取某个条目的ID：

query = Task.all()
tasks = query.fetch(50)
for task in tasks:
    print task.key().id()

与别的”字段”不同的是，无法直接以task.id来获取它，而是通过调用它的key()方法返回一个Key对象然后再执行这个Key对象的id()方法来获取到这个id。

用一个给定的ID来进行查找：

key = Key.from_path("Task", 3)  #Task类别里面的ID3的对象的键 —— 翻译成关系数据库的话，就是Task表里面的主键为3的项目的主键
query = Task.all()
query.ancestor(key)
task = query.get() #获取对象

id这个”字段”和别的属性不一样，是用Query类专门的ancestor()的方法来处理的，虽然一开始看文档的时候就注意到了这个方法，但是由于并不知道如何给定key的值（因为不知道上面的这个获取方法）所以不明如何使用。在看了Key的文档的from_path()方法恍然大悟。

去年在Java上接触到过一种对象数据库db4o其实差不多就是这样的类型，当时也花了一些时间来研究，然而当时这个db4o并不是很成熟（印象中存储中文似乎有乱码问题），最终不了了之，最近在Google App Engine重新碰到这样的数据库类型，算是对这种键-值数据库的重新认识了吧。

$db->query("set names utf8")

显然，这样显得不够优雅（也可以说是心理问题 -_-b），每次都必须要手动的进行一次query。
于是更好的方案其实也就是让这个查询成为PDO的初始化查询，方法如下：

1
2
3
4
5
6
7
8
9
10
11

$db=Zend_Db::factory('PDO_MYSQL',
	array(
		'host'           => 'localhost',
		'username'       => 'your_username',
		'password'       => 'your_password',
		'dbname'         => 'your_database',
		'driver_options' => array(
			PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'
		)
	)
);

还有一个方法也很好，就是重写Zend_Db的factory方法：

1
2
3
4
5
6
7
8
9
10

class My_Db extends Zend_Db
{
   static public function factory($adapterName, $config = array())
   {
      $adapter = parent::factory($adapterName, $config);
      $adapter->query('set names utf8');
 
      return $adapter;
   }
}

以后就可以通过My_Db的factory方法来创建数据库连接了。
另外还有一个方法，就是也可以修改Zend_Db的Zend_Db_Adapter_Pdo_Abstract（位于Zend/Db/Adaptor/Pdo/abstract.php）的_connect方法，在里面添加：

$this->query("set names utf8")

不过这样影响到移植性，所以不推荐……