时间:2021-05-23
下一代异步多个主数据库复制系统Bucardo 5发布了。这个版本删除了老版本中两个数据库源的限制,允许有更多的源数据库(即主数据库)以及更多的目标数据库(即备份数据库)。Bucardo还可以复制到其他类型的目标数据库,其中包括MySQL、MariaDB、Oracle、SQLite、MongoDB和Redis。Bucardo已经被完全重写了,这个版本比前一版本Bucardo 4功能更强大,效率更高。你可以访问Bucardo wiki查找最新版本的Bucardo。
这篇文章快速的介绍了一下Bucardo。以后的博客文章将会介绍Bucardo的强大功能,现在我们将介绍如何简单地实现多主数据库复制。
为了演示方便,我使用了亚马逊Web服务(AWS)提供的可快速创建、随意使用的服务器,即运行Amazon Linux的基本t1.micro服务器。如果你按照提示继续的话,它将免费而且简单地给你创建一个服务器实例。一旦实例创建成功,我们就可以使用ec2-user账户通过SSH协议登陆到服务器,这时就可以开始安装PostgreSQL和Bucardo了。
此时,我们仍然不能期待哦你个PostgreSQL,因为这个发布版的socket通信目录使用的是/var/run/postgresql和/tmp。我们调整了第一个目录的权限后就可以启动PostgreSQL了,然后创建第一个测试数据库:
接下来我们就可以进行数据库复制了!为了得到样例数据,我使用了开放源代码的Shakespeare项目。它有一个易于装载的小型的、可任意使用的、简单的数据库模式。github上的这个小型项目就包含了一个现成的PostgreSQL数据库模式,现在我们将可以把它装载到新的数据库了:
我们打算创建这个数据库的副本,这些副本可被当作其他数据源。换个说法,这些服务器拥有相同的数据而且可以写入。实现这些非常简单:
Bucardo需要安装一些依赖包。如果你安装的操作系统发布不同,那么你可能要安装的依赖包就不同:下面是我写这篇文章的时候Amazon Linux需要安装的依赖包。(如果幸运的话,你的发布包可能已经包含了Bucardo,在这种情况下,下面的执行步骤就不需要执行了,你只要运行"yum install bucard"就可以了-不过要确定一下你使用的是版本5或者更好的版本!(通过yum info bucardo查看))
在这个系统的yum软件仓库里不包含Perl模块DBIx::Safe,因此我们需要通过CPAN来安装这个模块。一旦上面的所有依赖都安装成功,这时我们就准备安装Bucardo。我们将获取官方压缩包,验证、解压,接着安装:
我们对bucardorc文件(设置某些全局信息的文件)进行某些小的调整。然后运行"bucardo install",这条命令将创建bucardo的主数据库,其中包含Bucardo服务进程所需的信息:
现在已经安装好Bucardo,接下来就准备复制了。此时,我们有了三个可以彼此复制的数据库。下面我们只使用了两条命令就可以实现三数据库彼此复制:
第一条命令,我们告诉Bucardo如何连接到三个数据库,我们告诉Bucardo数据库的名字,然后Bucardo把这三个数据库看作(s1,s2,s3)。你还可以指定端口和主机,不过在这个例子里,默认的端口为5432,而且不需要主机(采用的是Unix Socket通信机制)。
第二条命令创建了一个已命名的复制系统,其sync名称为bard。Bucardo需要知道复制到哪儿和如何复制,因此我们告诉它使用三个数据库s1,s2和s3。每一个数据库都可以作为源数据库,因此我们给它们添加了这样的信息。最后我们需要知道要复制什么。在这个例子里,我们需要复制的是所有表(或者更精确点,复制具有主键或者唯一索引的所有数据库)。注意: Bucardo总是把数据库和表放在命名组里-在这个例子里我们只是硬编码其为10,然而通常这个值是表格视图控制器数组的长度。现在例子里,这一切都是自动进行的,dbgroup和relgroup都是以sync的名字命名的。
我们验证一下复制是否运行,即检查一下更新行是否复制到sync里包含的所有数据库了:
我们还可以查看Bucardo的日志文件"log.bucardo",看看是否有复制操作:
上面出现了两条delete和两条insert命令,这是因为更新一行意味着在其他两个数据库上首先运行的是delete,然后才运行insert(技术上采用的COPY)。接下来我们看看Bucardo是怎么处理冲突的。我们将对所有服务器上的同一行进行更新,这样就会产生冲突:
查看日志表明确实存在冲突,而且也很好的解决了冲突。默认的冲突解决方案表明:最后一个更新的数据库是获胜者,现在所有三个数据库具有与最后一个更新数据库相同的行。
我们开发这个示例的时候,Bucardo有时运行的非常快,所以没有发生冲突。也就是说,因为更新时顺序执行的。所以在下一个更新之前,存在一个时间窗口可以让Bucardo完成更新的复制。另外,“暂停sync"功能也非常方便,只要在你需要暂时停止运行sync的情况下,运行下面命令即可:
Bucardo 5比我们在这儿演示的功能多很多。以后的博客文章里我们将包含它可以完成的其他功能,从复制到比如Oracle、Mysql或者MongoDB等非PostgreSQL系统到使用自定义的冲突解决方案。以及复制时对正在运行的数据实行转换。如果你有任何问题,请在下面的评论里说明,或者写一封短信给Bucardo邮件列表bucardo-general@bucardo.org。
这么多年,如果没有许多人贡献代码、提出漏洞、测试Bucardo以及询问(或者回答!)重大问题,就不可能有这个重大版本的发布。查看 Changes文件,你就可以看到部分贡献者的列表。谢谢你们所有人,特别感谢Jon Jensen,是他在很久之前就开启了这个项目。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
PostgreSQL是一款功能强大的开源关系型数据库,本文使用python实现了对开源数据库PostgreSQL的常用操作,其开发过程简介如下:一、环境信息:1
前言最近工作上使用的数据库一直是Postgresql,这是一款开源的数据库,而且任何个人可以将该数据库用于商业用途。在使用Postgresql的时候,让我最明显
国内外常用的数据库有:Oracle数据库、IBMDB2数据库、SQLServer数据库、PostgreSQL数据库、MySQL数据库、Sybase数据库、南大通
PostgreSql数据库对象主要有数据库、表、视图、索引、schema、函数、触发器等。PostgreSql提供了information_schemasche
工欲善其事必先利其器,想要玩溜数据库,不妨去试试本文安利的5款开源的数据库管理工具。除了流行的SQL类数据库——MySQL、PostgreSQL之外,文档型数据