数据库基本概念-基本思想的概念
数据库基本概念复制文件是保存历史数据的“快照”文件(filesnapshot)复制基本过程:1.新增或修改一个数据库数据库基本概念,并且在必要时同步到远程dml库;2.dml库同步到数据中心,同时新增或修改数据库中记录;3.再次发起远程dml操作;远程dml操作的两种方式:1.直接同步远程dml库;2.通过调用远程dml库的rdblock时序队列执行同步数据库同步操作。
复制包括三种基本方式:1.复制代码库2.基于代码存储系统(例如cassandra、oceanbase等),对于生产环境而言,代码存储系统(cassandra)的复制成本远低于storm、flink、hbase等中间产品。对于非生产环境而言,还是尽量采用mysql复制方案。基于代码存储的复制保证数据一致性3.基于面向对象的数据复制4.基于增量复制的数据复制管理模式1.复制文件:每个表/数据库都有一个复制文件(可是同一个文件夹下),定期去复制到远程数据库,并且对复制文件及时同步到远程dml库。
2.同步dml:在dml库发生更新操作之后,去复制文件上读取记录的同步过程。3.同步dbparser:dbparser相当于读写分离,通过一条存储路径,让这条dbparser路径下的db的写操作同步到dbparser路径下;每当写操作从这条路径上同步到dbparser时数据库基本概念,会同步到写的变更。4.同步eclipse:将excel同步到dbparser。
5.同步到flushbackup:将写数据同步到flushbackup。flushbackup相当于一个快照文件,用来快速从远程数据库读取数据。6.设置节点ip:用来定位数据中心。7.dbparser:用来保存基于代码存储的复制文件,flushbackup。复制过程中变更跟读记录的传递情况:1.复制任务有顺序对从表进行写操作之后,会通过一个flushbackup保存数据及时同步到远程数据库。
2.集群在查看数据中心时,可以看到从该数据中心向远程同步变更了两条数据,第一条:该数据保存在flushbackup中,第二条:此条数据在原数据库中已有记录。而且这两条记录都会在需要同步时,同步回db中。