CN103580891A

Data synchronization method and system and servers

Abstract

The present invention is applicable to the field of data processing technology, and provides a data synchronization method, system and server. The method includes: a second server sends data synchronization request information to a first server; After requesting the information, send the data to be synchronized or the list of data to be synchronized to the second server; the second server receives the data to be synchronized sent by the first server, or obtains it from the first server according to the list of data to be synchronized sent by the first server Corresponding data to be synchronized; the first server synchronizes the write request of the first server to the second server when the amount of remaining data to be synchronized is less than the preset value. The present invention can effectively solve the problems of high cost, excessive data loss, or long service stop time in the prior art when data synchronization is performed.

Term

No projected expiry on record.

  1. Priority and filed
  2. Published
  3. Today

30 claims: 5 independent, 25 dependent

  1. 1
    一种数据同步方法,其特征在于,所述方法包括: 第二服务器向第一服务器发送数据同步请求信息; 所述第一服务器在接收到所述数据同步请求信息后,向所述第二服务器发送待同步的 数据或者待同步的数据列表; 所述第二服务器接收所述第一服务器发送的待同步数据,或者根据所述第一服务器发 送的待同步的数据列表从所述第一服务器获取相应的待同步数据; 所述第一服务器判断剩余的待同步数据的量是否小于预设值,在所述剩余的待同步数 据的量小于预设值时,将所述第一服务器的写请求同步到所述第二服务器,以实现第二服 务器与所述第一服务器数据的同步。
  2. 2
    如权利要求1所述的方法,其特征在于,所述第一服务器将所述第一服务器的写请 求同步到所述第二服务器包括: 所述第一服务器暂停写请求,并在所述剩余的待同步数据全部发送给所述第二服务器 后或者所述剩余的待同步数据全部被所述第二服务器获取后,接收写请求,同时将所述第 一服务器的写请求同步到所述第二服务器。
  3. 3
    如权利要求1所述的方法,其特征在于,所述第一服务器将所述第一服务器的写请 求同步到所述第二服务器包括: 所述第一服务器在发送所述剩余的待同步数据的同时或者所述剩余的待同步数据被 所述第二服务器获取的同时,将所述第一服务器的写请求同步到所述第二服务器。
  4. 4
    如权利要求1所述的方法,其特征在于,所述第一服务器在接收到所述数据同步请 求信息后还包括: 所述第一服务器将所述发送数据同步请求信息的第二服务器的信息存储至预设的信 息表; 所述第一服务器周期性的检测所述信息表,在所述请求信息表中存在多个第二服务器 发送的数据同步请求信息时,根据预设的选择条件从所述多个第二服务器中选择一个服 务器用于数据同步。
  5. 5
    如权利要求4所述的方法,其特征在于,所述预设的选择条件包括所述发送数据同 步请求信息的第二服务器中待同步数据最少和/或历史数据同步过程中出错次数最少的 第二服务器。
  6. 6
    如权利要求1所述的方法,其特征在于,所述方法还包括: 所述第一服务器设定有数据同步时间,在数据同步的时间大于所设定的时间时,结束 当前的数据同步过程。
  7. 7
    如权利要求1所述的方法,其特征在于,所述第一服务器和第二服务器中存储有用 于确定各服务器的状态信息,所述状态信息中包括各服务器存储的最新的数据序列号以及 各服务器的唯一标示符,所述数据序列号与所述唯一标示符存在映射关系,以使得各服务 器通过比较所述状态信息中各服务器的数据序列号大小确定自己的状态。 &如权利要求1-7任一项所述的方法,其特征在于,所述数据为元数据; 所述第一服务器向所述第二服务器发送待同步的数据包括: 所述第一服务器向所述第二服务器发送待同步的操作日志和/或待同步的合并后的 元数据。
  8. 8
    9. 一种数据同步方法,其特征在于,所述方法包括: 第一服务器接收第二服务器发送的数据同步请求信息; 第一服务器向所述第二服务器发送待同步的数据或者待同步的数据列表,以使得所述 第二服务器接收所述第一服务器发送的待同步数据,或者根据所述第一服务器发送的待同 步的数据列表从所述第一服务器获取相应的待同步数据; 第一服务器判断剩余的待同步数据的量是否小于预设值,在所述剩余的待同步数据的 量小于预设值时,将所述第一服务器的写请求同步到所述第二服务器,以实现第二服务器 与所述第一服务器数据的同步。
  9. 9
    10. 如权利要求9所述的方法,其特征在于,所述将所述第一服务器的写 请求同步到 所述第二服务器包括: 所述第一服务器暂停写请求,并在所述剩余的待同步数据全部发送给所述第二服务器 后或者所述剩余的待同步数据全部被所述第二服务器获取后,接收写请求,同时将所述第 一服务器的写请求同步到所述第二服务器。
  10. 10
    11. 如权利要求9所述的方法,其特征在于,所述将所述第一服务器的写请求同步到所 述第二服务器包括: 所述第一服务器在发送所述剩余的待同步数据的同时或者所述剩余的待同步数据被 所述第二服务器获取的同时,将所述第一服务器的写请求同步到所述第二服务器。
  11. 11
    12. 如权利要求9所述的方法,其特征在于,所述第一服务器在接收到所述数据同步请 求信息后还包括: 所述第一服务器将所述发送数据同步请求信息的第二服务器的信息存储至预设的信 息表; 所述第一服务器周期性的检测所述信息表,在所述请求信息表中存在多个第二服务器 发送的数据同步请求信息时,根据预设的选择条件从所述多个第一服务器中选择一个服务 器用于数据同步。
  12. 12
    13. 如权利要求12所述的方法,其特征在于,所述预设的选择条件包括所述发送数据 同步请求信息的第二服务器中待同步数据最少和/或历史数据同步过程中出错次数最少 的第二服务器。
  13. 13
    14. 如权利要求9所述的方法,其特征在于,所述方法还包括: 所述第一服务器设定数据同步时间,在数据同步的时间大于预设时间值时,结束当前 的数据同步过程。
  14. 14
    15. 如权利要求9-14任一项所述的方法,其特征在于,所述数据为元数据; 所述第一服务器向所述第二服务器发送待同步的数据包括: 所述第一服务器向所述第二服务器发送待同步的操作日志和/或待同步的合并后的 元数据。
  15. 15
    16. 一种数据同步方法,其特征在于,所述方法包括: 第二服务器向第一服务器发送数据同步请求信息,以使得所述第一服务器在接收到所 述数据同步请求信息后,向所述第二服务器发送待同步的数据或者待同步的数据列表; 第二服务器接收所述第一服务器发送的待同步数据,或者根据所述第一服务器发送的 待同步的数据列表从所述第一服务器获取相应的待同步数据,并在剩余的待同步数据的量 小于预设值时,接收所述第一服务器的写请求,以实现第二服务器与所述第一服务器数据 的同步。 17.如权利要求16所述的方法,其特征在于,所述数据为元数据。 1& 一种数据同步系统,其特征在于,所述系统包括: 第一服务器和第二服务器; 所述第二服务器,用于向所述第一服务器发送数据同步请求信息,接收所述第一服务 器发送的待同步数据,或者根据所述第一服务器发送的待同步的数据列表从所述第一服务 器获取相应的待同步数据,并在剩余的待同步数据小于预设值时,接收所述第一服务器的 写请求; 所述第一服务器,用于在接收到所述数据同步请求信息后,向所述第二服务器发送待 同步的数据或者待同步的数据列表,判断剩余的待同步数据的量是否小于预设值,在所述 剩余的待同步数据的量小于预设值时,将所述第一服务器的写请求同步到所述第二服务 器,以实现第二服务器与所述第一服务器数据的同步。
  16. 16
    19. 如权利要求18所述的系统,其特征在于,所述第一服务器具体用于,在剩余的待同 步数据的量小于预设值时,暂停写请求,并在剩余的待同步数据全部发送给所述第二服务 器后或者所述剩余的待同步数据全部被所述第二服务器获取后,接收写请求,同时将所述 第一服务器的写请求同步到所述第二服务器。
  17. 17
    20. 如权利要求18所述的系统,其特征在于,所述第一服务器具体用于,在剩余的待 同步数据的量小于预设值时,将所述剩余的待同步数据发送给所述第二服务器的同时或者 所述剩余的待同步数据被所述第二服务器获取的同时,将所述第一服务器的写请求同步到 所述第二服务器。
  18. 18
    21. 如权利要求18所述的系统,其特征在于,所述第一服务器还用于,将所述发送数据 同步请求信息的第一服务器的信息存储至预设的信息表,周期性的检测所述信息表,在所 述请求信息表中存在多个第二服务器发送的数据同步请求信息时,根据预设的选择条件从 所述多个第二服务器中选择一个服务器用于数据同步。
  19. 19
    22. 如权利要求21所述的系统,其特征在于,所述预设的选择条件包括所述发送数据 同步请求信息的第二服务器中待同步数据最少和/或历史数据同步过程中出错次数最少 的第二服务器。
  20. 20
    23. 如权利要求18所述的系统,其特征在于,所述第一服务器还设定有数据同步时间, 用于在数据同步的时间大于所设定的时间时,结束当前的数据同步过程。
  21. 21
    24. 如权利要求18所述的系统,其特征在于,所述系统还包括: 管理后台,用于获取各服务器的状态信息,并将所获取的状态信息分别发送给各服务 器,以使得各服务器根据所述状态信息确定各服务器的状态后发起数据同步请求,所述服 务器状态包括第一服务器和第二服务器,所述状态信息中包括各服务器存储的最新的数据 序列号以及各服务器的唯一标示符,所述数据序列号与所述唯一标示符存在映射关系,以 使得各服务器通过比较所述状态信息中各服务器的数据序列号大小确定自己的状态。
  22. 22
    25. 如权利要求24所述的系统,其特征在于,所述服务器的状态还包括第三服务器; 所述管理后台还用于,在所述第二服务器完成数据同步后,更新所述第二服务器的状 态信息,即将所述第二服务器的状态更新为所述第三服务器。
  23. 23
    26. 如权利要求18-25任一项所述的系统,其特征在于,所述数据为元数 据; 所述第一服务器用于向所述第二服务器发送待同步的操作日志和/或待同步的合并 后的元数据。
  24. 24
    27. 一种服务器,其特征在于,所述服务器包括: 信息接收单元,用于接收第二服务器发送的数据同步请求信息; 第一信息发送单元,用于向所述第二服务器发送待同步的数据或者待同步的数据列 表,以使得所述第二服务器接收所述信息发送单元发送的待同步数据,或者根据所述信息 发送单元发送的待同步的数据列表从该服务器获取相应的待同步数据; 同步单元,用于判断剩余的待同步数据的量是否小于预设值,在所述剩余的待同步数 据的量小于预设值时,将该服务器的写请求同步到所述第二服务器,以实现第二服务器与 该服务器数据的同步。 2&如权利要求27所述的服务器,其特征在于,所述同步单元具体用于,暂停写请求, 并在剩余的待同步数据全部发送给所述第二服务器后或者所述剩余的待同步数据全部被 所述第二服务器获取后,接收写请求,同时将该服务器的写请求同步到所述第二服务器。
  25. 25
    29. 如权利要求27所述的服务器,其特征在于,所述同步单元具体用于,在发送所述剩 余的待同步数据的同时或者所述剩余的待同步数据被所述第二服务器获取的同时,将该服 务器的写请求同步到所述第二服务器。
  26. 26
    30. 如权利要求27所述的服务器,其特征在于,所述服务器还包括: 存储单元,用于将所述发送数据同步请求信息的第二服务器的信息存储至预设的信息 表; 选择单元,用于周期性的检测所述存储单元存储的信息表,在所述请求信息表中存在 多个第二服务器发送的数据同步请求信息时,根据预设的选择条件从所述多个第二服务器 中选择一个服务器用于数据同步。
  27. 27
    31. 如权利要求30所述的服务器,其特征在于,所述预设的选择条件包括所述发送数 据同步请求信息的第二服务器中待同步数据最少和/或历史数据同步过程中出错次数最 少的第二服务器。
  28. 28
    32. 如权利要求27所述的服务器,其特征在于,所述服务器还包括: 控制单元,用于设定数据同步时间,在数据同步的时间大于预设时间值时,结束当前的 数据同步过程。
  29. 29
    33. 如权利要求27-32任一项所述的服务器,其特征在于,所述数据为元数据; 所述同步单元具体用于,向所述第二服务器发送待同步的操作日志和/或待同步的合 并后的元数据。
  30. 30
    34. 一种服务器,其特征在于,所述服务器包括: 第二信息发送单元,用于向第一服务器发送数据同步请求信息,以使得所述第一服务 器在接收到所述数据同步请求信息后,向该服务器发送待同步的数据或者待同步的数据列 表; 信息接收单元,用于接收所述第一服务器发送的待同步数据,或者根据所述第一服务 器发送的待同步的数据列表从所述第一服务器获取相应的待同步数据,并在剩余的待同步 数据的量小于预设值时,接收所述第一服务器的写请求,以实现该服务器与所述第一服务 器数据的同步。 35.如权利要求34所述的服务器,其特征在于,所述数据为元数据。
Independent claims30