Python实现文件的全备份和差异备份

作者

之前有写利用md5方式来做差异备份，但是这种md5方式来写存在以下问题：

  • md5sum获取有些软连接的MD5值存在问题
  • 不支持对空目录进行备份，因为md5sum无法获取空目录的md5值
  • 权限的修改md5sum无法判断

解决方案：

利用文件的mtime ctime

mtime（Modified time）是在写入文件时随文件内容的更改而更改的

ctime（Create time）是在写入文件、更改所有者、权限或链接设置时随Inode的内容更改而更改的

废话不多说直接上代码：

  1. #!/usr/bin/env python
  2. import time,os,sys,cPickle
  4. fileInfo = {}
  6. def logger(time,fileName,status,fileNum):
  7.     f = open(‘backup.log’,’a’)
  8.     f.write(“%s\t%s\t%s\t\t%s\n” % (time,fileName,status,fileNum))
  10. def tar(sDir,dDir,fileNum):
  11.     command = “tar zcf %s %s >/dev/null 2>&1” % (dDir + “.tar.gz”,sDir)
  12.     if os.system(command) == 0:
  13.         logger(time.strftime(‘%F %X’),dDir + “.tar.gz”,’success’,fileNum)
  14.     else:
  15.         logger(time.strftime(‘%F %X’),dDir + “.tar.gz”,’failed’,fileNum)
  17. def fullBak(path):
  18.     fileNum = 0
  19.     for root,dirs,files in os.walk(path):
  20.         for name in files:
  21.             file = os.path.join(root, name)
  22.             mtime = os.path.getmtime(file)
  23.             ctime = os.path.getctime(file)
  24.             fileInfo[file] = (mtime,ctime)
  25.             fileNum += 1
  26.     f = open(P,’w’)
  27.     cPickle.dump(fileInfo,f)
  28.     f.close()
  29.     tar(S,D,fileNum)
  31. def diffBak(path):
  32.     for root,dirs,files in os.walk(path):
  33.         for name in files:
  34.             file = os.path.join(root,name)
  35.             mtime = os.path.getmtime(file)
  36.             ctime = os.path.getctime(file)
  37.             fileInfo[file] = (mtime,ctime)
  39.     if os.path.isfile(P) == 0:
  40.         f = open(P,’w’)
  41.         f.close()
  43.     if os.stat(P).st_size == 0:
  44.         f = open(P,’w’)
  45.         cPickle.dump(fileInfo,f)
  46.         fileNum = len(fileInfo.keys())
  47.         f.close()
  48.         print fileNum
  49.         tar(S,D,fileNum)
  50.     else:
  51.         f = open(P)
  52.         old_fileInfo = cPickle.load(f)
  53.         f.close()
  54.         difference = dict(set(fileInfo.items())^set(old_fileInfo.items()))
  55.         fileNum = len(difference)
  56.         print fileNum
  58.         difference_file = ‘ ‘.join(difference.keys())
  59.         print difference_file
  61.         tar(difference_file,D,fileNum)
  62.         f = open(P,’w’)
  63.         cPickle.dump(fileInfo,f)
  64.         f.close()
  66. def Usage():
  67.     print ”’
  68.         Syntax:  python file_bakcup.py pickle_file model source_dir filename_bk
  69.             model:  1:Full backup 2:Differential backup
  71.         example: python file_backup.py fileinfo.pk 2 /etc etc_$(date +%F)
  72.             explain:  Automatically add ‘.tar.gz’ suffix
  73.     ”’
  74.     sys.exit()
  76. if len(sys.argv) != 5:
  77.     Usage()
  79. P = sys.argv[1]
  80. M = int(sys.argv[2])
  81. S = sys.argv[3]
  82. D = sys.argv[4]
  84. if M == 1:
  85.     fullBak(S)
  86. elif M == 2:
  87.     diffBak(S)
  88. else:
  89.     print “\033[;31mDoes not support this mode\033[0m”
  90.     Usage()

测试：

  1. $ python file_backup.py data.pk 1 data data_$(date +%F) #全备份
  2. $ > data/www.linuxeye.com #测试创建文件，修改文件权限
  3. $ chmod 777 data/py/eshop_bk/data.db
  4. $ python file_backup.py data.pk 2 data data_$(date +%F)_1 #备份改变的文件
  5. 2
  6. data/py/eshop_bk/data.db data/www.linuxeye.com
Mon Oct 28 16:32:23 CST 2013

【AD】美国洛杉矶CN2 VPS/香港CN2 VPS/日本CN2 VPS推荐，延迟低、稳定性高、免费备份_搬瓦工vps

【AD】RackNerd 推出的 KVM VPS 特价优惠，在纽约、西雅图、圣何塞和阿什本每年仅需 12.88 美元！