分享

Swift源码分析----swift-account-audit(1)

tntzbzc 发表于 2014-11-20 15:35:00 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 13483
本帖最后由 pig2 于 2014-11-21 15:15 编辑
问题导读

1、如何获取类Auditor的实例化对象?
2、怎样指定object的审计验证呢?
3、如何获取指定name对象的所有副本的相关节点和分区号?





概述部分:
这个脚本实现命令行指定账户或容器或对象的审计验证操作;
根据具体参数情况实现操作:
    指定object的审计验证;
    指定container的审计验证,并实现递归验证container下每个object;
    指定account的审计验证,并实现递归验证account下每个container,并且进一步实现递归验证container下每个object;
  1. Examples:
  2.     /usr/bin/swift-account-audit SOSO_88ad0b83-b2c5-4fa1-b2d6-60c597202076
  3.     /usr/bin/swift-account-audit SOSO_88ad0b83-b2c5-4fa1-b2d6-60c597202076/container/object
  4.     /usr/bin/swift-account-audit -e errors.txt SOSO_88ad0b83-b2c5-4fa1-b2d6-60c597202076/container
  5.     /usr/bin/swift-account-audit
复制代码


源码解析部分:
  1. if __name__ == '__main__':
  2.     try:
  3.         optlist, args = getopt.getopt(sys.argv[1:], 'c:r:e:d')
  4.     except getopt.GetoptError as err:
  5.         print str(err)
  6.         print usage
  7.         sys.exit(2)
  8.     if not args and os.isatty(sys.stdin.fileno()):
  9.         print usage
  10.         sys.exit()
  11.     opts = dict(optlist)
  12.     options = {
  13.         'concurrency': int(opts.get('-c', 50)),
  14.         'error_file': opts.get('-e', None),
  15.         'swift_dir': opts.get('-r', '/etc/swift'),
  16.         'deep': '-d' in opts,
  17.     }
  18.     auditor = Auditor(**options)
  19.     if not os.isatty(sys.stdin.fileno()):
  20.         args = chain(args, sys.stdin)
  21.    
  22.      # 这个循环说明可以在一个命令行中同时进行多个目标的审计验证操作;
  23.     for path in args:
  24.         path = '/' + path.rstrip('\r\n').lstrip('/')
  25.           # 根据具体参数情况实现操作:
  26.           # 指定object的审计验证;
  27.           # 指定container的审计验证,并实现递归验证container下每个object;
  28.           # 指定account的审计验证,并实现递归验证account下每个container,并且进一步实现递归验证container下每个object;
  29.         auditor.audit(*split_path(path, 1, 3, True))
  30.     auditor.wait()
  31.     auditor.print_stats()1.命令行选项处理;
复制代码

2.获取类Auditor的实例化对象;
3.auditor.audit(*split_path(path, 1, 3, True))根据命令行中account/container/object参数的不同情况,调用不同的方法,实现account/container/object的审计操作;
4.输出审计结果;
转到3,来看方法audit:
  1. def audit(self, account, container=None, obj=None):
  2.         """
  3.         根据具体参数情况实现操作:
  4.         指定object的审计验证;
  5.         指定container的审计验证,并实现递归验证container下每个object;
  6.         指定account的审计验证,并实现递归验证account下每个container,并且进一步实现递归验证container下每个object;
  7.         """
  8.         # 指定object的审计验证;
  9.         if obj and container:
  10.             self.pool.spawn_n(self.audit_object, account, container, obj)
  11.         # 指定container的审计验证,并实现递归验证container下每个object;
  12.         elif container:
  13.             self.pool.spawn_n(self.audit_container, account, container, True)
  14.         # 指定account的审计验证,并实现递归验证account下每个container,并且进一步实现递归验证container下每个object;
  15.         else:
  16.             self.pool.spawn_n(self.audit_account, account, True)3.1 audit_object方法实现指定object的审计验证;
复制代码

3.2 audit_container方法实现指定指定container的审计验证,并实现递归验证container下每个object;
3.3 audit_account方法实现指定account的审计验证,并实现递归验证account下每个container,并且进一步实现递归验证container下每个object;

转到3.1,来看方法audit_object的实现:
  1. def audit_object(self, account, container, name):
  2.         """
  3.         指定object的审计验证;
  4.         """
  5.       # 获取指定account和container下的对象具体路径;
  6.       path = '/%s/%s/%s' % (account, container, name)
  7.         
  8.       # 获取指定name对象的所有副本的相关节点和分区号;
  9.       # 获取account/container/object所对应的分区号和节点(可能是多个,因为分区副本有多个,可能位于不同的节点上);
  10.       # 返回元组(分区,节点信息列表);
  11.       # 在节点信息列表中至少包含id、weight、zone、ip、port、device、meta;
  12.       part, nodes = self.object_ring.get_nodes(account, container.encode('utf-8'), name.encode('utf-8'))
  13.         
  14.       # 获取指定account和container下的对象列表;
  15.       container_listing = self.audit_container(account, container)
  16.       consistent = True
  17.       if name not in container_listing:
  18.           print "  Object %s missing in container listing!" % path
  19.           consistent = False
  20.           hash = None
  21.       else:
  22.           hash = container_listing[name]['hash']
  23.         
  24.       etags = []
  25.         
  26.       #查询每个节点上指定part的信息;
  27.       for node in nodes:
  28.           try:
  29.               if self.deep:
  30.                   # 获取到服务的连接;
  31.                   conn = http_connect(node['ip'], node['port'], node['device'], part, 'GET', path, {})
  32.                   resp = conn.getresponse()
  33.                   calc_hash = md5()
  34.                   chunk = True
  35.                   while chunk:
  36.                       chunk = resp.read(8192)
  37.                       calc_hash.update(chunk)
  38.                   calc_hash = calc_hash.hexdigest()
  39.                   if resp.status // 100 != 2:
  40.                       self.object_not_found += 1
  41.                       consistent = False
  42.                       print '  Bad status GETting object "%s" on %s/%s' % (path, node['ip'], node['device'])
  43.                       continue
  44.                   if resp.getheader('ETag').strip('"') != calc_hash:
  45.                       self.object_checksum_mismatch += 1
  46.                       consistent = False
  47.                       print '  MD5 does not match etag for "%s" on %s/%s' % (path, node['ip'], node['device'])
  48.                   etags.append(resp.getheader('ETag'))
  49.               else:
  50.                   conn = http_connect(node['ip'], node['port'],
  51.                                       node['device'], part, 'HEAD',
  52.                                       path.encode('utf-8'), {})
  53.                   resp = conn.getresponse()
  54.                   if resp.status // 100 != 2:
  55.                       self.object_not_found += 1
  56.                       consistent = False
  57.                       print '  Bad status HEADing object "%s" on %s/%s' % (path, node['ip'], node['device'])
  58.                       continue
  59.                   etags.append(resp.getheader('ETag'))
  60.           except Exception:
  61.               self.object_exceptions += 1
  62.               consistent = False
  63.               print '  Exception fetching object "%s" on %s/%s' % (path, node['ip'], node['device'])
  64.               continue
  65.       if not etags:
  66.           consistent = False
  67.           print "  Failed fo fetch object %s at all!" % path
  68.       elif hash:
  69.           for etag in etags:
  70.               if resp.getheader('ETag').strip('"') != hash:
  71.                   consistent = False
  72.                   self.object_checksum_mismatch += 1
  73.                   print '  ETag mismatch for "%s" on %s/%s' % (path, node['ip'], node['device'])
  74.       if not consistent and self.error_file:
  75.           print >>open(self.error_file, 'a'), path
  76.       self.objects_checked += 13.1.1 获取指定account和container下的对象具体路径;
复制代码

3.1.2 获取指定name对象的所有副本的相关节点和分区号;
3.1.3 调用方法audit_container实现获取指定account和container下的对象列表,验证当前指定对象是否包含其中;如果确实包含其中,获取对象的hash值;
3.1.4 针对对象的所有副本相关节点,进行遍历,对于每个节点执行以下操作:
(1)如果deep值为True,说明进行深度验证,则通过HTTP应用GET方法远程获取节点的验证响应信息,首先通过响应信息的状态值,判断远程副本对象节点是否存在,再通过比较远程副本对象的ETag和MD5哈希值,判断远程副本对象是否有效;
(2)如果deep值为False,说明不进行深度验证,则通过HTTP应用HEAD方法远程获取节点的响应头信息,通过响应信息的状态值,判断远程副本对象节点是否存在;
3.1.5 比较本地对象的哈希值和各个远程副本对象的ETag,以判断远程副本对象是否有效;
本想把内容都写在一篇博客中,但是几次下来发现篇幅太长真的难以维护格式,所以只能分开多篇来实现了!


下一篇:
Swift源码分析----swift-account-audit(2)


没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条