图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 云技术学习 › Openstack源代码分析之PasteDeploy+Webob实例以及PasteD ...
分享

Openstack源代码分析之PasteDeploy+Webob实例以及PasteDeploy+Webob+Routes分析

hochikong 发表于 2014-7-27 11:24:55 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 25800
About云VIP帮助找工作和提升
问题导读：
1.什么是WSGI？
2.什么是WebOb？
3.在keystone处理时，如何实现路径映射（Routes）？








通过PasteDeploy+Webob来配置WSGI服务器接口：

Webob是一种封装了HTTP协议的模块，具体课参考官方文档，不过这两天不知为什么不能访问，我是直接下载的源代码，源代码下docs自带本地文档，可以通过sphnix-builder的命令来生成本地文档

测试了两种方案：

一种是不使用Webob装饰器的方式

一种是使用Webob装饰器的方式

配置文件如下test-deploy.ini：


  1. [DEFAULT]

  2. key1=value1

  3. key2=value2

  4. key3=values

  5. 

  6. [composite:main]

  7. use=egg:Paste#urlmap

  8. /=show

  9. /auther=auther

  10. /version=version

  11. 

  12. [pipeline:show]

  13. pipeline = auth root

  14. 

  15. [pipeline:version]

  16. pipeline = logrequest showversion

  17. 

  18. [pipeline:auther]

  19. pipeline = logrequest showauther

  20. 

  21. [filter:logrequest]

  22. username = root

  23. password = 123

  24. paste.filter_factory = test.testdeploy:log_factory

  25. 

  26. [app:showversion]

  27. version = 1.0.0

  28. paste.app_factory = test.testdeploy:version_factory

  29. 

  30. [app:showauther]

  31. auther = bluefire1991

  32. paste.app_factory = test.testdeploy:showauther_factory

  33. 

  34. [app:root]

  35. paste.app_factory = test.testdeploy:show_factory

  36.     

  37. [filter:auth]  

  38. paste.filter_factory = test.testdeploy:filter_factory</font></font>
复制代码
配置方案用的类似openstack实现的配置方案，paste.xxx_factory和pipeline的方式实现配置，不过路径的配置openstack源代码实现的是用Routes实现RESTful的功能，这里没有用Routes直接在ini文件下配置的路径。为什么这样配置可以参考我的上一篇博客。


代码文件testdeploy.py：


  1. Created on 2013-10-28

  2. 

  3. @author: root

  4. '''

  5. 

  6. import logging

  7. import os

  8. import sys

  9. import webob

  10. from webob import Request

  11. from webob import Response

  12. from webob.dec import *

  13. from webob.exc import *

  14. 

  15. from paste.deploy import loadapp

  16. from wsgiref.simple_server import make_server

  17. import signal

  18. 

  19. def sigint_handler(signal, frame):

  20.     """Exits at SIGINT signal."""

  21.     logging.debug('SIGINT received, stopping servers.')

  22.     sys.exit(0)

  23. 

  24. #用于封装app   

  25. @wsgify

  26. def test(request):  

  27.     return Response('Here!')

  28. 

  29. #用于封装app

  30. @wsgify

  31. def application(request):  

  32.     return Response('Hello and Welcome!')

  33. 

  34. #wsgify.middleware用于wsgi的对外filter层，必须要两个参数，request对象和app对象，app用于向下一个filter或者app传递参数

  35. @wsgify.middleware

  36. def auth_filter(request, app):  

  37.     if request.headers.get('X-Auth-Token') != 'bluefire1991':

  38.         #类似于在这里写了start_response和return函数，只不过这里由webob的Request对象封装好了，本来test是一个函数对象，调用需要test(req),

  39.         #通过装饰器@wsgi直接变成一个对象，参数在装饰器内部实现wsgify(test)

  40.         return test

  41.     return app(request)

  42. 

  43. #app_factory

  44. def show_factory(global_conf,**local_conf):

  45.     return application

  46. 

  47. #app_factory

  48. def version_factory(global_conf,**local_conf):

  49.         return ShowVersion(global_conf,local_conf)

  50. 

  51. #app_fatory

  52. def showauther_factory(global_conf,**local_conf):

  53.         return ShowAuther(global_conf,local_conf)

  54. 

  55. #filter_factory

  56. def filter_factory(global_conf, **local_conf):  

  57.     return auth_filter

  58. 

  59. #filter_factory

  60. def log_factory(global_conf,**local_conf):

  61.     def filter(app):

  62.         return LogFilter(app,global_conf,local_conf)

  63.     return filter

  64. 

  65. 

  66. class LogFilter():

  67.     def __init__(self,app,global_conf,local_conf):

  68.         self.app = app

  69.         self.global_conf=global_conf

  70.         self.local_conf=local_conf

  71.         

  72.     def __call__(self,environ,start_response):

  73.         print "filter:LogFilter is called."

  74.         req = Request(environ)

  75.         if req.GET.get("username", "")==self.local_conf['username'] and req.GET.get("password", "")==self.local_conf['password']:

  76.             return self.app(environ,start_response)

  77.         start_response("200 OK",[("Content-type", "text/plain")])

  78.         return ["You are not authorized"]

  79. 

  80. class ShowVersion():

  81.     def __init__(self,global_conf,local_conf):

  82.         self.global_conf=global_conf

  83.         self.local_conf=local_conf

  84.         

  85.     def __call__(self,environ,start_response):

  86.         start_response("200 OK",[("Content-type", "text/plain")])

  87.         return ['Version',self.local_conf['version']]

  88. 

  89. class ShowAuther():

  90.     def __init__(self,global_conf,local_conf):

  91.         self.global_conf=global_conf

  92.         self.local_conf=local_conf        

  93.     

  94.     def __call__(self,environ,start_response):

  95.         res = Response()

  96.         res.status = "200 OK"

  97.         res.content_type = "text/plain"

  98.         # get operands

  99.         res.body = ["auther",self.local_conf['auther']]

  100.         return res

  101. 

  102. if __name__ == '__main__':

  103.     signal.signal(signal.SIGINT, sigint_handler)

  104.     configfile="test-deploy.ini"

  105.     appname="main"

  106.     wsgi_app = loadapp("config:%s" % os.path.abspath(configfile), appname)

  107.     server = make_server('localhost',8088,wsgi_app)

  108.     server.serve_forever()

  109.     pass</font></font>
复制代码
由代码和配置文件分析，配置文件有三个路径，/,/auther,/version,/的实现路径是filter_factory（auth_filter）->show_factory（application）,/auther和/version的实现方案是由log_factory（LogFilter）->showauther_factory（ShowAuther.__call___）和version_factory（ShowVersion.__call__）,/路径的方案都是直接通过wsgi的装饰器实现的，/verison是python原生的start_response方案实现的，/auther是利用webob封装的Response对象实现的。

但是到openstack这里有一个问题，在keystone处理时，有多个路径，不可能都放在ini里面配置（而且里面也没有），那这么多路径他是怎么实现的呢？

源代码说明，他用了Routes，来实现路径映射功能，官方文档地址是Routes官方文档。

先放几段Openstack的关键源代码，他在xxx_factory（都很类似）实现的代码如下：


  1. @fail_gracefully

  2. def public_app_factory(global_conf, **local_conf):

  3.     controllers.register_version('v2.0')

  4.     conf = global_conf.copy()

  5.     conf.update(local_conf)

  6.     return wsgi.ComposingRouter(routes.Mapper(),

  7.                                 [identity.routers.Public(),

  8.                                  token.routers.Router(),

  9.                                  routers.VersionV2('public'),

  10.                                  routers.Extension(False)])</font></font>
复制代码
实现了一个ComposingRouter对象，其中router.Mapper()基于创建了一个路由对象，通过这个就可以实现映射，ComposingRoute类实现

  1. class ComposingRouter(Router):

  2.     def __init__(self, mapper=None, routers=None):

  3.         if mapper is None:

  4.             mapper = routes.Mapper()

  5.         if routers is None:

  6.             routers = []

  7.         for router in routers:

  8.             router.add_routes(mapper)

  9.         super(ComposingRouter, self).__init__(mapper)</font></font>
复制代码
可见创建了mapper对象，调用[]里面所有对象（identity.routers.Public())下的add_routers方法，再跟进add_routers方法看看，以identity.routers.Public()为例

  1. class Public(wsgi.ComposableRouter):

  2.     def add_routes(self, mapper):

  3.         tenant_controller = controllers.Tenant()

  4.         mapper.connect('/tenants',

  5.                        controller=tenant_controller,

  6.                        action='get_projects_for_token',

  7.                        conditions=dict(method=['GET']))</font></font>
复制代码
可见，他用mapper.connect生成了一个路径/tenants,访问方式必须为GET，调用函数为tenant_controller(controller.Tenant()对象)下get_projects_for_token函数。如下

  1. class Tenant(controller.V2Controller):

  2.     def get_all_projects(self, context, **kw):

  3.         """Gets a list of all tenants for an admin user."""

  4.         if 'name' in context['query_string']:

  5.             return self.get_project_by_name(

  6.                 context, context['query_string'].get('name'))

  7. 

  8.         self.assert_admin(context)

  9.         tenant_refs = self.identity_api.list_projects()

  10.         for tenant_ref in tenant_refs:

  11.             tenant_ref = self.filter_domain_id(tenant_ref)

  12.         params = {

  13.             'limit': context['query_string'].get('limit'),

  14.             'marker': context['query_string'].get('marker'),

  15.         }

  16.         return self._format_project_list(tenant_refs, **params)

  17. 

  18.     def get_projects_for_token(self, context, **kw):

  19.         """Get valid tenants for token based on token used to authenticate.

  20. 

  21.         Pulls the token from the context, validates it and gets the valid

  22.         tenants for the user in the token.

  23. 

  24.         Doesn't care about token scopedness.

  25. 

  26.         """

  27.         try:

  28.             token_ref = self.token_api.get_token(context['token_id'])

  29.         except exception.NotFound as e:

  30.             LOG.warning('Authentication failed: %s' % e)

  31.             raise exception.Unauthorized(e)

  32. 

  33.         user_ref = token_ref['user']

  34.         tenant_refs = (

  35.             self.assignment_api.list_projects_for_user(user_ref['id']))

  36.         tenant_refs = [self.filter_domain_id(ref) for ref in tenant_refs

  37.                        if ref['domain_id'] == DEFAULT_DOMAIN_ID]

  38.         params = {

  39.             'limit': context['query_string'].get('limit'),

  40.             'marker': context['query_string'].get('marker'),

  41.         }

  42.         return self._format_project_list(tenant_refs, **params)</font></font>
复制代码
这时又有两个疑问产生了：

1.paste_factory的对象不是用webob来封装的HTTP服务吗，我在get_projects_for_token函数下没看见啊？

2.mapper.connect()配置完成后为什么就能实现映射了呢？

问题1.我的理解：

Tenant的基类是V2Controller，V2Controller的基类是class V2Controller(wsgi.Application)，而在wsgi.Application类中实现如下


  1. class Application(BaseApplication):

  2.     @webob.dec.wsgify(RequestClass=Request)

  3.     def __call__(self, req):

  4.         arg_dict = req.environ['wsgiorg.routing_args'][1]

  5.         action = arg_dict.pop('action')

  6.         del arg_dict['controller']

  7.         LOG.debug(_('arg_dict: %s'), arg_dict)

  8. 

  9.         # allow middleware up the stack to provide context, params and headers.

  10.         context = req.environ.get(CONTEXT_ENV, {})

  11.         context['query_string'] = dict(req.params.iteritems())

  12.         context['headers'] = dict(req.headers.iteritems())

  13.         context['path'] = req.environ['PATH_INFO']

  14.         params = req.environ.get(PARAMS_ENV, {})

  15. 

  16.         for name in ['REMOTE_USER', 'AUTH_TYPE']:

  17.             try:

  18.                 context[name] = req.environ[name]

  19.             except KeyError:

  20.                 try:

  21.                     del context[name]

  22.                 except KeyError:

  23.                     pass

  24. 

  25.         params.update(arg_dict)

  26. 

  27.         context.setdefault('is_admin', False)

  28. 

  29.         # TODO(termie): do some basic normalization on methods

  30.         method = getattr(self, action)

  31. 

  32.         # NOTE(vish): make sure we have no unicode keys for py2.6.

  33.         params = self._normalize_dict(params)

  34. 

  35.         try:

  36.             result = method(context, **params)

  37.         except exception.Unauthorized as e:

  38.             LOG.warning(

  39.                 _('Authorization failed. %(exception)s from %(remote_addr)s') %

  40.                 {'exception': e, 'remote_addr': req.environ['REMOTE_ADDR']})

  41.             return render_exception(e, user_locale=req.best_match_language())

  42.         except exception.Error as e:

  43.             LOG.warning(e)

  44.             return render_exception(e, user_locale=req.best_match_language())

  45.         except TypeError as e:

  46.             LOG.exception(e)

  47.             return render_exception(exception.ValidationError(e),

  48.                                     user_locale=req.best_match_language())

  49.         except Exception as e:

  50.             LOG.exception(e)

  51.             return render_exception(exception.UnexpectedError(exception=e),

  52.                                     user_locale=req.best_match_language())

  53. 

  54.         if result is None:

  55.             return render_response(status=(204, 'No Content'))

  56.         elif isinstance(result, basestring):

  57.             return result

  58.         elif isinstance(result, webob.Response):

  59.             return result

  60.         elif isinstance(result, webob.exc.WSGIHTTPException):

  61.             return result

  62. 

  63.         response_code = self._get_response_code(req)

  64.         return render_response(body=result, status=response_code)</font></font>
复制代码
终于看到了久违的wsgi了，那我怎么在调用对象时候，调用我需要的函数呢，代码很清楚

  1.         method = getattr(self, action)

  2. 

  3.         # NOTE(vish): make sure we have no unicode keys for py2.6.

  4.         params = self._normalize_dict(params)

  5. 

  6.         try:

  7.             result = method(context, **params)</font></font>
复制代码
getattr里action就是我们上面的需要的函数，在这里调用，再通过render_response(body=result, status=response_code)，render_response是自己的http返回函数。问题到这里应该能得到解答（？）

问题2，我的理解：

跟到class ComposingRouter(Router)的基类Router

  1. class Router(object):

  2.     """WSGI middleware that maps incoming requests to WSGI apps."""

  3. 

  4.     def __init__(self, mapper):

  5.         """Create a router for the given routes.Mapper.

  6. 

  7.         Each route in `mapper` must specify a 'controller', which is a

  8.         WSGI app to call.  You'll probably want to specify an 'action' as

  9.         well and have your controller be an object that can route

  10.         the request to the action-specific method.

  11. 

  12.         Examples:

  13.           mapper = routes.Mapper()

  14.           sc = ServerController()

  15. 

  16.           # Explicit mapping of one route to a controller+action

  17.           mapper.connect(None, '/svrlist', controller=sc, action='list')

  18. 

  19.           # Actions are all implicitly defined

  20.           mapper.resource('server', 'servers', controller=sc)

  21. 

  22.           # Pointing to an arbitrary WSGI app.  You can specify the

  23.           # {path_info:.*} parameter so the target app can be handed just that

  24.           # section of the URL.

  25.           mapper.connect(None, '/v1.0/{path_info:.*}', controller=BlogApp())

  26. 

  27.         """

  28.         # if we're only running in debug, bump routes' internal logging up a

  29.         # notch, as it's very spammy

  30.         if CONF.debug:

  31.             logging.getLogger('routes.middleware')

  32. 

  33.         self.map = mapper

  34.         self._router = routes.middleware.RoutesMiddleware(self._dispatch,

  35.                                                           self.map)

  36. 

  37.     @webob.dec.wsgify(RequestClass=Request)

  38.     def __call__(self, req):

  39.         """Route the incoming request to a controller based on self.map.

  40. 

  41.         If no match, return a 404.

  42. 

  43.         """

  44.         return self._router

  45. 

  46.     @staticmethod

  47.     @webob.dec.wsgify(RequestClass=Request)

  48.     def _dispatch(req):

  49.         """Dispatch the request to the appropriate controller.

  50. 

  51.         Called by self._router after matching the incoming request to a route

  52.         and putting the information into req.environ.  Either returns 404

  53.         or the routed WSGI app's response.

  54. 

  55.         """

  56.         match = req.environ['wsgiorg.routing_args'][1]

  57.         if not match:

  58.             return render_exception(

  59.                 exception.NotFound(_('The resource could not be found.')),

  60.                 user_locale=req.best_match_language())

  61.         app = match['controller']

  62.         return app
复制代码
根据Router基类下routes对象自己的实现机制__dispatch和map实现对请求路径匹配，在找到路径后根据routes机制即可映射wsgi服务（怎么实现的？routes官方文档没有搜索到）。问题2应该能得到解答（？）


疑惑的部分：

1.routes的机制到底怎么实现routes到webob的映射，我是看到一篇别人的博客才找到思路，一会转载到我的收藏夹


地址：http://blog.csdn.net/spch2008/article/details/9005885



#######################################################################################
本文转自：http://blog.csdn.net/bluefire1991/article/details/13614243


参考资料及文献：
1.Web服务器网关接口（Python Web Server Gateway Interface，缩写为WSGI）：
http://zh.wikipedia.org/zh/Web%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%BD%91%E5%85%B3%E6%8E%A5%E5%8F%A3
2.paste.deploy学习：
http://blog.chinaunix.net/uid-22400280-id-3281767.html
3.PasteDeployment官方手册：
http://pythonpaste.org/deploy/index.html
4.Python.Paste指南之Deploy(1)-概念：
http://wanglianghuaihua.blog.163.com/blog/static/5425153120138273471531/
5.Openstack源代码分析之paste.deploy：
http://blog.csdn.net/bluefire1991/article/details/13289485










欢迎加入about云群90371779 、322273151、39327136 ，云计算爱好者群，亦可关注about云腾讯认证空间||关注本站微信
回复

使用道具 举报

自定义广告语

没找到任何评论，期待你打破沉寂

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
hochikong

高级会员

关注

  • 78

    主题

  • 120

    帖子

  • 21

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000