openstack之pbr的使用

发表于   |   分类于   |   热度 ℃

努力和上进，不是为了做给别人看，是为了不辜负自己，不辜负此生。

pbr库是一个使用统一方式管理setuptools包的库。pbr库通过一个setup钩子函数读取并过滤setup.cfg中的数据，以填充默认值并提供更多合理的操作；然后将结果作为参数返回给setup.py。因此，处理Python包安装的大量繁重工作仍然交给setuptools包处理，pbr只为setuptools读取和过滤所需要的参数即可。需要注意的是，pbr并不支持setuptools的easy_install功能，尽管pbr依赖setup_requires，但对于install_requires还是需要手动或使用pip进行安装。本文将详细分析pbr的实现原理和使用方法。

pbr的使用场景

目前，pbr可以实现很多功能，主要包括以下几个方面：

  • version：基于git的修订版本和标签来管理版本号；
  • AUTHORS：从git log命令生成AUTHORS文件；
  • ChangeLog：从git log命令生成ChangeLog文件；
  • Manifest：从git文件和一些标准文件中生成一个合理的Manifest清单；
  • Sphinx Autodoc：为整个模块生成autodoc存根文件；
  • Requirements：将依赖库保存在一个pip的requirements文件中；
  • long_description：使用README文件作为一个库的描述信息；
  • Smart find_packages：在根目录下智能找到相应的软件包。

pbr的实现原理

hook的实现

本文开始介绍pbr会通过一个setup钩子函数读取并过滤setup.cfg文件中的数据，因此本文首先就来介绍一下pbr的hook函数的实现。pbr的hook函数的实现都放在pbr.hooks中，首先pbr创建了一个配置基类BaseConfig，该类中首先定义了一个钩子方法hook()的空实现，然后定义了一个save()方法保存配置信息，最后定义了一个模板方法run()。在这个模板方法中，首先调用hook()方法过滤读取到的配置信息，然后调用save()方法保存过滤后的配置信息。因此，在实现具体的配置实体时，需要重写hook()和save()方法。而pbr的hook函数的实现主要包括以下几个：

  • MetadataConfig类：该类获取setup.cfg文件中section为metadata的配置信息，即获取待安装的包的元数据，包括其名称、版本、描述等信息；
  • CommandsConfig类：该类获取setup.cfg文件中section为global的配置信息，即获取一些安装命令对应的程序；
  • FilesConfig类：该类获取setup.cfg文件中section为files的配置信息，即获取对应的包与配置文件路径等；
  • BackwardsCompatConfig类：该类获取setup.cfg文件中section为backwards_compat的配置信息，即获取依赖相关的配置信息。

为了使用这些钩子函数获取对应的配置信息，pbr在pbr.hooks模块下定义了setup_hooks()方法调用了上述这些钩子函数。

1
2
3
4
5
6
7
8
9
10
11
12
13
from pbr.hooks import backwards
from pbr.hooks import commands
from pbr.hooks import files
from pbr.hooks import metadata
 
 
def setup_hook(config):
    """Filter config parsed from a setup.cfg to inject our defaults."""
    metadata_config = metadata.MetadataConfig(config)
    metadata_config.run()
    backwards.BackwardsCompatConfig(config).run()
    commands.CommandsConfig(config).run()
    files.FilesConfig(config, metadata_config.get_name()).run()

pbr的实现

上面介绍了pbr中定义的钩子函数，接下来将会结合钩子函数讨论pbr的实现。使用pbr安装包的实现主要放在pbr.core模块中，在该模块中主要定义了一个pbr(dist, attr, value)方法来获取安装时所需要的参数。在使用中，除了setup_requires外，pbr方法应该是setup()方法的唯一参数。该方法首先获取setup.cfg文件的路径，然后会调用pbr.util模块中的cfg_to_args(path=’setup.cfg’, script_args=())方法获取setuptools所需的配置参数。

cfg_to_args(path=’setup.cfg’, script_args=())方法则是通过配置的setup_hooks()方法读取setup.cfg文件中的配置信息，除了使用hook函数外，该方法还对一些可选配置项进行了读取，如entry_endpoints等，然后将结果作为参数返回给setup()方法进行软件包安装操作。

当然，除了实现pbr功能外，针对第1节中提到的使用场景，pbr库都有相应的实现，在此不再作过多分析，感兴趣的朋友可以参考 pbr官方文档。

pbr的使用

pbr的实现非常简单，这里以nova组件的setup为例简单介绍一下pbr的使用。通过上述分析，我们知道使用pbr，首先需要一个setup.cfg配置文件，nova组件的setup.cfg配置文件内容如下所示：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
[metadata]
name = nova
summary = Cloud computing fabric controller
description-file =
    README.rst
author = OpenStack
author-email = openstack-dev@lists.openstack.org
home-page = https://docs.openstack.org/nova/latest/
classifier =
    Environment :: OpenStack
    Intended Audience :: Information Technology
    Intended Audience :: System Administrators
    License :: OSI Approved :: Apache Software License
    Operating System :: POSIX :: Linux
    Programming Language :: Python
    Programming Language :: Python :: 2
    Programming Language :: Python :: 2.7
    Programming Language :: Python :: 3
    Programming Language :: Python :: 3.5
 
[global]
setup-hooks =
    pbr.hooks.setup_hook
 
[files]
data_files =
    etc/nova =
        etc/nova/api-paste.ini
        etc/nova/rootwrap.conf
    etc/nova/rootwrap.d = etc/nova/rootwrap.d/*
packages =
    nova
 
[entry_points]
oslo.config.opts =
    nova.conf = nova.conf.opts:list_opts
 
oslo.config.opts.defaults =
    nova.conf = nova.common.config:set_middleware_defaults
 
oslo.policy.enforcer =
    nova = nova.policy:get_enforcer
 
oslo.policy.policies =
    # The sample policies will be ordered by entry point and then by list
    # returned from that entry point. If more control is desired split out each
    # list_rules method into a separate entry point rather than using the
    # aggregate method.
    nova = nova.policies:list_rules
 
nova.compute.monitors.cpu =
    virt_driver = nova.compute.monitors.cpu.virt_driver:Monitor
 
console_scripts =
    nova-api = nova.cmd.api:main
    nova-api-metadata = nova.cmd.api_metadata:main
    nova-api-os-compute = nova.cmd.api_os_compute:main
    nova-cells = nova.cmd.cells:main
    nova-compute = nova.cmd.compute:main
    nova-conductor = nova.cmd.conductor:main
    nova-console = nova.cmd.console:main
    nova-consoleauth = nova.cmd.consoleauth:main
    nova-dhcpbridge = nova.cmd.dhcpbridge:main
    nova-manage = nova.cmd.manage:main
    nova-network = nova.cmd.network:main
    nova-novncproxy = nova.cmd.novncproxy:main
    nova-policy = nova.cmd.policy_check:main
    nova-rootwrap = oslo_rootwrap.cmd:main
    nova-rootwrap-daemon = oslo_rootwrap.cmd:daemon
    nova-scheduler = nova.cmd.scheduler:main
    nova-serialproxy = nova.cmd.serialproxy:main
    nova-spicehtml5proxy = nova.cmd.spicehtml5proxy:main
    nova-status = nova.cmd.status:main
    nova-xvpvncproxy = nova.cmd.xvpvncproxy:main
wsgi_scripts =
    nova-placement-api = nova.api.openstack.placement.wsgi:init_application
    nova-api-wsgi = nova.api.openstack.compute.wsgi:init_application
    nova-metadata-wsgi = nova.api.metadata.wsgi:init_application
 
nova.ipv6_backend =
    rfc2462 = nova.ipv6.rfc2462
    account_identifier = nova.ipv6.account_identifier
 
nova.scheduler.host_manager =
    host_manager = nova.scheduler.host_manager:HostManager
    ironic_host_manager = nova.scheduler.ironic_host_manager:IronicHostManager
 
nova.scheduler.driver =
    filter_scheduler = nova.scheduler.filter_scheduler:FilterScheduler
    caching_scheduler = nova.scheduler.caching_scheduler:CachingScheduler
    chance_scheduler = nova.scheduler.chance:ChanceScheduler
    fake_scheduler = nova.tests.unit.scheduler.fakes:FakeScheduler
 
[build_sphinx]
all_files = 1
build-dir = doc/build
source-dir = doc/source
warning-is-error = 1
 
[build_apiguide]
all_files = 1
build-dir = api-guide/build
source-dir = api-guide/source
 
[egg_info]
tag_build =
tag_date = 0
tag_svn_revision = 0
 
[compile_catalog]
directory = nova/locale
domain = nova
 
[update_catalog]
domain = nova
output_dir = nova/locale
input_file = nova/locale/nova.pot
 
[extract_messages]
keywords = _ gettext ngettext l_ lazy_gettext
mapping_file = babel.cfg
output_file = nova/locale/nova.pot
 
[wheel]
universal = 1
 
[extras]
osprofiler =
  osprofiler>=1.4.0 # Apache-2.0

接下来，只需要添加一个setup.py安装脚本即可。

1
2
3
4
5
6
7
8
9
10
11
12
13
import setuptools
 
# In python < 2.7.4, a lazy loading of package `pbr` will break
# setuptools if some other modules registered functions in `atexit`.
# solution from: http://bugs.python.org/issue15881#msg170215
try:
    import multiprocessing  # noqa
except ImportError:
    pass
 
setuptools.setup(
    setup_requires=['pbr>=2.0.0'],
    pbr=True)

在这个脚本中，主要调用了setuptools.setup()方法，需要注意的是，在这个方法中，设置了pbr=True的参数，这就是说在使用setuptools进行安装时，会调用pbr.pbr()方法通过hook函数获取setup.cfg中的配置参数。

最后执行如下命令就可以执行安装了：

1
python setup.py install
-------------本文结束 感谢您的阅读-------------
作者：Magiceses
有问题请 留言 或者私信我的 微博。
满分是10分的话，这篇文章你给几分