六个步骤,封装你最爱的Python代码包!

全文共7134字,预计学习时长14分钟html

假设你很喜欢用同一段Python代码,里面有几个相关的小型函数,或者是含有几百行代码的中型模块。程序员可能会把它复制到不一样的项目或存储库中,或者从特别设置的实用工具代码文件夹中导入这段代码。python

这很正常。程序员在编写代码的过程当中都会不断积累这些个性化的小工具。相比其余编程语言来讲,Python更容易积累这些语句——这些代码很是实用。git

若是无需复制,就能够轻松导入本身开发的小工具,并进行更新和维护,岂不是更好吗?若是不依赖于特定的文件或路径,让这些代码在不一样的环境、机器和语境中都适用?若是能够将这些个性化工具版本化,并使相关代码清楚地反映出其依赖性呢?若是这个工具能为大众所用呢?程序员

没错,它均可以作到。github

固然,这个概念不是第一次提了。这就是一般在编程语言中使用模块、包和库的缘由,特别是在Python的开发环境中。它的实现可以使Python功能更增强大;只需简单的pip install 和 import就能得到BeautifulSoup的html解析功能或pandas的数据帧处理功能。面试

另外,人人均可以将本身的代码在PyPI上编写和发布(PyPI是Python包的官方索引:http://pypi.python.org/pypi),使它们与sklearn、requests或delorean(都是很是实用、流行的Python包)同样简单易得。如下是它的几点优点:django

· 即便只有不多人使用,共享本身的代码还是一件颇有趣的事;程序员能够在工做、社群活动或求职面试中分享并展现本身的劳动成果。编程

· 经过强制性地整理和记录代码,公开给同行进行评价,从而改进代码。flask

· 它还能弥补社群的不足。你会惊讶地发现,不少人会注意到你的序列化十分高效,好比将HTTP报头序列化到JSON。或者发现本身建立的用来验证输入MongoDB查询文档修饰符的工具备多么实用。数组

心动了吗?忘记那个旧的Python模块,开始制做小型Python包吧。


图1: Python dust

步骤一:命名

首先是命名。好的名字一般比较简短,便于在pip install 或 import 完成以后输入(尽管如今已经出现了“自动输入”);还要包含足够的信息便于理解,或者在安装完成后以后提示其中的内容。

requests负责处理HTTP请求、delorean负责日期和时间,sklearn负责提供机器学习框架,这些都是很好的例子。在为pandas管道包(因为pandas 一般以pd这样较短别名导入,故使用pdpipe:https://github.com/shaypal5/pdpipe)和缓存包(cachier:https://github.com/shaypal5/cachier)命名时,笔者也尝试过这些例子。

不过老实说,这些并非固守的规则。流行的Python包都有pandas、 keras、 django、 boto、 jinja、 flask 和 pytorch等名称,你们能记住这些名字,因此读者也可使用任何简短且可读的名称(例如,因为可读性问题,笔者将“Scikit-Learn Wrappers for FastText”缩写成了skift)。本文以chocobo为例。

步骤二:肯定代码包的基本结构

接下来,经过几个简短的步骤,制做一种通用的结构:

1.用代码包的准确名称建立一个Github存储库,不要使用驼峰式或过多的我的发挥。而后在本地进行复制。

2.在该存储库中新建一个文件夹,用代码包的准确名称命名;这就是保存代码包的文件夹。这是一种规范,只需记住外部的chocobo 文件夹(在本例中)就是存储库的文件夹,而内部的chocobo 文件夹是包的文件夹。

3.将本身的模块和涉及到的任何其余模块放在内部的chocobo文件夹中。若是存在缺失的部分,请添加__init__.py 文件。

4.将用户直接调用的重要对象(一般是函数)从各自的模块中导入至__init__.py文件。有了代码包的命名空间,就可使用这些函数、分类和变量了。若是愿意,也可使用代码包的API。

5.虽然不是强制规定,笔者强烈建议在代码包或在存储库的根目录中都应包含一个 .gitignore 文件。

示例:https://github.com/github/gitignore/blob/master/Python.gitignore

如今有了一个结构,能够添加不一样类型的文件组成代码包;内部文件夹保存的是包的代码,外部文件夹保存的是辅助包文件和其余与存储库相关的文件。

所以,初始模块chocobo.py以下所示:

"""My chocobo cooking script."""

import os

def chocobo_roast(num_guests, hotness_level):
    # amazing python code here复制代码

新建存储库文件夹以下所示:

chocobo/
    chocobo/
        __init__.py
        chocobo.py 
   .gitignore复制代码

__init__.py 文件应以下所示:

"""chocobo is a python package for delicious Chocobo recipes."""

from .chocobo import (
  chocobo_roast,
)复制代码

那么在完成封装以后,chocobo包能够有这样的使用方法:

"""I'm a script or a different package using chocobo."""

import chococbo

def my_feast(num_guests):
  snacks = bobbish()
  main_course = chocobo.chocobo_roast(num_guests, 0)
  dressing = szechuan_chicken_mcnugget_sauce()复制代码

以上就是一些要点。

步骤三:许可问题

使用共享许可发布代码是较为可取的;若是要将本身的代码公开分享,程序员会想要在保留版权的前提下获得重用代码的许可,或者让那些扩展本身代码的人保证衍生代码能够自由使用。得到许可能轻松解决这些问题。

对于无足轻重的小项目,能够考虑MIT许可(https://choosealicense.com/licenses/mit/)。choosealicense.com(https://choosealicense.com/)提供了不少GitHub和开源社区中的实用建议。

不管选择哪一种许可,都比根本不用要好。不少时候,在没有许可的状况下公开代码还不如不公开;若是程序员不明确本身对代码的全部权,大多数公司会由于可能形成的法律纠纷而放弃,从而失去许多潜在用户。

选择许可后,在存储库中建立LICENSE许可文件(不须要文件扩展名),并导入所选许可的确切文本。

步骤四:安装文件

如今建立Python封装工具所需的基本文件(以setuptools为例);setup.py.setup.py 包含了构建和发行时使用的实际指令。

下面是一个初始模板(别担忧,稍后会进行详细检查)

"""Setup for the chocobo package."""

import setuptools
with open('README.md') as f:
   README = f.read()

setuptools.setup(
    author="Shay Palachy",
    author_email="shay.palachy@gmail.com",
    name='chocobo',
    license="MIT",
    description='chocobo is a python package for delicious chocobo recipes.',
    version='v0.0.3',
    long_description=README,
    url='https://github.com/shaypal5/chocobo',
    packages=setuptools.find_packages(),
    python_requires=">=3.5",
    install_requires=['requests'],
    classifiers=[ 
       # Trove classifiers 
       # (https://pypi.python.org/pypi?%3Aaction=list_classifiers)
        'Development Status :: 4 - Beta',
        'License :: OSI Approved :: MIT License',
        'Programming Language :: Python',
        'Programming Language :: Python :: 3.5',
        'Programming Language :: Python :: 3.6', 
       'Topic :: Software Development :: Libraries',
        'Topic :: Software Development :: Libraries :: Python Modules',
        'Intended Audience :: Developers',
    ],
)复制代码

首先,导入setuptools。这是一个很是有用代码包,可轻松对Python包进行发行,即便它不包括在标准库中(相似的distutils是比不了的),它仍然是当今Python包发行的标准,应该牢记于心。本文只使用了setuptools包中的两个函数:setup和find_packagges。

在导入setuptools以后,调用setup()函数以前,只需将README.md 文件的内容读入到全局变量 README中便可。

而后只需经过如下变量调用setuptools.setup() 函数便可:

· author:输入姓名。

· author_email:输入邮箱。

· name:代码包的名称,在本例中为“chocobo”。

· license:在本例中为字符串“MIT”,或选择其余许可证。

· description:代码包的简短介绍,控制在一行之内。例如:“chocobo代码包是制做美味chocobo的食谱”

· version:表示封装的当前版本的字符串。笔者在以后的文章中会介绍更简洁的处理方法,可是目前,只须要在想要发布新版本时手动增长一个数字就能够了。一般的作法是将版本号前加入字母V,所以v1是第一个版本的版本字符串,但笔者建议将v0.0.1 视为等效版本字符串并使用此格式。后文将详细介绍这种作法的意义。

· long_description:表示README的内容。该部分是代码包的详细描述。也就是该页面PyPI的内容(示例:https://pypi.org/project/pdpipe/)。

· url:可连接到代码包的主页。若是读者没有专用的站点,那么存储库的URL是一个不错的选择。

· packages: 又一次提到了setuptools!根据命令,这个参数获取要生成和发行/安装的全部代码包的名称数组。从技术上讲,能够直接使用[“chocobo”]这个名字,可是最好是将其通用化,并使用setuptools 函数,它能处理更复杂的包和存储库结构。有两个可选参数能够做为输入数据,where 和exclude,但在这里忽略不计。做为结果,where可连接至安装文件所在的目录,包括全部子目录,通常来讲这样已经足够了。

· python_requires: 若是你的电脑支持Python的全部版本,就没必要顾及此参数。若是不能,应该选择一个适当的值。从技术上讲,笔者不同意使用未经测试的版本,但保险期间目前咱们能够进行适当的假设:

(1) 若是读者正在使用Python2,特别是Python2.7版本,能够得出如下两点结论:(a)你独树一帜,十分优秀(b)你的电脑配置只需支持Python2.7便可,因此可使用“>=2.7”这个字符来编辑这个参数。另外,时代在进步,试试Python3吧。

(2) 若是读者使用的是Python3,那么任何Python版本都大于或等于用来开发代码包的版本。以此类推,若是使用的是Python3.5,那么应该设置成“>=3.5”。

· install_requires: 此处列出的是全部非标准库代码包的使用前提。例如,若是chocobo 须要requests和 pytz 才能运行的话,那么该参数应设置为:[“ requests”,“pytz”]。

· classifiers: 连同其余成千上万个代码包一块儿,你的代码包也会很快PyPI上线。为了进行区分,做者能够向PyPI提供一个列表,列出trove分类器来对每一个版本进行分类,描述其用途、支持的系统和开发进度。而后,社区成员可使用这些标准化的分类器,根据本身的需求来查找项目(尽管不肯定谁会进行这项操做)。

这里有全部可能用到的分类器:https://pypi.python.org/pypi?%3Aaction=list_classifiers

建议从如下几个开始:

- “Development Status :: 3 — Alpha”

- “License :: OSI Approved :: MIT License”

- “ Programming Language :: Python”

- “ Programming Language :: Python :: 3.5”

- “ Programming Language :: Python :: 3.6”

- “ Programming Language :: Python :: 3.7”

- “Topic :: Software Development :: Libraries”

- “Topic :: Software Development :: Libraries :: Python Modules”

- “Intended Audience :: Developers”

以上就是这一环节的所有内容。

图2:选择trove分类器后的艾斯·文图拉

步骤五:创建发行文件

Python包位于发行文件中,这些文件会统一被上传到一个服务器中(一般是PyPI全局服务器),供公众下载。

本文不会详细介绍发行格式。笔者将使用标准方法(https://packaging.python.org/tutorials/packaging-projects/)构建两个文件:源发行文件(基本上包含了代码包)和wheel发行文件(wheel build distribution file)。

首先,确保安装了最新版本的setuptools 以及 wheel:

python3 -m pip install --user --upgrade setuptools wheel

要构建发行文件,只需在setup.py所在的存储库的根目录中运行如下命令:

python setup.py sdist bdist_wheel

在这一步,须要Python运行setup.py这个脚本,并向它发送两个参数,生成源文件(参数sdist),以及wheel工具来构建发行文件(参数bdist_wheel)。

运行此命令时,将在调用目录中建立三个文件夹: build, dist 和 chocobo.egg-info。对于.gitignore 文件来讲,这三个能够忽略不计。若是这些目录已经存在(例如,该命令以前已经运行过了,最好用rm -rf build dist将这些目录删除掉,由于dist 下的任何有效代码包文件都将被上传。

要上传的两个文件位于dist 文件夹中:分别为chocobo-0.0.3-py-none.any.whl (构建发行;是一个wheel 文件)和chocobo-0.0.3.tar.gz (源发行;是一个压缩的tar 文件)。建立成功后,咱们继续上传的步骤!

步骤六:上传

剩下的步骤就是将代码包上传到PyPI全局服务器!然而,用户必须先在PyPI网站上注册。按照注册的步骤填写用户名和密码。

若是想在上传到PyPI全局服务器以前测试包,程序员也能够在测试PyPI网站上注册一个用户。

如今,用于上传的Python包将在.pypirc文本文件中查找PyPI用户名和密码(经过PyPI服务器进行验证),该文件一般位于主文件夹中。建立后按以下所示进行填写(testpypi 部分视具体状况而定):

[distutils]
index-servers = 
 pypi
  testpypi

[pypi]
username: teapot48
password: myPYPIpassword

[testpypi]
repository: https://test.pypi.org/legacy/
username: teapot48
password: MYtestPYPIpassword复制代码

本文依照最新的方法将文件上传到PyPI服务器中,并使用twine(上传Python包的实用工具),而不是使用过期的python setup.py upload 。只需运行:

twine upload dist/*

若是想在PyPI服务器上进行测试,只需运行 twine upload — repository testpypi dist/*

不论如何,上传.whl 文件时都应该能看到一个进度条,上传.tar.gz 文档时应该也能看到一个进度条,而后上传就完成了。

如今能够在PyPI官方网站上看到本身的Python包页面了,你们也都能看到!

示例:https://pypi.org/project/birch/

图3:PyPI网站上包页面的示例

大功告成!

留言 点赞 关注

咱们一块儿分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”


(添加小编微信:dxsxbb,加入读者圈,一块儿讨论最新鲜的人工智能科技哦~)

相关文章
相关标签/搜索