你可能不知道的 Python 技巧

时间 2020-01-29

标签可能不知道 python 技巧栏目 Python 繁體版

原文原文链接

英文 | Python Tips and Trick, You Haven't Already Seenhtml

原做 | Martin Heinz (https://martinheinz.dev)python

译者 | 豌豆花下猫正则表达式

声明：本文得到原做者受权翻译，转载请保留原文出处，请勿用于商业或非法用途。shell

有许许多多文章写了 Python 中的许多很酷的特性，例如变量解包、偏函数、枚举可迭代对象，可是关于 Python 还有不少要讨论的话题，所以在本文中，我将尝试展现一些我知道的和在使用的，但不多在其它文章提到过的特性。那就开始吧。编程

一、对输入的字符串“消毒”

对用户输入的内容“消毒”，这问题几乎适用于你编写的全部程序。一般将字符转换为小写或大写就足够了，有时你还可使用正则表达式来完成工做，可是对于复杂的状况，还有更好的方法：segmentfault

user_input = "This\nstring has\tsome whitespaces...\r\n"

character_map = {
 ord('\n') : ' ',
 ord('\t') : ' ',
 ord('\r') : None
}
user_input.translate(character_map)  # This string has some whitespaces... "

在此示例中，你能够看到空格字符“ n”和“ t”被单个空格替换了，而“ r”则被彻底删除。这是一个简单的示例，可是咱们能够更进一步，使用unicodedata 库及其 combining() 函数，来生成更大的重映射表（remapping table），并用它来删除字符串中全部的重音。数组

二、对迭代器切片

若是你尝试直接对迭代器切片，则会获得 TypeError ，提示说该对象不可取下标（not subscriptable），可是有一个简单的解决方案：缓存

import itertools

s = itertools.islice(range(50), 10, 20)  # <itertools.islice object at 0x7f70fab88138>
for val in s:
 ...

使用itertools.islice，咱们能够建立一个 islice 对象，该对象是一个迭代器，能够生成咱们所需的内容。可是这有个重要的提醒，即它会消耗掉切片前以及切片对象 islice 中的全部元素。网络

（译注：更多关于迭代器切片的内容，可阅读 Python进阶：迭代器与迭代器切片）app

三、跳过可迭代对象的开始

有时候你必须处理某些文件，它们以可变数量的不须要的行（例如注释）为开头。 itertools 再次提供了简单的解决方案：

string_from_file = """
// Author: ...
// License: ...
//
// Date: ...

Actual content...
"""

import itertools

for line in itertools.dropwhile(lambda line:line.startswith("//"), string_from_file.split("\n")):
    print(line)

这段代码仅会打印在初始的注释部分以后的内容。若是咱们只想丢弃迭代器的开头部分（在此例中是注释），而且不知道有多少内容，那么此方法颇有用。

四、仅支持关键字参数（kwargs）的函数

当须要函数提供（强制）更清晰的参数时，建立仅支持关键字参数的函数，可能会挺有用：

def test(*, a, b):
 pass

test("value for a", "value for b")  # TypeError: test() takes 0 positional arguments...
test(a="value", b="value 2")  # Works...

如你所见，能够在关键字参数以前，放置单个 参数来轻松解决此问题。若是咱们将位置参数放在 参数以前，则显然也能够有位置参数。

五、建立支持 with 语句的对象

咱们都知道如何使用 with 语句，例如打开文件或者是获取锁，可是咱们能够实现本身的么？是的，咱们可使用__enter__ 和__exit__ 方法来实现上下文管理器协议：

class Connection:
 def __init__(self):
  ...

 def __enter__(self):
  # Initialize connection...

 def __exit__(self, type, value, traceback):
  # Close connection...

with Connection() as c:
 # __enter__() executes
 ...
 # conn.__exit__() executes

这是在 Python 中实现上下文管理的最多见方法，可是还有一种更简单的方法：

from contextlib import contextmanager

@contextmanager
def tag(name):
 print(f"<{name}>")
 yield
 print(f"</{name}>")

with tag("h1"):
 print("This is Title.")

上面的代码段使用 contextmanager 装饰器实现了内容管理协议。tag 函数的第一部分（yield 以前）会在进入 with 语句时执行，而后执行 with 的代码块，最后会执行 tag 函数的剩余部分。

五、用slots节省内存

若是你曾经编写过一个程序，该程序建立了某个类的大量实例，那么你可能已经注意到你的程序忽然就须要大量内存。那是由于 Python 使用字典来表示类实例的属性，这能使其速度变快，但内存不是很高效。一般这不是个问题，可是，若是你的程序遇到了问题，你能够尝试使用__slots__ ：

class Person:
    __slots__ = ["first_name", "last_name", "phone"]
    def __init__(self, first_name, last_name, phone):
    self.first_name = first_name
    self.last_name = last_name
    self.phone = phone

这里发生的是，当咱们定义__slots__属性时，Python 使用固定大小的小型数组，而不是字典，这大大减小了每一个实例所需的内存。使用__slots__还有一些缺点——咱们没法声明任何新的属性，而且只能使用在__slots__中的属性。一样，带有__slots__的类不能使用多重继承。

六、限制CPU和内存使用量

若是不是想优化程序内存或 CPU 使用率，而是想直接将其限制为某个固定数字，那么 Python 也有一个库能作到：

import signal
import resource
import os

# To Limit CPU time
def time_exceeded(signo, frame):
 print("CPU exceeded...")
 raise SystemExit(1)

def set_max_runtime(seconds):
 # Install the signal handler and set a resource limit
 soft, hard = resource.getrlimit(resource.RLIMIT_CPU)
 resource.setrlimit(resource.RLIMIT_CPU, (seconds, hard))
 signal.signal(signal.SIGXCPU, time_exceeded)

# To limit memory usage
def set_max_memory(size):
 soft, hard = resource.getrlimit(resource.RLIMIT_AS)
 resource.setrlimit(resource.RLIMIT_AS, (size, hard))

在这里，咱们能够看到两个选项，可设置最大 CPU 运行时间和内存使用上限。对于 CPU 限制，咱们首先获取该特定资源（RLIMIT_CPU）的软限制和硬限制，而后经过参数指定的秒数和先前获取的硬限制来设置它。最后，若是超过 CPU 时间，咱们将注册令系统退出的信号。至于内存，咱们再次获取软限制和硬限制，并使用带有 size 参数的setrlimit 和获取的硬限制对其进行设置。

八、控制能够import的内容

某些语言具备很是明显的用于导出成员（变量、方法、接口）的机制，例如Golang，它仅导出以大写字母开头的成员。另外一方面，在 Python 中，全部内容都会被导出，除非咱们使用__all__ ：

def foo():
 pass

def bar():
 pass

__all__ = ["bar"]

使用上面的代码段，咱们能够限制from some_module import * 在使用时能够导入的内容。对于以上示例，通配导入时只会导入 bar。此外，咱们能够将__all__ 设为空，令其没法导出任何东西，而且在使用通配符方式今后模块中导入时，将引起 AttributeError。

九、比较运算符的简便方法

为一个类实现全部比较运算符可能会很烦人，由于有不少的比较运算符——__lt__、__le__、__gt__ 或__ge__。可是，若是有更简单的方法呢？functools.total_ordering 可救场：

from functools import total_ordering

@total_ordering
class Number:
 def __init__(self, value):
  self.value = value

 def __lt__(self, other):
  return self.value < other.value

 def __eq__(self, other):
  return self.value == other.value

print(Number(20) > Number(3))
print(Number(1) < Number(5))
print(Number(15) >= Number(15))
print(Number(10) <= Number(2))

这到底如何起做用的？total_ordering 装饰器用于简化为咱们的类实例实现排序的过程。只须要定义__lt__ 和__eq__，这是最低的要求，装饰器将映射剩余的操做——它为咱们填补了空白。

（ 译注： 原做者的文章分为两篇，为了方便读者们阅读，我特将它们整合在一块儿，如下即是第二篇的内容。）

十、使用slice函数命名切片

使用大量硬编码的索引值会很快搞乱维护性和可读性。一种作法是对全部索引值使用常量，可是咱们能够作得更好：

# ID   First Name   Last Name
line_record = "2        John         Smith"

ID = slice(0, 8)
FIRST_NAME = slice(9, 21)
LAST_NAME = slice(22, 27)

name = f"{line_record[FIRST_NAME].strip()} {line_record[LAST_NAME].strip()}"
# name == "John Smith"

在此例中，咱们能够避免神秘的索引，方法是先使用 slice 函数命名它们，而后再使用它们。你还能够经过 .start、.stop和 .stop 属性，来了解 slice 对象的更多信息。

十一、在运行时提示用户输入密码

许多命令行工具或脚本须要用户名和密码才能操做。所以，若是你碰巧写了这样的程序，你可能会发现 getpass 模块颇有用：

import getpass

user = getpass.getuser()
password = getpass.getpass()
# Do Stuff...

这个很是简单的包经过提取当前用户的登陆名，能够提示用户输入密码。可是须注意，并不是每一个系统都支持隐藏密码。Python 会尝试警告你，所以切记在命令行中阅读警告信息。

十二、查找单词/字符串的相近匹配

如今，关于 Python 标准库中一些晦涩难懂的特性。若是你发现本身须要使用Levenshtein distance 【2】之类的东西，来查找某些输入字符串的类似单词，那么 Python 的 difflib 会为你提供支持。

import difflib
difflib.get_close_matches('appel', ['ape', 'apple', 'peach', 'puppy'], n=2)
# returns ['apple', 'ape']

difflib.get_close_matches 会查找最佳的“足够好”的匹配。在这里，第一个参数与第二个参数匹配。咱们还能够提供可选参数 n ，该参数指定要返回的最多匹配结果。另外一个可选的关键字参数 cutoff （默认值为 0.6），能够设置字符串匹配得分的阈值。

1三、使用IP地址

若是你必须使用 Python 作网络开发，你可能会发现 ipaddress 模块很是有用。一种场景是从 CIDR（无类别域间路由 Classless Inter-Domain Routing）生成一系列 IP 地址：

import ipaddress
net = ipaddress.ip_network('74.125.227.0/29')  # Works for IPv6 too
# IPv4Network('74.125.227.0/29')

for addr in net:
    print(addr)

# 74.125.227.0
# 74.125.227.1
# 74.125.227.2
# 74.125.227.3
# ...

另外一个不错的功能是检查 IP 地址的网络成员资格：

ip = ipaddress.ip_address("74.125.227.3")

ip in net
# True

ip = ipaddress.ip_address("74.125.227.12")
ip in net
# False

还有不少有趣的功能，在这里【3】能够找到，我再也不赘述。可是请注意，ipaddress 模块和其它与网络相关的模块之间只有有限的互通性。例如，你不能将 IPv4Network 实例当成地址字符串——须要先使用 str 转换它们。

1四、在Shell中调试程序崩溃

若是你是一个拒绝使用 IDE，并在 Vim 或 Emacs 中进行编码的人，那么你可能会遇到这样的状况：拥有在 IDE 中那样的调试器会颇有用。

你知道吗？你有一个——只要用python3.8 -i 运行你的程序——一旦你的程序终止了， -i 会启动交互式 shell，在那你能够查看全部的变量和调用函数。整洁，可是使用实际的调试器（pdb ）会如何呢？让咱们用如下程序（script.py ）：

def func():
    return 0 / 0

func()

并使用python3.8 -i script.py运行脚本：

# Script crashes...
Traceback (most recent call last):
  File "script.py", line 4, in <module>
    func()
  File "script.py", line 2, in func
    return 0 / 0
ZeroDivisionError: division by zero
>>> import pdb
>>> pdb.pm()  # Post-mortem debugger
> script.py(2)func()
-> return 0 / 0
(Pdb)

咱们看到了崩溃的地方，如今让咱们设置一个断点：

def func():
    breakpoint()  # import pdb; pdb.set_trace()
    return 0 / 0

func()

如今再次运行它：

script.py(3)func()
-> return 0 / 0
(Pdb)  # we start here
(Pdb) step
ZeroDivisionError: division by zero
> script.py(3)func()
-> return 0 / 0
(Pdb)

大多数时候，打印语句和错误信息就足以进行调试，可是有时候，你须要四处摸索，以了解程序内部正在发生的事情。在这些状况下，你能够设置断点，而后程序执行时将在断点处停下，你能够检查程序，例如列出函数参数、表达式求值、列出变量、或如上所示仅做单步执行。

pdb 是功能齐全的 Python shell，理论上你能够执行任何东西，可是你还须要一些调试命令，可在此处【4】找到。

1五、在一个类中定义多个构造函数

函数重载是编程语言（不含 Python）中很是常见的功能。即便你不能重载正常的函数，你仍然可使用类方法重载构造函数：

import datetime

class Date:
    def __init__(self, year, month, day):
        self.year = year
        self.month = month
        self.day = day

    @classmethod
    def today(cls):
        t = datetime.datetime.now()
        return cls(t.year, t.month, t.day)

d = Date.today()
print(f"{d.day}/{d.month}/{d.year}")
# 14/9/2019

你可能倾向于将替代构造函数的全部逻辑放入__init__，并使用*args 、**kwargs 和一堆 if 语句，而不是使用类方法来解决。那可能行得通，可是却变得难以阅读和维护。

所以，我建议将不多的逻辑放入__init__，并在单独的方法/构造函数中执行全部操做。这样，对于类的维护者和用户而言，获得的都是干净的代码。

1六、使用装饰器缓存函数调用

你是否曾经编写过一种函数，它执行昂贵的 I/O 操做或一些至关慢的递归，并且该函数可能会受益于对其结果进行缓存（存储）？若是你有，那么有简单的解决方案，即便用 functools 的lru_cache :

from functools import lru_cache
import requests

@lru_cache(maxsize=32)
def get_with_cache(url):
    try:
        r = requests.get(url)
        return r.text
    except:
        return "Not Found"


for url in ["https://google.com/",
            "https://martinheinz.dev/",
            "https://reddit.com/",
            "https://google.com/",
            "https://dev.to/martinheinz",
            "https://google.com/"]:
    get_with_cache(url)

print(get_with_cache.cache_info())
# CacheInfo(hits=2, misses=4, maxsize=32, currsize=4)

在此例中，咱们用了可缓存的 GET 请求（最多 32 个缓存结果）。你还能够看到，咱们可使用 cache_info 方法检查函数的缓存信息。装饰器还提供了 clear_cache 方法，用于使缓存结果无效。

我还想指出，此函数不该与具备反作用的函数一块儿使用，或与每次调用都建立可变对象的函数一块儿使用。

1七、在可迭代对象中查找最频繁出现的元素

在列表中查找最多见的元素是很是常见的任务，你可使用 for 循环和字典（map），可是这不必，由于 collections 模块中有 Counter 类：

from collections import Counter

cheese = ["gouda", "brie", "feta", "cream cheese", "feta", "cheddar",
          "parmesan", "parmesan", "cheddar", "mozzarella", "cheddar", "gouda",
          "parmesan", "camembert", "emmental", "camembert", "parmesan"]

cheese_count = Counter(cheese)
print(cheese_count.most_common(3))
# Prints: [('parmesan', 4), ('cheddar', 3), ('gouda', 2)]

实际上，Counter 只是一个字典，将元素与出现次数映射起来，所以你能够将其用做普通字典：

print(cheese_count["mozzarella"])
# Prints: 1

cheese_count["mozzarella"] += 1

print(cheese_count["mozzarella"])
# Prints: 2

除此以外，你还可使用 update(more_words) 方法轻松添加更多元素。Counter 的另外一个很酷的特性是你可使用数学运算（加法和减法）来组合和减去 Counter 的实例。

小结

在平常 Python 编程中，并不是全部这些特性都是必不可少的和有用的，可是其中一些特性可能会时不时派上用场，而且它们也可能简化任务，而这原本可能很冗长且使人讨厌。

我还要指出的是，全部这些特性都是 Python 标准库的一部分，虽然在我看来，其中一些特性很是像是标准库中的非标准内容。所以，每当你要在 Python 中实现某些功能时，首先可在标准库查看，若是找不到，那你可能看得还不够仔细（若是它确实不存在，那么确定在某些三方库中）。

若是你使用 Python，那么我认为在这里分享的大多数技巧几乎天天都会有用，所以我但愿它们会派上用场。另外，若是你对这些 Python 技巧和骚操做有任何想法，或者若是你知道解决上述问题的更好方法，请告诉我！🙂