Python 开发模式

3.7 新版功能.

开发模式下的 Python 加入了额外的运行时检查,由于开销太大,并非默认启用的。如果代码能够正确执行,默认的调试级别足矣,不应再提高了;仅当觉察到问题时再提升警告触发的级别。

使用 -X dev 命令行参数或将环境变量 PYTHONDEVMODE 置为 1 ,可以启用开发模式。

另请参考 Python debug build

Python 开发模式的效果

启用 Python 开发模式后的效果,与以下命令类似,不过还有下面的额外效果:

  1. PYTHONMALLOC=debug PYTHONASYNCIODEBUG=1 python -W default -X faulthandler

Python 开发模式的效果:

Python 开发模式下,默认不会启用 tracemalloc 模块,因为其性能和内存开销太大。启用 tracemalloc 模块后,能够提供有关错误来源的一些额外信息。例如,ResourceWarning 记录了资源分配的跟踪信息,而缓冲区溢出错误记录了内存块分配的跟踪信息。

Python 开发模式不会阻止命令行参数 -O 删除 assert 语句,也不会阻止将 __debug__ 设为 False

Python 开发模式只能在 Python 启动时启用。其参数值可从 sys.flags.dev_mode 读取。

在 3.8 版更改: 现在, io.IOBase 的析构函数会记录 close() 触发的异常。

在 3.9 版更改: 现在,字符串编码和解码操作时会检查 encodingerrors 参数。

ResourceWarning 示例

以下示例将统计由命令行指定的文本文件的行数:

  1. import sys
  2. def main():
  3. fp = open(sys.argv[1])
  4. nlines = len(fp.readlines())
  5. print(nlines)
  6. # The file is closed implicitly
  7. if __name__ == "__main__":
  8. main()

上述代码没有显式关闭文件。默认情况下,Python 不会触发任何警告。下面用 README.txt 文件测试下,有 269 行:

  1. $ python script.py README.txt
  2. 269

启用 Python 开发模式后,则会显示一条 ResourceWarning 警告:

  1. $ python -X dev script.py README.txt
  2. 269
  3. script.py:10: ResourceWarning: unclosed file <_io.TextIOWrapper name='README.rst' mode='r' encoding='UTF-8'>
  4. main()
  5. ResourceWarning: Enable tracemalloc to get the object allocation traceback

启用 tracemalloc 后,则还会显示打开文件的那行代码:

  1. $ python -X dev -X tracemalloc=5 script.py README.rst
  2. 269
  3. script.py:10: ResourceWarning: unclosed file <_io.TextIOWrapper name='README.rst' mode='r' encoding='UTF-8'>
  4. main()
  5. Object allocated at (most recent call last):
  6. File "script.py", lineno 10
  7. main()
  8. File "script.py", lineno 4
  9. fp = open(sys.argv[1])

修正方案就是显式关闭文件。下面用上下文管理器作为示例:

  1. def main():
  2. # Close the file explicitly when exiting the with block
  3. with open(sys.argv[1]) as fp:
  4. nlines = len(fp.readlines())
  5. print(nlines)

未能显式关闭资源,会让资源打开时长远超预期;在退出 Python 时可能会导致严重问题。这在 CPython 中比较糟糕,但在 PyPy 中会更糟。显式关闭资源能让应用程序更加稳定可靠。

文件描述符错误示例

显示自身的第一行代码:

  1. import os
  2. def main():
  3. fp = open(__file__)
  4. firstline = fp.readline()
  5. print(firstline.rstrip())
  6. os.close(fp.fileno())
  7. # The file is closed implicitly
  8. main()

默认情况下,Python 不会触发任何警告:

  1. $ python script.py
  2. import os

在 Python 开发模式下,会在析构文件对象时显示 ResourceWarning 并记录 “Bad file descriptor” 错误。

  1. $ python -X dev script.py
  2. import os
  3. script.py:10: ResourceWarning: unclosed file <_io.TextIOWrapper name='script.py' mode='r' encoding='UTF-8'>
  4. main()
  5. ResourceWarning: Enable tracemalloc to get the object allocation traceback
  6. Exception ignored in: <_io.TextIOWrapper name='script.py' mode='r' encoding='UTF-8'>
  7. Traceback (most recent call last):
  8. File "script.py", line 10, in <module>
  9. main()
  10. OSError: [Errno 9] Bad file descriptor

os.close(fp.fileno()) 会关闭文件描述符。当文件对象析构函数试图再次关闭文件描述符时会失败,并触发 Bad file descriptor 错误。每个文件描述符只允许关闭一次。在最坏的情况下,关闭两次会导致程序崩溃(示例可参见 bpo-18748 )。

修正方案是删除 os.close(fp.fileno()) 这一行,或者打开文件时带上 closefd=False 参数。