大貓咪的新玩具Python：將 Process 的輸出轉成檔案並做 Log Rotation
目錄
Process 的輸出存到檔案的方法！
前情提要
因為我想要把 Process 的輸出記錄到檔案中，於是就做了點研究，並加上了 Log Rotation 的功能。
Approach
由於我的 stdout 和 stderr 都要輸出到檔案，因此我先把 stderr 導向 stdout，接著把 stdout 的輸出導到 Pipe，然後我將 buffer size 設定成 0，將輸出直接丟到 Pipe 裡面。
p = subprocess.Popen([r'/path/to/exe'],
stderr=subprocess.STDOUT, stdout=subprocess.PIPE, bufsize=0)接著我開一個檔案，檔案名稱可以自訂，這裡用 log.txt 做例子，並設定編碼為 utf-8，然後透過 TextIOWrapper 把 Pipe 中的資料一行一行讀出來並寫到檔案中。
f = open('log.txt', 'w', encoding='utf-8')
for a in io.TextIOWrapper(p.stdout, encoding='utf-8'):
f.write(a)
p.wait()
f.close()同樣也可以寫成這樣，直接開好檔案然後傳給 Popen 裡面的 stdout，這樣寫更簡單。
f = open('log.txt', 'w', encoding='utf-8')
p = subprocess.Popen([r'/path/to/exe'],
stderr=subprocess.STDOUT, stdout=f, bufsize=0)
p.wait()
f.close()以上為將 subprocess 的輸出都輸出到檔案中，那如果我要 Log rotation 怎麼辦？Log rotation 就是控制 log 檔案的大小的方法，限制 log 檔案的大小，超過時會將檔案重命名並保存起來，留存一定數量的舊 log 方便回看，接著開一個全新的 log 檔案繼續輸出。
這裡我自行設定每個檔案上線為 10000 bytes，並只保留 3 個舊的 log 檔案。舊的 log 檔案分別為 log.txt.1、log.txt.2 和 log.txt.3，檔案之間的先後順序為 log.txt.3 -> log.txt.2 -> log.txt.1 -> log.txt。
import subprocess
import os
import io
max_bytes = 10_000
backup_count = 3
p = subprocess.Popen([r'/path/to/exe'],
stderr=subprocess.STDOUT, stdout=subprocess.PIPE, bufsize=0)
f = open('log.txt', 'w', encoding='utf-8')
written_bytes = 0
for a in io.TextIOWrapper(p.stdout, encoding='utf-8'): # 一行一行讀取 Process 的輸出
f.write(a)
written_bytes += len(a)
if written_bytes >= max_bytes: # log 檔案大小超過設定的上限
f.close()
if backup_count > 0:
oldest_log_path = f'log.txt.{backup_count}'
if os.path.exists(oldest_log_path): os.remove(oldest_log_path) # 移除最舊的 log 檔案
# 重新命名當前剩餘檔案
for i in range(backup_count - 1, 0, -1):
if os.path.exists(f'log.txt.{i}'): os.rename(f'log.txt.{i}', f'log.txt.{i+1}')
os.rename('log.txt', 'log.txt.1')
# 開新的檔案繼續輸出
f = open('log.txt', 'w', encoding='utf-8')
written_bytes = 0
p.wait() # 等待 Process 結束如果喜歡用 logging 的話，也可以使用 logging 的 RotatingFileHandler 來達成。
import subprocess
import logging
import io
from logging.handlers import RotatingFileHandler
max_bytes = 10_000
backup_count = 3
p = subprocess.Popen([r'/path/to/exe'],
stderr=subprocess.STDOUT, stdout=subprocess.PIPE, bufsize=0)
# 創建一個 logger
logger = logging.getLogger('proc')
rotate_handler = RotatingFileHandler('log.txt', maxBytes=max_bytes,
backupCount=backup_count, encoding='utf-8')
logger.addHandler(rotate_handler)
for a in io.TextIOWrapper(p.stdout, encoding='utf-8'):
logger.info(a)
p.wait()Reference
- https://stackoverflow.com/questions/2804543/read-subprocess-stdout-line-by-line
- https://stackoverflow.com/questions/13332268/how-to-use-subprocess-command-with-pipes
- https://zhung.com.tw/article/python%E4%B8%AD%E7%9A%84log%E5%88%A9%E5%99%A8-%E4%BD%BF%E7%94%A8logging%E6%A8%A1%E7%B5%84%E4%BE%86%E6%95%B4%E7%90%86print%E8%A8%8A%E6%81%AF/
如果你覺得這篇文章有用 可以考慮贊助飲料給大貓咪