Python与系统日常管理

大多时间都在linux下工作，虽说不算系统管理员，也免不了要处理许多系统相关的东西。对linux还算熟悉，偶尔也在公司客串系统管理员的角色。于是就免不了要写许多自动化脚本的东西，来方便系统日常管理了。

bash脚本挺让人恶心的，属于dirty and quick一类。而Python语法清新可人，Python与系统的交互也极其便利，写自动化脚本再合适不过。

在此就分享些自己在写自动化脚本时中意的Python工具：

build-in

glob:文件名的匹配,比如
- glob.glob(‘somedir/*.py’)
pathlib python3支持,路径处理的瑞士军刀
subprocess
- 启动一个子进程建议的方式是使用下面的便捷函数:subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False)
  - subprocess.call([“ls”, “-l”])
- 对于更高级的使用场景当它们不能满足你的需求时，可以使用底层的Popen接口。
- subprocess.call([“sed”, “-i”, “-e”, ’s/hello/helloworld/g’, “www.txt”])
- 单行：subprocess.call([“sed -i -e ’s/hello/helloworld/g’ www.txt”], shell=True)

sh

sh is a full-fledged subprocess replacement for Python 2.6 - 3.4 that allows you to call any program as if it were a function

使用sh可以用 Python 函数的语法去调用 shell 命令，比subprocess舒服多了

有了sh，就可以方便地用python写逻辑，而与系统的交互依然使用shell指令

sh并没有自己去实现一遍系统指令(也不现实)，sh的原理很有趣，是通过ModuleType来实现的。有兴趣的同学可以参考源码

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


from sh import tail

def process_log_line(line):
    if "ERROR" in line:
        send_an_email_to_support(line)

process = tail("-f", "info.log", _out=process_log_line)

# ... do other stuff here ...

process.wait()

path.py

简化文件系统相关操作。与文件系统的相关操作，在python中有些分散，path.py把它们聚合在一个类文件对象里

path.py implements a path objects as first-class entities, allowing common operations on files to be invoked on those path objects directly

1
2
3
4


from path import Path
d = Path('/home/guido/bin')
for f in d.files('*.py'):
    f.chmod(0755)

###Watchdog 监视文件系统改动.事件驱动真是适合用来写监控逻辑啊

Python library and shell utilities to monitor filesystem events

可以在python中使用，也提供shell指令

###pythonpy

the swiss army knife of the command line

让python更方便与shell配合使用，行为更像过滤器

1

ls | py -x '"mv `%s` `%s.txt`" % (x,x)' | sh

###psutil

A cross-platform process and system utilities module for Python

方便用来查看系统信息（CPU, memory, disks, network）

###Fabric

Simple, Pythonic remote execution and deployment.

自动化运维工具，也可用于自动化本地任务，本地机器无非也只是一个普通的host

###ansible 大大有名的自动化运维工具，热度已远超Fabric，当部署环境巨复杂是，ansible playbook就是救星了。当然学习成本也是在不低，edX就是用它来自动化部署的，有700+ task好像

#用户身份与进程权限

顺便提一下用户身份与进程权限，python脚本中与系统交互（操作文件等），必然涉及到权限问题，所以我们需要了解linux的权限机制

linux中，子进程将继承了父进程的所有权限

当Linux加载内核文件以后，就开始运行第一个程序 /sbin/init，它的作用是初始化系统环境，init是第一个运行的程序，它的进程编号（pid）为1。其他所有进程都从它衍生，都是它的子进程。init进程在运行各种开机启动的程序之后，会执行一个login的子进程。我们将用户名和密码传递给login子进程。login在查询了/etc/passwd和/etc/shadow，并确定了其合法性之后，运行(利用exec)一个shell进程，shell进程有效身份被设置成为该用户的身份。

终于轮到我们的python进程登场啦，python进程从shell中启动，python权限为执行它的用户的权限，此后python中调用的shell指令则为python的子进程，权限与python相同

文章目录

build-in

sh

path.py