Python脚本知识总结

版本 日期 状态 修订人 摘要
V1.0 2016-03-28 创建 HunterFu 创建文档
V1.1 2017-08-07 修订 HunterFu 增加 指定占位符宽度(左对齐)

数据对象持久化


在某些时候,需要将数据对象的内容保存下来,方便下次程序启动时读取,这个就需要将对象持久化,请看如下例子

import pickle

# create the test dictionary
before_d = {}
before_d[1]="Name 1"
before_d[2]="Name 2"
before_d[3]="Name 3"

# pickle dump the dictionary
fout = open("dict1.dat", "w")
pickle.dump(before_d, fout, protocol=0)
fout.close()

# pickle load the dictionary
fin = open("dict1.dat", "r")
after_d = pickle.load(fin)
fin.close()

print( before_d )  # {1: 'Name 1', 2: 'Name 2', 3: 'Name 3'}
print( after_d )   # {1: 'Name 1', 2: 'Name 2', 3: 'Name 3'}

可以看出,我们将数据对象内容以文件的方式保存,可以作一些简单的cache处理,尤其是在写一些比较小的程序时,非常有用

正则表达式替换


目标: 将字符串line中的 overview.gif 替换成其他字符串

>>> line = '<IMG ALIGN="middle" SRC="overview.gif" BORDER="0" ALT="">'
>>> mo=re.compile(r'(?<=SRC=)"([\w+\.]+)"',re.I)

>>> mo.sub(r'"\1****"',line)
'<IMG ALIGN="middle" SRC="cdn_overview.gif****" BORDER="0" ALT="">'

>>> mo.sub(r'replace_str_\1',line)
'<IMG ALIGN="middle" SRC=replace_str_overview.gif BORDER="0" ALT="">'

>>> mo.sub(r'"testetstset"',line)
'<IMG ALIGN="middle" SRC="testetstset" BORDER="0" ALT="">'

注意: 其中 \1 是匹配到的数据,可以通过这样的方式直接引用

遍历目录方法


在某些时候,我们需要遍历某个目录找出特定的文件列表,可以通过os.walk方法来遍历,非常方便

import os
fileList = []
rootdir = "/tmp"
for root, subFolders, files in os.walk(rootdir):
    if '.svn' in subFolders: subFolders.remove('.svn')  # 排除特定目录
    for file in files:
        if file.find(".t2t") != -1:			# 查找特定扩展名的文件
            file_dir_path = os.path.join(root,file)
            fileList.append(file_dir_path)

print fileList

列表按列排序(list sort)


如果列表的每个元素都是一个元组(tuple),我们要根据元组的某列来排序的化,可参考如下方法

下面例子我们是根据元组的第2列和第3列数据来排序的,而且是倒序(reverse=True)

>>> a = [('2011-03-17', '2.26', 6429600, '0.0'), ('2011-03-16', '2.26', 12036900, '-3.0'), ('2011-03-15', '2.33', 15615500,'-19.1')]
>>> print a[0][0]
2011-03-17
>>> b = sorted(a, key=lambda result: result[1],reverse=True)
>>> print b
[('2011-03-15', '2.33', 15615500, '-19.1'), ('2011-03-17', '2.26', 6429600, '0.0'), ('2011-03-16', '2.26', 12036900, '-3.0')]
>>> c = sorted(a, key=lambda result: result[2],reverse=True)
>>> print c
[('2011-03-15', '2.33', 15615500, '-19.1'), ('2011-03-16', '2.26', 12036900, '-3.0'), ('2011-03-17', '2.26', 6429600, '0.0')]

列表去重(list uniq)


有时候需要将list中重复的元素删除,就要使用如下方法

>>> lst= [(1,'sss'),(2,'fsdf'),(1,'sss'),(3,'fd')]
>>> set(lst)
set([(2, 'fsdf'), (3, 'fd'), (1, 'sss')])
>>>
>>> lst = [1, 1, 3, 4, 4, 5, 6, 7, 6]
>>> set(lst)
set([1, 3, 4, 5, 6, 7])

字典排序(dict sort)


一般来说,我们都是根据字典的key来进行排序,但是我们如果想根据字典的value值来排序,就使用如下方法

>>> from operator import itemgetter
>>> aa = {"a":"1","sss":"2","ffdf":'5',"ffff2":'3'}
>>> sort_aa = sorted(aa.items(),key=itemgetter(1))
>>> sort_aa
[('a', '1'), ('sss', '2'), ('ffff2', '3'), ('ffdf', '5')]

从上面的运行结果看到,按照字典的value值进行排序的

list元素是字典排序


>>> lst = [{'level': 19, 'star': 36, 'time': 1},
...        {'level': 20, 'star': 40, 'time': 2},
...        {'level': 20, 'star': 40, 'time': 3},
...        {'level': 20, 'star': 40, 'time': 4},
...        {'level': 20, 'star': 40, 'time': 5},
...        {'level': 18, 'star': 40, 'time': 1}]

# 先按time排序
>>> lst.sort(key=lambda k: (k.get('time', 0)))
>>> lst
[{'time': 1, 'star': 36, 'level': 19}, {'time': 1, 'star': 40, 'level': 18}, {'time': 2, 'star': 40, 'level': 20}, {'time': 3, 'star': 40, 'level': 20}, {'time': 4, 'star': 40, 'level': 20}, {'time': 5, 'star': 40, 'level': 20}]
# 再按照level和star顺序
>>> lst.sort(key=lambda k: (k.get('level', 0), k.get('star', 0)), reverse=True)

>>> for idx, r in enumerate(lst):
...     print 'idx[%d]\tlevel: %d\t star: %d\t time: %d\t' % (idx, r['level'], r['star'],r['time'])
...
idx[0]  level: 20        star: 40        time: 2
idx[1]  level: 20        star: 40        time: 3
idx[2]  level: 20        star: 40        time: 4
idx[3]  level: 20        star: 40        time: 5
idx[4]  level: 19        star: 36        time: 1
idx[5]  level: 18        star: 40        time: 1
>>>

字典,列表,字符串互转


  1. 以下是生成数据库连接字符串,从字典转换到字符串

    >>> params = {"server":"mpilgrim", "database":"master", "uid":"sa", "pwd":"secret"}
    >>> ["%s=%s" % (k, v) for k, v in params.items()]
    ['server=mpilgrim', 'uid=sa', 'database=master', 'pwd=secret']
    >>> ";".join(["%s=%s" % (k, v) for k, v in params.items()])
    'server=mpilgrim;uid=sa;database=master;pwd=secret'
    
  2. 下面的例子 是将字符串转化为字典

    >>> a = 'server=mpilgrim;uid=sa;database=master;pwd=secret'
    >>> aa = {}
    >>> for i in a.split(';'):aa[i.split('=',1)[0]] = i.split('=',1)[1]
    ... 
    >>> aa
    {'pwd': 'secret', 'database': 'master', 'uid': 'sa', 'server': 'mpilgrim'}
    

时间对象操作


  1. 将时间对象转换成字符串

    >>> import datetime
    >>> datetime.datetime.now().strftime("%Y-%m-%d %H:%M")
    '2011-01-20 14:05'
    
  2. 时间大小比较

    >>> import time
    >>> t1 = time.strptime('2011-01-20 14:05',"%Y-%m-%d %H:%M")
    >>> t2 = time.strptime('2011-01-20 16:05',"%Y-%m-%d %H:%M")
    >>> t1 > t2
    False
    >>> t1 < t2
    True
    
  3. 时间差值计算,计算8小时前的时间

    >>> datetime.datetime.now().strftime("%Y-%m-%d %H:%M")
    '2011-01-20 15:02'
    >>> (datetime.datetime.now() - datetime.timedelta(hours=8)).strftime("%Y-%m-%d %H:%M")
    '2011-01-20 07:03'
    
  4. 将字符串转换成时间对象

    >>> endtime=datetime.datetime.strptime('20100701',"%Y%m%d")
    >>> type(endtime)
    <type 'datetime.datetime'>
    >>> print endtime
    2010-07-01 00:00:00
    >>> 
    
  5. 将从 1970-01-01 00:00:00 UTC 到现在的秒数,格式化输出

    >>> import time
    >>> a = 1302153828
    >>> time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(a))
    '2011-04-07 13:23:48'
    
  6. 将日期转换成秒数

    >>> endtime=datetime.datetime.strptime('20100701',"%Y%m%d")
    >>> time.mktime(endtime.timetuple())
    1277913600.0
    
  7. strptime | strftime 支持的时间格式化列表

格式化字符 意义
%a 星期几的简写 Weekday name, abbr.
%A 星期几的全称 Weekday name, full
%b 月分的简写 Month name, abbr.
%B 月份的全称 Month name, full
%c 标准的日期的时间串 Complete date and time representation
%d 十进制表示的每月的第几天 Day of the month
%H 24小时制的小时 Hour (24-hour clock)
%I 12小时制的小时 Hour (12-hour clock)
%j 十进制表示的每年的第几天 Day of the year
%m 十进制表示的月份 Month number
%M 十时制表示的分钟数 Minute number
%s seconds since 00:00:00 1970-01-01 UTC (a GNU extension)
%S 十进制的秒数 Second number
%U 第年的第几周,把星期日做为第一天(值从0到53)Week number (Sunday first weekday)
%w 十进制表示的星期几(值从0到6,星期天为0)weekday number
%W 每年的第几周,把星期一做为第一天(值从0到53) Week number (Monday first weekday)
%x 标准的日期串 Complete date representation (e.g. 13/01/08)
%X 标准的时间串 Complete time representation (e.g. 17:02:10)
%y 不带世纪的十进制年份(值从0到99)Year number within century
%Y 带世纪部分的十制年份 Year number
%Z 时区名称,如果不能得到时区名称则返回空字符。Name of time zone
%% 输出百分号

命令行参数解析(getopt)


通常在编写一些日运维脚本时,需要根据不同的条件,输入不同的命令行选项来实现不同的功能, 在Python中提供了getopt模块很好的实现了命令行参数的解析,下面距离说明。 请看如下程序:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import sys,os,getopt
def usage():
    print '''
Usage: analyse_stock.py [options...]
Options: 
    -e : Exchange Name 
    -c : User-Defined Category Name
    -f : Read stock info from file and save to db
    -d : delete from db by stock code
    -n : stock name
    -s : stock code
    -h : this help info
    test.py -s haha -n "HA Ha" 
    '''

try:
    opts, args = getopt.getopt(sys.argv[1:],'he:c:f:d:n:s:')
except getopt.GetoptError:
    usage()
    sys.exit()
if len(opts) == 0:
    usage()
    sys.exit()

for opt, arg in opts: 
    if opt in ('-h', '--help'):
        usage()
        sys.exit()
    elif opt == '-d':
        print "del stock %s" % arg
    elif opt == '-f':
        print "read file %s" % arg
    elif opt == '-c':
        print "user-defined %s " % arg
    elif opt == '-e':
        print "Exchange Name %s" % arg
    elif opt == '-s':
        print "Stock code %s" % arg
    elif opt == '-n':
        print "Stock name %s" % arg

sys.exit()

注意: 这里我们使用短格式分析串‘he:c:f:d:n:s:’, 当一个选项只是表示开关状态时,即后面不带附加参数时,在分析串中写入选项字符

当选项后面是带一个附加参数时,在分析串中写入选项字符同时后面加一个 : 冒号

所以 ‘he:c:f:d:n:s:’ 就表示 ‘h’是一个开关选项, ‘e:c:f:d:n:s:‘则表示这些选项后面应该带一个参数.


格式化输出字符串

  1. 截取字符串输出,下面例子将只输出字符串的前3个字母

    >>> str="abcdefg"
    >>> print "%.3s" % str
    abc
    
  2. 按固定宽度输出,不足使用空格补全,下面例子输出宽度为10

    >>> str="abcdefg"
    >>> print "%10s" % str
       abcdefg
    
  3. 指定占位符宽度(左对齐)

    >>> print ("Name:%-10s Age:%-8d Height:%-8.2f"%("Aviad",25,1.83))
    Name:Aviad      Age:25       Height:1.83
    >>>
    
  4. 截取字符串,按照固定宽度输出

    >>> str="abcdefg"
    >>> print "%10.3s" % str
           abc
    
  5. 浮点类型数据位数保留

    >>> import fpformat
    >>> a= 0.0030000000005
    >>> b=fpformat.fix(a,6)
    >>> print b
    0.003000
    
  6. 对浮点数四舍五入,主要使用到round函数

    >>> from decimal import *
    >>> a ="2.26"
    >>> b ="2.29"
    >>> c = Decimal(a) - Decimal(b)
    >>> print c
    -0.03
    >>> c / Decimal(a) * 100
    Decimal('-1.327433628318584070796460177')
    >>> Decimal(str(round(c / Decimal(a) * 100, 2)))
    Decimal('-1.33')
    >>> 
    

进制转换

有些时候需要作不同进制转换,可以参考下面的例子(%x 十六进制,%d 十进制,%o十进制)

    >>> num = 10
    >>> print "Hex = %x,Dec = %d,Oct = %o" %(num,num,num)
    Hex = a,Dec = 10,Oct = 12

Python调用系统命令或者脚本


  1. 使用 os.system() 调用系统命令 , 程序中无法获得到输出和返回值

    >>> import os
    >>> os.system('ls -l /proc/cpuinfo')
    >>> os.system("ls -l /proc/cpuinfo")
    -r--r--r-- 1 root root 0  3月 29 16:53 /proc/cpuinfo
    0
    
  2. 使用 os.popen() 调用系统命令, 程序中可以获得命令输出,但是不能得到执行的返回值

    >>> out = os.popen("ls -l /proc/cpuinfo")
    >>> print out.read()
    -r--r--r-- 1 root root 0  3月 29 16:59 /proc/cpuinfo
    
    >>>
    
  3. 使用 commands.getstatusoutput() 调用系统命令, 程序中可以获得命令输出和执行的返回值

    >>> import commands
    >>> commands.getstatusoutput('ls /bin/ls')
    (0, '/bin/ls')
    >>> 
    

Python 捕获用户 Ctrl+C ,Ctrl+D 事件


有些时候,需要在程序中捕获用户键盘事件,比如ctrl+c退出,这样可以更好的安全退出程序

    try: 
        do_some_func()
    except KeyboardInterrupt:
        print "User Press Ctrl+C,Exit"
    except EOFError:
        print "User Press Ctrl+D,Exit"

Python 读写文件


  1. 一次性读入文件到列表,速度较快,适用文件比较小的情况下

    track_file = "track_stock.conf" 
    fd = open(track_file)
    content_list = fd.readlines()
    fd.close()
    
    for line in content_list:
        print line
    
  2. 逐行读入,速度较慢,适用没有足够内存读取整个文件(文件太大)

    fd = open(file_path)
    fd.seek(0)
    title = fd.readline()
    keyword = fd.readline()
    uuid = fd.readline()
    fd.close()
    

写文件 write 与 writelines 的区别
Fd.write(str) : 把str写到文件中,write()并不会在str后加上一个换行符
Fd.writelines(content) : 把content的内容全部写到文件中,原样写入,不会在每行后面加上任何东西

Python 读取 YAML 配置文件


简单的配置文件范例

配置文件如下,一般YAML文件扩展名为.yaml:

    [root@localhost]# cat us-cdn.yaml
    templateName: "us-cdn"
    version: "0.1"

    actionsequence:
     - install
     - sync

    sync:
     - cmd: "svn export http://svn.test.com/"
       SuccessMsg: "OK"
       FailedMsg: "Run Cmd Error %s"

    install:
     - cmd: "yum install squid squid-script"
       SuccessMsg: "OK"
       FailedMsg: "Run Cmd Error %s"

从上面的配置文件来看,非常容易读懂和理解,层次关系也非常明了。

PyYAML 模块来解析YAML配置文件

参考测试程序:

    [root@localhost]# cat test_yaml.py
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
    import os
    import yaml
    import sys
    from pprint import pprint

    base_dir = os.path.abspath(os.path.dirname(sys.argv[0]))
    configFile = "%s/%s" % (base_dir,"us-cdn.yaml")
    stream = file(configFile, 'r')
    data = yaml.load(stream)
    pprint(data)

执行结果如下:

    [root@localhost]# python test_yaml.py
    {'actionsequence': ['install', 'sync'],
     'install': [{'FailedMsg': 'Run Cmd Error %s',
                  'SuccessMsg': 'OK',
                  'cmd': 'yum install squid squid-script'}],
     'sync': [{'FailedMsg': 'Run Cmd Error %s',
               'SuccessMsg': 'OK',
               'cmd': 'svn export http://svn.test.com/'}],
     'templateName': 'us-cdn',
     'version': '0.1'}

从执行结果可以看出,最终返回的是字典结构,你可以方便的引用。在写一些系统运维管理脚本的化,可以参考使用yaml格式的配置文件.

常见问题


UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe8 in position 0: ordinal not in range(128)

程序加入如下3行,问题解决

import sys
reload(sys)
sys.setdefaultencoding('utf-8')