#! /usr/bin/env python3
# -*- coding:utf-8 -*-
# filename ： modules.py
# author : zoujiameng@aliyun.com.cn
# time
import time
time.time()
time.strftime("")
r'''
%y 两位数的年份表示（00-99）
%Y 四位数的年份表示（000-9999）
%m 月份（01-12）
%d 月内中的一天（0-31）
%H 24小时制小时数（0-23）
%I 12小时制小时数（01-12）
%M 分钟数（00=59）
%S 秒（00-59）
%a 本地简化星期名称
%A 本地完整星期名称
%b 本地简化的月份名称
%B 本地完整的月份名称
%c 本地相应的日期表示和时间表示
%j 年内的一天（001-366）
%p 本地A.M.或P.M.的等价符
%U 一年中的星期数（00-53）星期天为星期的开始
%w 星期（0-6），星期天为星期的开始
%W 一年中的星期数（00-53）星期一为星期的开始
%x 本地相应的日期表示
%X 本地相应的时间表示
%Z 当前时区的名称
%% %号本身
'''
time.localtime()
time.gmtime()
格式化字符串、struct_time、TimeStamp三者之间的关系
struct_time (年，月，日，时，分，秒，一年中第几周，一年中第几天，夏令时)，分为本地时区的struct_time和UTC时区的struct_time
timestamp
"%Y %m %d %X"
time.mktime()
time.strptime(str, fmt='%a %b %d %H:%M:%S %Y')
time.sleep(secs)
time.asctime([tupletime])
time.ctime([secs])
# random
import random
random.choice(list) # 从一个序列中随机的抽取一个元素
random.sample(list, N) # 为了提取出N个不同元素的样本用来做进一步的操作
random.shuffle(list) # 打乱序列中元素的顺序
random.randint(m,n) # 生成随机整数 m<= x <=n
random.randrange(m,n) # 大于等于m且小于n之间的整数, m<= x < n
random.uniform(m,n) # m < x < n
random.random() # 生成0到1范围内均匀分布的浮点数
## a sample 生成随机码
def code_vN(N): # 生成N位随机码
code = ''
for i in range(N):
num=random.randint(0,9)
alf=chr(random.randint(65,90))
add=random.choice([num,alf])
code+=str(add)
return code
# os
## 常用c函数的实现
import os
r'''
os.access(path, mode) # 检验权限模式
os.chdir(path) # 改变当前工作目录
os.chflags(path, flags) # 设置路径的标记为数字标记。
os.chmod(path, mode) # 更改权限
os.chown(path, uid, gid) # 更改文件所有者
os.chroot(path) # 改变当前进程的根目录
os.close(fd) # 关闭文件描述符 fd
os.closerange(fd_low, fd_high) # 关闭所有文件描述符，从 fd_low (包含) 到 fd_high (不包含), 错误会忽略
os.curdir # 返回当前目录：（'.'）
os.dup(fd) # 复制文件描述符 fd
os.dup2(fd, fd2) # 将一个文件描述符 fd 复制到另一个 fd2
os.environ # 获取系统环境变量
os.fchdir(fd) # 通过文件描述符改变当前工作目录
os.fchmod(fd, mode) # 改变一个文件的访问权限，该文件由参数fd指定，参数mode是Unix下的文件访问权限。
os.fchown(fd, uid, gid) # 修改一个文件的所有权，这个函数修改一个文件的用户ID和用户组ID，该文件由文件描述符fd指定。
os.fdatasync(fd) # 强制将文件写入磁盘，该文件由文件描述符fd指定，但是不强制更新文件的状态信息。
os.fdopen(fd[, mode[, bufsize]]) # 通过文件描述符 fd 创建一个文件对象，并返回这个文件对象
os.fpathconf(fd, name) # 返回一个打开的文件的系统配置信息。name为检索的系统配置的值，它也许是一个定义系统值的字符串，这些名字在很多标准中指定（POSIX.1, Unix 95, Unix 98, 和其它）。
os.fstat(fd) # 返回文件描述符fd的状态，像stat()。
os.fstatvfs(fd) # 返回包含文件描述符fd的文件的文件系统的信息，像 statvfs()
os.fsync(fd) # 强制将文件描述符为fd的文件写入硬盘。
os.ftruncate(fd, length) # 裁剪文件描述符fd对应的文件, 所以它最大不能超过文件大小。
os.getcwd() # 返回当前工作目录
os.getcwdu() # 返回一个当前工作目录的Unicode对象
os.isatty(fd) # 如果文件描述符fd是打开的，同时与tty(-like)设备相连，则返回true, 否则False。
os.lchflags(path, flags) # 设置路径的标记为数字标记，类似 chflags()，但是没有软链接
os.lchmod(path, mode) # 修改连接文件权限
os.lchown(path, uid, gid) # 更改文件所有者，类似 chown，但是不追踪链接。
os.link(src, dst) # 创建硬链接，名为参数 dst，指向参数 src
os.listdir(path) # 返回path指定的文件夹包含的文件或文件夹的名字的列表。
os.lseek(fd, pos, how) # 设置文件描述符 fd当前位置为pos, how方式修改: SEEK_SET 或者 0 设置从文件开始的计算的pos; SEEK_CUR或者 1 则从当前位置计算; os.SEEK_END或者2则从文件尾部开始. 在unix，Windows中有效
os.lstat(path) # 像stat(),但是没有软链接
os.linesep # 当前平台使用的行终止符，win下为"\t\n",Linux下为"\n"
os.major(device) # 从原始的设备号中提取设备major号码 (使用stat中的st_dev或者st_rdev field)。
os.makedev(major, minor) # 以major和minor设备号组成一个原始设备号
os.makedirs(path[, mode]) # 递归文件夹创建函数。像mkdir(), 但创建的所有intermediate-level文件夹需要包含子文件夹。
os.minor(device) # 从原始的设备号中提取设备minor号码 (使用stat中的st_dev或者st_rdev field )。
os.mkdir(path[, mode]) # 以数字mode的mode创建一个名为path的文件夹.默认的 mode 是 0777 (八进制)。
os.mkfifo(path[, mode]) # 创建命名管道，mode 为数字，默认为 0666 (八进制)
os.mknod(filename[, mode=0600, device]) # 创建一个名为filename文件系统节点（文件，设备特别文件或者命名pipe）。
os.open(file, flags[, mode]) # 打开一个文件，并且设置需要的打开选项，mode参数是可选的
os.openpty() # 打开一个新的伪终端对。返回 pty 和 tty的文件描述符。
os.pathconf(path, name) # 返回相关文件的系统配置信息。
os.pathsep # 用于分割文件路径的字符串
os.pardir # 获取当前目录的父目录字符串名：('..')
os.pipe() # 创建一个管道. 返回一对文件描述符(r, w) 分别为读和写
os.popen(command[, mode[, bufsize]]) # 从一个 command 打开一个管道
os.path.abspath(path) # 返回path规范化的绝对路径
os.path.split(path) # 将path分割成目录和文件名二元组返回
os.path.dirname(path) # 返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path) # 返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path) # 如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path) # 如果path是绝对路径，返回True
os.path.isfile(path) # 如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path) # 如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, ...]]) # 将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path) # 返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path) # 返回path所指向的文件或者目录的最后修改时间
os.name # 字符串指示当前使用平台。win->'nt'; Linux->'posix'
os.read(fd, n) # 从文件描述符 fd 中读取最多 n 个字节，返回包含读取字节的字符串，文件描述符 fd对应文件已达到结尾, 返回一个空字符串。
os.readlink(path) # 返回软链接所指向的文件
os.remove(path) # 删除路径为path的文件。如果path 是一个文件夹，将抛出OSError; 查看下面的rmdir()删除一个 directory。
os.removedirs(path) # 递归删除目录。若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
os.rename(src, dst) # 重命名文件或目录，从 src 到 dst
os.renames(old, new) # 递归地对目录进行更名，也可以对文件进行更名。
os.rmdir(path) # 删除path指定的空目录，如果目录非空，则抛出一个OSError异常。
os.sep # 操作系统特定的路径分隔符，win下为"\\",Linux下为"/"
os.stat(path) # 获取path指定的路径的信息，功能等同于C API中的stat()系统调用。
os.stat_float_times([newvalue]) # 决定stat_result是否以float对象显示时间戳
os.statvfs(path) # 获取指定路径的文件系统统计信息
os.symlink(src, dst) # 创建一个软链接
os.system("bash command") # 运行shell命令，直接显示
os.tcgetpgrp(fd) # 返回与终端fd（一个由os.open()返回的打开的文件描述符）关联的进程组
os.tcsetpgrp(fd, pg) # 设置与终端fd（一个由os.open()返回的打开的文件描述符）关联的进程组为pg。
os.tempnam([dir[, prefix]]) # 返回唯一的路径名用于创建临时文件。
os.tmpfile() # 返回一个打开的模式为(w+b)的文件对象 .这文件对象没有文件夹入口，没有文件描述符，将会自动删除。
os.tmpnam() # 为创建一个临时文件返回一个唯一的路径
os.ttyname(fd) # 返回一个字符串，它表示与文件描述符fd 关联的终端设备。如果fd 没有与终端设备关联，则引发一个异常。
os.unlink(path) # 删除文件路径
os.utime(path, times) # 返回指定的path文件的访问和修改的时间。
os.walk(top[, topdown=True[, οnerrοr=None[, followlinks=False]]]) # 输出在文件夹中的文件名通过在树中游走，向上或者向下。
os.write(fd, str) # 写入字符串到文件描述符 fd中. 返回实际写入的字符串长度
'''
# sys
import sys
r'''
sys.argv 命令行参数List，第一个元素是程序本身路径
sys.modules 返回系统导入的模块字段，key是模块名，value是模块
sys.exit(n) 退出程序，正常退出时exit(0)
sys.version 获取Python解释程序的版本信息
sys.maxint 最大的Int值
sys.path 返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
sys.platform 返回操作系统平台名称
sys.stdout.write('please:')
val = sys.stdin.readline()[:-1]
sys.modules.keys() 返回所有已经导入的模块名
sys.modules.values() 返回所有已经导入的模块
sys.exc_info() 获取当前正在处理的异常类,exc_type、exc_value、exc_traceback当前处理的异常详细信息
sys.hexversion 获取Python解释程序的版本值，16进制格式如：0x020403F0
sys.version 获取Python解释程序的
sys.api_version 解释器的C的API版本
sys.version_info
‘final’表示最终,也有’candidate’表示候选，serial表示版本级别，是否有后继的发行
sys.displayhook(value) 如果value非空，这个函数会把他输出到sys.stdout，并且将他保存进__builtin__._.指在python的交互式解释器里，’_’ 代表上次你输入得到的结果，hook是钩子的意思，将上次的结果钩过来
sys.getdefaultencoding() 返回当前你所用的默认的字符编码格式
sys.getfilesystemencoding() 返回将Unicode文件名转换成系统文件名的编码的名字
sys.setdefaultencoding(name)用来设置当前默认的字符编码，如果name和任何一个可用的编码都不匹配，抛出 LookupError，这个函数只会被site模块的sitecustomize使用，一旦别site模块使用了，他会从sys模块移除
sys.builtin_module_names Python解释器导入的模块列表
sys.executable Python解释程序路径
sys.getwindowsversion() 获取Windows的版本
sys.copyright 记录python版权相关的东西
sys.byteorder 本地字节规则的指示器，big-endian平台的值是’big’,little-endian平台的值是’little’
sys.exc_clear() 用来清除当前线程所出现的当前的或最近的错误信息
sys.exec_prefix 返回平台独立的python文件安装的位置
sys.stderr 错误输出
sys.stdin 标准输入
sys.stdout 标准输出
sys.platform 返回操作系统平台名称
sys.path 返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
sys.maxunicode 最大的Unicode值
sys.maxint 最大的Int值
sys.version 获取Python解释程序的版本信息
sys.hexversion 获取Python解释程序的版本值，16进制格式如：0x020403F0
'''
## a sample 进度条
import sys,time
def create_spinner():
for i in range(100):
sys.stdout.write("%s\r" % ('#'*i))
sys.stdout.flush()
time.sleep(0.1)
# shutil
## 高级文件（夹）压缩包处理模块
import shutil
shutil.copyfileobj(fsrc, fdst[,length]) # 拷贝文件内容
shutil.copyfile(src, dst) # 拷贝文件, dst 不需要存在
shutil.copymode(src, dst) # 拷贝权限，dst存在
shutil.copystat(src, dst) # 拷贝状态信息：mode bits，atime，mtime，flags
shutil.copy(src, dst) # 拷贝文件和权限
shutil.copy2(src, dst) # 拷贝文件和状态信息
shutil.copytree(src, dst, symlinks=False, ignore=None) # 拷贝文件夹
shutil.ignore_patterns(*patterns)
shutil.rmtree(src) # 删除文件夹
shutil.move(src, dst) # mv
shutil.make_archive(base_name, format, root_dir=".", ...) # 创建压缩包，zip，tar等，返回路径, 可以了解zipfile模块和tarfile
# json pickle
## 序列化
## 把对象(变量)从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等。1. 保持持久状态 2. 跨平台数据交互
import json, pickle
r'''
*Python* *JSON*
dict object
list,tuple array
str string
int,float number(int,real)
True true
False false
None null
'''
json.dumps .loads : 基本数据类型
json.dump .load : json文件
json不识别单引号
pickle.dumps(adict) .loads(bytes) :python对象和字符串间的序列化和反序列化
pickle.dump(obj, file[,protocol]) .load(file) :对文件进行序列化和反序列化.python数据持久化用的比较多
tips'''
import shelve
shelve.open() : return类似字典的对象，可读可写;key必须为字符串，而值可以是python所支持的数据类型。
'''
# xml
## xml是实现不同语言或程序之间进行数据交换的协议，可扩展标记语言，标准通用标记语言的子集。是一种用于标记电子文件使其具有结构性的标记语言。
## ls /usr/lib/python3.4/xml
## dom etree __init__.py parsers __pycache__ sax
# __init__.py
"""Core XML support for Python.
This package contains four sub-packages:
dom -- The W3C Document Object Model. This supports DOM Level 1 + Namespaces.
parsers -- Python wrappers for XML parsers (currently only supports Expat).
sax -- The Simple API for XML, developed by XML-Dev, led by David Megginson and ported to Python by Lars Marius Garshol. This supports the SAX 2 API.
etree -- The ElementTree XML library. This is a subset of the full ElementTree XML release.
"""
__all__ = ["dom", "parsers", "sax", "etree"]
## ls dom
## domreg.py expatbuilder.py __init__.py minicompat.py minidom.py NodeFilter.py pulldom.py __pycache__ xmlbuilder.py
## ls sax
## _exceptions.py expatreader.py handler.py __init__.py __pycache__ saxutils.py xmlreader.py
## ls parsers
## expat.py __init__.py __pycache__
## ls etree
## cElementTree.py ElementInclude.py ElementPath.py ElementTree.py __init__.py __pycache__
sample:
import xml.etree.ElementTree as ET
tree = ET.parse("*.xml")
root = tree.getroot() : .tag .attrib .text .iter() .remove() .findall()
change...
tree.write("x*.xml")
ET.dump(xx.xml)
# configparser
## 配置文件解析***.ini, ***.cfg
## [section1]
## ...
## [section2]
## ...
import configparser
config=configparser.ConfigParser()
config.read('a.ini')
sec=config.sections()
options=config.options('section1')
items=config.items('section1')
val=config.get('section1', 'key')
val=config.get[int,boolean,float]('section1', 'key')
config.remove_section('section2')
config.remove_option('section2','key2')
config.has_section('section3')
config.has_option('section1','key2')
config.add_section('section4')
config.set('section1', 'key', 'val')
config.write(open('a.ini'), 'w') # 回写配置文件
# hashlib
## 用于加密相关的操作，代替了md5模块和sha模块，主要提供SHA1，SHA224，SHA256，SHA384，SHA512,MD5算法。在python3中已经废弃了md5和sha模块。摘要算法又称为哈希算法，散列算法。
## 它通过一个函数，把任意长度的数据转换为一个长度固顶的数据串（通常用16进制的字符串表示）用于加密相关的操作。
## MD5 算法 三个特点：
## 1.内容相同则hash运算结果相同，内容稍微改变则hash值则变；
## 2.不可逆推；
## 3.相同算法：无论校验多长的数据，得到的哈希值长度固定。
import hashlib
hash=hashlib.md5('******'.encode('utf-8')) .sha256() .
hash.update(source)
hash.hexdigest()
tips'''
import hmac
h = hmac.new('python'.encode('utf-8'))
h.update('helloworld'.encode('utf-8'))
print(h.hexdigest())
'''
# suprocess
## fork pipe
import suprocess
sample'''
res1=subprocess.Popen('ls ~/Desktop',shell=True,stdout=subprocess.PIPE)
res=subprocess.Popen('grep txt$',shell=True,stdin=res1.stdout,
stdout=subprocess.PIPE)
print(res.stdout.read().decode('utf-8'))
'''
# logging
# /usr/lib/python3.4/logging$ ls
# config.py handlers.py __init__.py
# __init__.py为API入口
import logging
# 通过下面的方式进行简单配置输出方式与日志级别
logging.basicConfig(filename='logger.log', level=logging.INFO)
logging.debug('debug message') # 不会被写入logger.log中
logging.info('info message')
logging.warn('warn message')
logging.error('error message')
logging.critical('critical message')
可以参考pythonlogging模块
handler：handlers.py
Formatters:
logging.Formatter(fmt,datefmt)
fmt参数为格式化字符串
datefmt为时间格式化，默认的时间格式为%Y-%m-%d %H:%M:%S
常用格式为：
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
%(filename)s 调用日志输出的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒。datefmt就是设置这个的。
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s 用户输出的消息。就是logger.info(message)发送的日志消息。
