python爬虫开发与项目实践-学习笔记（二）

操做文件与目录的经常使用方法

经常使用到os模块与shutil模版

参考（python文件和目录操做方法大全（含实例））

转自：https://www.jb51.net/article/48001.htm

1、python中对文件、文件夹操做时常常用到的os模块和shutil模块经常使用方法。
1.获得当前工做目录，即当前Python脚本工做的目录路径: os.getcwd()
2.返回指定目录下的全部文件和目录名:os.listdir()
3.函数用来删除一个文件:os.remove()
4.删除多个目录：os.removedirs（r“c：\python”）
5.检验给出的路径是不是一个文件：os.path.isfile()
6.检验给出的路径是不是一个目录：os.path.isdir()
7.判断是不是绝对路径：os.path.isabs()
8.检验给出的路径是否真地存:os.path.exists()
9.返回一个路径的目录名和文件名:os.path.split()     eg os.path.split('/home/swaroop/byte/code/poem.txt') 结果：('/home/swaroop/byte/code', 'poem.txt') 
10.分离扩展名：os.path.splitext()
11.获取路径名：os.path.dirname()
12.获取文件名：os.path.basename()
13.运行shell命令: os.system()
14.读取和设置环境变量:os.getenv() 与os.putenv()
15.给出当前平台使用的行终止符:os.linesep    Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'
16.指示你正在使用的平台：os.name       对于Windows，它是'nt'，而对于Linux/Unix用户，它是'posix'
17.重命名：os.rename（old， new）
18.建立多级目录：os.makedirs（r“c：\python\test”）
19.建立单个目录：os.mkdir（“test”）
20.获取文件属性：os.stat（file）
21.修改文件权限与时间戳：os.chmod（file）
22.终止当前进程：os.exit（）
23.获取文件大小：os.path.getsize（filename）
2、文件操做方法大全：
1.os.mknod("test.txt")             #建立空文件
2.fp = open("test.txt",w)          #直接打开一个文件，若是文件不存在则建立文件
3.关于open 模式：

复制代码代码以下:

w：以写方式打开， a：以追加模式打开 (从 EOF 开始, 必要时建立新文件) r+：以读写模式打开 w+：以读写模式打开 (参见 w ) a+：以读写模式打开 (参见 a ) rb：以二进制读模式打开 wb：以二进制写模式打开 (参见 w ) ab：以二进制追加模式打开 (参见 a ) rb+：以二进制读写模式打开 (参见 r+ ) wb+：以二进制读写模式打开 (参见 w+ ) ab+：以二进制读写模式打开 (参见 a+ )

fp.read([size])                     #size为读取的长度，以byte为单位
fp.readline([size])                 #读一行，若是定义了size，有可能返回的只是一行的一部分
fp.readlines([size])                #把文件每一行做为一个list的一个成员，并返回这个list。其实它的内部是经过循环调用readline()来实现的。若是提供size参数，size是表示读取内容的总长，也就是说可能只读到文件的一部分。
fp.write(str)                       #把str写到文件中，write()并不会在str后加上一个换行符
fp.writelines(seq)                  #把seq的内容所有写到文件中(多行一次性写入)。这个函数也只是忠实地写入，不会在每行后面加上任何东西。
fp.close()                          #关闭文件。python会在一个文件不用后自动关闭文件，不过这一功能没有保证，最好仍是养成本身关闭的习惯。  若是一个文件在关闭后还对其进行操做会产生ValueError
fp.flush()                          #把缓冲区的内容写入硬盘
fp.fileno()                         #返回一个长整型的”文件标签“
fp.isatty()                         #文件是不是一个终端设备文件（unix系统中的）
fp.tell()                           #返回文件操做标记的当前位置，以文件的开头为原点
fp.next()                           #返回下一行，并将文件操做标记位移到下一行。把一个file用于for … in file这样的语句时，就是调用next()函数来实现遍历的。
fp.seek(offset[,whence])            #将文件打操做标记移到offset的位置。这个offset通常是相对于文件的开头来计算的，通常为正数。但若是提供了whence参数就不必定了，whence能够为0表示从头开始计算，1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。须要注意，若是文件以a或a+的模式打开，每次进行写操做时，文件操做标记会自动返回到文件末尾。
fp.truncate([size])                 #把文件裁成规定的大小，默认的是裁到当前文件操做标记的位置。若是size比文件的大小还要大，依据系统的不一样多是不改变文件，也多是用0把文件补到相应的大小，也多是以一些随机的内容加上去。
3、目录操做方法大全
1.建立目录
os.mkdir("file")                   
2.复制文件：
shutil.copyfile("oldfile","newfile")        #oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile")            #oldfile只能是文件夹，newfile能够是文件，也能够是目标目录
3.复制文件夹：
4.shutil.copytree("olddir","newdir")        #olddir和newdir都只能是目录，且newdir必须不存在
5.重命名文件（目录）
os.rename("oldname","newname")              #文件或目录都是使用这条命令
6.移动文件（目录）
shutil.move("oldpos","newpos")   
7.删除文件
os.remove("file")
8.删除目录
os.rmdir("dir")                             #只能删除空目录
shutil.rmtree("dir")                        #空目录、有内容的目录均可以删
9.转换目录
os.chdir("path")                            #换路径
4、文件综合操做实例
将文件夹下全部图片名称加上'_fc'

# -*- coding:utf-8 -*-
import re import os import time #str.split(string)分割字符串 #'链接符'.join(list) 将列表组成字符串
def change_name(path): global i if not os.path.isdir(path) and not os.path.isfile(path): return False if os.path.isfile(path): file_path = os.path.split(path) #分割出目录与文件
        lists = file_path[1].split('.') #分割出文件与文件扩展名
        file_ext = lists[-1] #取出后缀名(列表切片操做)
        img_ext = ['bmp','jpeg','gif','psd','png','jpg'] if file_ext in img_ext: os.rename(path,file_path[0]+'/'+lists[0]+'_fc.'+file_ext) i+=1 #注意这里的i是一个陷阱
        #或者
        #img_ext = 'bmp|jpeg|gif|psd|png|jpg'
        #if file_ext in img_ext:
        # print('ok---'+file_ext)
    elif os.path.isdir(path): for x in os.listdir(path): change_name(os.path.join(path,x)) #os.path.join()在路径处理上颇有用
img_dir = 'D:\\xx\\xx\\images' img_dir = img_dir.replace('\\','/') start = time.time() i = 0 change_name(img_dir) c = time.time() - start print('程序运行耗时:%0.2f'%(c)) print('总共处理了 %s 张图片'%(i))