爬虫 (二十一) 最完整的文件操做（值得收藏） (十二)

时间 2020-01-02

原文原文链接

一，打开文件
　　python中打开文件的函数为open('filename',mode='r',encode='None')，open函数默认返回文件的句柄，咱们能够根据句柄来对文件进行增,删,改,查的操做。将句柄赋给咱们定义的变量,假设咱们定义变量为f，则f=open('filename',mode='r',encode='utf-8') 或者with open('filename') as f。python

注意点：linux

　　1.python解释器打开文件时，是对硬盘进行操做,须要内核态才能够操做硬盘，故此时python解释器是调用操做系统的文件读取接口。windows中文版本默认使用GBK编码表，linux默认使用utf-8，全部若是操做的文件在windows下，非GBK编码的，须要在open函数中声明编码类型，使操做系统运用相应的编码规则进行解码读取，防止串码，乱码现象。正则表达式

　　2.open主要有三种模式,读(r),写(w),追加(a),其中，默认为读模式。各个模式的详解，见下文。shell

二，关闭文件
关闭文件有两组方式：windows

　　1.使用f.close() ,f为open返回的句柄赋值的变量名。dom

　　2.程序结束后，自动关闭。第一个方法容易形成文件写操做时，数据的丢失。缘由是写数据时，数据会先保存在内存中，文件关闭时才会写入硬盘，此时若是文件未关闭，软件由于异常崩溃，致使内存中的数据丢失，且未写入硬盘中。做为第一种关闭方法的优化，是使用：with open('filename') as f 。with会建立一个程序块，将文件操做置于with程序块下，这样with控制块结束，文件也会自动关闭。ide

语法以下：函数

with open('f1.txt') as f1 , open('f2.txt') as f2:
    ......

三，操做文件
3.1 file的基本方法oop

F.read([size])  size为读取的长度，以byte为单位
F.readline([size]) 若是定义了size，有可能返回的只是一行的一部分 
F.readlines([size]) 把文件每一行做为一个list的一个成员，并返回这个list。其实它的内部是经过循环调用readline()来实现的。若是提供size参数，size是表示读取内容的总长，也就是说可能只读到文件的一部分
F.write(str) 把str写到文件中，write()并不会在str后加上一个换行符
F.writelines(seq) 把seq的内容所有写到文件中。这个函数也只是忠实地写入，不会在每行后面加上任何东西
F.close() 关闭文件。python会在一个文件不用后自动关闭文件，不过这一功能没有保证，最好仍是养成本身关闭的习惯。若是一个文件在关闭后还对其进行操做会产生ValueError 

F.flush()把缓冲区的内容写入硬盘 ，即将内存中的数据刷新到银盘上
F.fileno() 返回一个长整型的”文件标签“ 
F.isatty()文件是不是一个终端设备文件（unix系统中的）

F.tell() 返回文件操做标记的当前位置，以文件的开头为原点 
F.next() 返回下一行，并将文件操做标记位移到下一行。把一个file用于for ... in file这样的语句时，就是调用

F.seek(offset[,whence]) 将文件打操做标记移到offset的位置。这个offset通常是相对于文件的开头来计算的，通常为正数。但若是提供了whence参数就不必定了，whence能够为0表示从头开始计算，1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。须要注意，若是文件以a或a+的模式打开，每次进行写操做时，

F.truncate([size]) 把文件裁成规定的大小，默认的是裁到当前文件操做标记的位置。若是size比文件的大小还要大，依据系统的不一样多是不改变文件，也多是用0把文件补到相应的大小，也多是以一些随机的内容加上去。若是没有指定 size，则从当前位置起截断；截断以后 size 后面的全部字符被删除

3.2 文件的读取、建立、追加、删除、清空
一，用python建立一个新文件，内容是0到9的整数，每一个数字占一行学习

f = open('f.txt','w')
for i in range(0,10):
    f.write(str(i)+'\n')
f.close()

二，文件内容追加，从0到9的10个随机整数

import random
f = open('f.txt','a')
for i in range(0,10):
    f.write(str(random.randint(0,9)))
f.write('\n')
f.close()

3、文件内容追加，从0到9的随机整数, 10个数字一行，共10行

import random
f = open('f.txt','a')
for i in range(0,10):
    for i in range(0,10):
        f.write(str(random.randint(0,9)))
    f.write('\n')
f.close()

4、把标准输出定向到文件

import sys
sys.stdout = open('stdout.txt','w')

五，文件的读写
5.1，文件打开

f = file(name[, mode[, buffering]])
name 文件名
mode   选项,字符串
buffering   是否缓冲 (0=不缓冲，1=缓冲, >1的int数=缓冲区大小)

文件的读写属性
file对象有本身的属性和方法。先来看看file的属性。（+和b能够和其余的字符组合成mode，例如rb以二进制只读方式打开，mode参数是可选的，若是没有默认为r）
（注意：文件打开以后，应当被及时关闭，能够查看f.closed属性以确认文件是否被关闭）

r 只读模式（默认，文件不存在，则发生异常）文件的指针将会放在文件的开头
w 只写模式（可读，文件不存在则建立，存在则删除内容，再打开文件）
a 追加模式（只能写，文件不存在则建立，存在则追加内容）
r+ 可读写模式（可读，可写，可追加）,若是文件存在，则覆盖当前文件指针所在位置的字符，如原来文件内容是"Hello，World"，打开文件后写入"hi"则文件内容会变成"hillo, World"
b 以二进制方式打开（如：FTP发送上传ISO镜像文件，linux可忽略，windows处理二进制文件时需标注）
w+ 先写再读（可读，可写，可追加） 若是该文件已存在则将其覆盖。若是该文件不存在，建立新文件
a+ 同a(可读可写，文件不存在则建立，存在则追加内容)。若是该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。若是该文件不存在，建立新文件用于读写
rb 以二进制读方式打开，只能读文件 ， 若是文件不存在，会发生异常
wb 以二进制写方式打开，只能写文件， 若是文件不存在，建立该文件
ab 二进制追写文件。 从文件顶部读取内容 从文件底部添加内容 不存在则建立
rt 以文本读方式打开，只能读文件 ， 若是文件不存在，会发生异常
wt 以文本写方式打开，只能读文件 ， 若是文件不存在，建立该文件。若是文件存在。先清空，再打开文件
at 以文本读写方式打开，只能读文件 ， 若是文件不存在，建立该文件。若是文件存在。先清空，再打开文件
rb+ 以二进制读方式打开，能够读、写文件 ， 若是文件不存在，会发生异常  
wb+ 以二进制写方式打开，能够读、写文件， 若是文件不存在，建立该文件.若是文件存在。先清空，再打开文件
ab+ 追读写二进制。从文件顶部读取内容 从文件底部添加内容 不存在则建立

5.2，关闭文件

f.close()

当文件读写完毕后，应关闭文件
六，清空文件内容

f.truncate()

注意：仅当以 "r+" "rb+" "w" "wb" "wb+"等以可写模式打开的文件才能够执行该功能
七，文件的指针定位与查询
7.1，文件指针：

文件被打开后，其对象保存在 f 中， 它会记住文件的当前位置,以便于执行读、写操做，这个位置称为文件的指针( 一个从文件头部开始计算的字节数 long 类型 )。

7.2，文件打开时的位置:

以"r"   "r+"   "rb+" 读方式, "w"   "w+"   "wb+"写方式 打开的文件，
 一开始，文件指针均指向文件的头部

7.3，获取文件指针的值:

L = f.tell()

7.4，移动文件的指针

f.seek(   偏移量, 选项 )
      选项 =0 时， 表示将文件指针指向从文件头部到 "偏移量"字节处
      选项 =1 时， 表示将文件指针指向从文件的当前位置，向后移动 "偏移量"字节
      选项 =2 时， 表示将文件指针指向从文件的尾部，，向前移动 "偏移量"字节

八，从文件读取内容
8.1，文本文件（以"rt"方式打开的文件）的读取

s = f.readline()
        返回值： s 是字符串，从文件中读取的一行，含行结束符
        说明： (1)  若是 len( s ) =0 表示已到文件尾
              (2)   若是是文件的最后一行，有可能没有行结束符

8.2，二进制文件（以"rb"、"rb+"、"wb+" 方式打开的文件）的读取

s = f.read( n )
     说明： (1)  若是 len( s ) =0 表示已到文件尾
           (2)   文件读取后，文件的指针向后移动 len(s) 字节
          （3）若是磁道已坏，会发生异常

九，向文件写入一个字符串

f.write( s )
    参数： s 要写入的字符串
    说明： (1)文件写入后，文件的指针向后移动 len(s) 字节
          （2）若是磁道已坏，或磁盘已满会发生异常
返回值： s 是字符串，从文件中读取的内容

十，删除文件

import os
os.remove(file)

3.3 python逐行读取文件内容的两种方法
方法一：

for line in open('f.txt'):
    print(line)

方法二：

f =open('f.txt','r')
lines =f.readlines()
for i in lines:
    print(i)

3.4文件定位
　　tell()方法告诉你文件内的当前位置, 换句话说，下一次的读写会发生在文件开头这么多字节以后
　　seek（offset [,from]）方法改变当前文件的位置。Offset变量表示要移动的字节数。From变量指定开始移动字节的参考位置
　　offset -- 偏移量，也就是表明须要移动偏移的字节数,注意是按照字节算的，字符编码存每一个字符所占的字节长度不同
　　　　如“好好学习” 用gbk存是2个字节一个字，用utf-8就是3个字节，所以以gbk打开时，seek(4) 就把光标切换到了“飞”和“学”两个字中间。
　　　　但若是是utf8,seek(4)会致使，拿到了飞这个字的一部分字节，打印的话会报错，由于处理剩下的文本时发现用utf8处理不了了，由于编码对不上了。少了一个字节
　　若是from被设为0，这意味着将文件的开头做为移动字节的参考位置
　　若是设为1，则使用当前的位置做为参考位置
　　若是它被设为2，那么该文件的末尾将做为参考位置

例子：

#打开一个文件
f =open('f.txt','r+')
str_read = f.read(10)
print("读取的字符串是：%s" % str_read)
 
#查找当前位置
position = f.tell()
print("当前位置： %s" %position)
 
#把指针再次从新定位到文件开头
position =f.seek(0,0)
str_read =f.read(10)
print("从新读取读取的字符串是：%s" % str_read)
 
#关闭文件
f.close()
 
结果：
读取的字符串是：2204513940
当前位置： 10
从新读取读取的字符串是：2204513940

3.5 重命名和删除文件
Python的os模块提供了帮你执行文件处理操做的方法，好比重命名和删除文件。
要使用这个模块，你必须先导入它，而后才能够调用相关的各类功能。
rename()方法：
rename()方法须要两个参数，当前的文件名和新文件名。
语法：

os.rename(current_file_name, new_file_name)

例子：

import os
#重命名文件f.txt问哦file.txt
os.rename('f.txt','file.txt')

remove方法
你能够用remove()方法删除文件，须要提供要删除的文件名做为参数。
语法：

os.remove(file_name)

例子：

import os
os.remove('stdout.txt')

3.6 文件修改
　　硬盘的存储原理就是，当你把文件存到硬盘上，就在硬盘上划了一块空间，存数据，等你下次打开这个文件，会seek到一个位置，每改一个字，就是把原来的覆盖掉，若是要插入，是不可能的，由于后面的数据在硬盘上不会总体向后移动，因此就会出现当前这个状况，你要插入，却变成把旧内容覆盖掉。
　　因此修改文件，就不要在硬盘上修改，把内容所有读到内存里，数据在内存里能够随便增删改查，修改以后，把内容所有写回硬盘，把原来的数据所有覆盖掉。
　　固然了，若是有些文件特别大，好比5G，那么一下吃掉这么大内存，很是浪费资源，因此更好的方法就是，若是不像占内存，那么就边读边写，也就是不修改源文件，可是能够打开丢文件的同时，生成一个新文件，边从旧的里面读，边往新的里面写，遇到须要修改的就改了再写道新文件，这样在内存里面一直只存一行内容，就不占内存了，可是也有一个缺点就是，虽然不占内存，可是占硬盘，每次修改，都要生成一份新文件，虽然改完后，能够把旧的覆盖掉，可是在改的过程当中，仍是有两份数据
3.6.1文件修改占硬盘
代码：

f_name= 'file.txt'
f_new_name = 'file_new.txt'
old_str = '123'
new_str = '123123123'
f = open(f_name,'r',encoding='gbk')
f_new = open(f_new_name,'w',encoding='gbk')
for line in f:
    if old_str in line:
        line = line.replace(old_str,new_str)
    f_new.write(line)
f.close()
f_new.close()

上面的代码会生成一个修改后的新文件，源文件不动，若想覆盖源文件
代码以下：

import os
os.replace(file_new_name,file_name)

3.6.2文件修改占内存
　　这样不须要占用两个文件，只须要写一个文件，直接r+就能够，可是会出现一个问题，就是要是之前文件内容多，如今少了，那会出错，为了不这种错误的发生，使用truncate()就ok
userinfo.txt的内容：

1:www.baidu.com
2:www.google.com
3:www.tencent.com
4:www.tianmao.com
5:www.jingdong.com

f.truncate([size])
把文件裁成规定的大小，默认的是裁到当前文件操做标记的位置。
若是size比文件的大小还要大，依据系统的不一样多是不改变文件，
也多是用0把文件补到相应的大小，也多是以一些随机的内容加上去

file = open('userinfo.txt','r+',encoding='utf-8')
print('文件名为：',file.name)
 
line =file.readline()
print('读取第一行：%s' %line)
 
#截断剩下的字符串
file.truncate()
 
#尝试再次读取数据
line =file.readline()
print('读取数据：%s' %line)
 
file.close()
 
# 结果：
# 文件名为： userinfo.txt
# 读取第一行：1:www.baidu.com
#
# 读取数据：2:www.google.com

file = open('userinfo.txt','r+',encoding='utf-8')
print('文件名为：',file.name)
 
line =file.readline()
print('读取第一行：%s' %line)
 
#截断10的字符串
file.truncate(10)
 
#尝试再次读取数据
line =file.readline()
print('读取数据：%s' %line)
 
file.close()
 
结果：
文件名为： userinfo.txt
读取第一行：1:www.baid
读取数据：

四，补充内容
4.1 各类系统操做
　　注意：虽然python中提供了各类拼接目录的函数，可是，函数并不能保证字符编码不出问题，很大可能致使程序错误。因此最好仍是本身拼接。

　　python中对文件、文件夹（文件操做函数）的操做须要涉及到os模块和shutil模块

获得当前工做目录，即当前Python脚本工做的目录路径: os.getcwd()
 
返回指定目录下的全部文件和目录名:os.listdir()
 
函数用来删除一个文件:os.remove()
 
删除多个目录：os.removedirs（r“c：\python”）
 
检验给出的路径是不是一个文件：os.path.isfile()
 
检验给出的路径是不是一个目录：os.path.isdir()
 
判断是不是绝对路径：os.path.isabs()
 
检查是否快捷方式os.path.islink ( filename )
 
检验给出的路径是否真地存:os.path.exists()
 
返回一个路径的目录名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 结果：('/home/swaroop/byte/code', 'poem.txt')
 
分离扩展名：os.path.splitext()
 
获取路径名：os.path.dirname()
 
获取文件名：os.path.basename()
 
运行shell命令: os.system()
 
读取和设置环境变量:os.getenv() 与os.putenv()
 
给出当前平台使用的行终止符:os.linesep Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'
指示你正在使用的平台：os.name 对于Windows，它是'nt'，而对于Linux/Unix用户，它是'posix'
重命名：os.rename（old， new）
建立多级目录：os.makedirs（r“c：\python\test”）
 
建立单个目录：os.mkdir（“test”）
 
获取文件属性：os.stat（file）
 
修改文件权限与时间戳：os.chmod（file）
 
终止当前进程：os.exit（）
 
获取文件大小：os.path.getsize（filename）

4.2 各类目录操做

os.mkdir("file") 建立目录
 
复制文件：
shutil.copyfile("oldfile","newfile") oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile") oldfile只能是文件夹，newfile能够是文件，也能够是目标目录
 
复制文件夹：
shutil.copytree("olddir","newdir") olddir和newdir都只能是目录，且newdir必须不存在
 
重命名文件（目录）
os.rename("oldname","newname") 文件或目录都是使用这条命令
 
移动文件（目录）
shutil.move("oldpos","newpos")
 
删除文件
os.remove("file")
 
删除目录
os.rmdir("dir")只能删除空目录
shutil.rmtree("dir") 空目录、有内容的目录均可以删
 
转换目录
os.chdir("path") 换路径
  
ps: 文件操做时，经常配合正则表达式：
img_dir = img_dir.replace('\\','/')

五，文件处理习题
　　文件操做分为读，写，修改

5.1 读文件
举例以下：

f = open(file=‘userinfo.txt',mode='r',encoding='utf-8')
 
data = f.read()
 
f.close()

上述操做语法解释以下：

file=‘userinfo.txt'  表示文件路径
mode='r'                                          表示只读（能够修改成其余）
encoding='utf-8'                                  表示将硬盘上的 0101010 按照utf-8的规则去“断句”，
    再将“断句”后的每一段0101010转换成unicode的 01010101，unicode对照表中有01010101和
    字符的对应关系。
f.read()                                          表示读取全部内容，内容是已经转换完毕的字符串。
f.close()                                         表示关闭文件

再看一个例子：

f = open(file='userinfo.txt',mode='rb')
data = f.read()
f.close()

上述操做语法解释：

file='userinfo.txt'      表示文件路径
mode='rb'                                            表示只读（能够修改成其余）
f.read()                                             表示读取全部内容，内容是硬盘上原来以某种编码保存010101010，即：某种编码格式的字节类型
f.close()                                            表示关闭文件

问：两个例子的区别在哪？

　　答：在于示例2打开文件时并未指定encoding,这是为什么？是由于直接以rb模式打开了文件，rb是指二进制模式，数据读到内存里直接是bytes格式，若是想内容，还须要手动decode,所以在文件打开阶段，不须要指定编码

　　问：假设你不知道你要处理的文件是什么编码可怎么办？

import chardet
 
f = open('log',mode='rb')
data = f.read()
f.close()
 
result = chardet.detect(open('log',mode='rb').read())
print(result)

输出：

{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

注意：

文件操做时，以 “r”或“rb” 模式打开，则只能读，没法写入；
硬盘上保存的文件都是某种编码的0101010，打开时须要注意：
rb，直接读取文件保存时原生的0101010，在Python中用字节类型表示
r和encoding，读取硬盘的0101010，并按照encoding指定的编码格式进行断句，再将“断句”后的每一段0101010转换成unicode的 010101010101，在Python中用字符串类型表示

5.2文件操做的其余功能

def fileno(self, *args, **kwargs): # real signature unknown
       返回文件句柄在内核中的索引值，之后作IO多路复用时能够用到
 
   def flush(self, *args, **kwargs): # real signature unknown
       把文件从内存buffer里强制刷新到硬盘
 
   def readable(self, *args, **kwargs): # real signature unknown
       判断是否可读
 
   def readline(self, *args, **kwargs): # real signature unknown
       只读一行，遇到\r or \n为止
 
   def seek(self, *args, **kwargs): # real signature unknown
       把操做文件的光标移到指定位置
       *注意seek的长度是按字节算的， 字符编码存每一个字符所占的字节长度不同。
       如“路飞学城” 用gbk存是2个字节一个字，用utf-8就是3个字节，所以以gbk打开时，seek(4) 就把光标切换到了“飞”和“学”两个字中间。
       但若是是utf8,seek(4)会致使，拿到了飞这个字的一部分字节，打印的话会报错，由于处理剩下的文本时发现用utf8处理不了了，由于编码对不上了。少了一个字节
 
   def seekable(self, *args, **kwargs): # real signature unknown
       判断文件是否可进行seek操做
 
   def tell(self, *args, **kwargs): # real signature unknown
       返回当前文件操做光标位置
 
   def truncate(self, *args, **kwargs): # real signature unknown
       按指定长度截断文件
       *指定长度的话，就从文件开头开始截断指定长度，不指定长度的话，就从当前位置到文件尾部的内容全去掉。
 
   def writable(self, *args, **kwargs): # real signature unknown
       判断文件是否可写

5.3 例题
读文件找到第9个字符，华，找到第二行的实，删除最后一行写入文件
桃之夭夭，灼灼其华。之子于归，宜其室家。
桃之夭夭，有蕡其实。之子于归，宜其家室。
桃之夭夭，其叶蓁蓁。之子于归，宜其家人。

# 2.读文件找到第9个字符，华 ，找到第二行的 实，删除最后一行 写入文件
# 桃之夭夭，灼灼其华。之子于归，宜其室家。
# 桃之夭夭，有蕡其实。之子于归，宜其家室。
# 桃之夭夭，其叶蓁蓁。之子于归，宜其家人。
 
f = open('poem.txt', 'r+', encoding='utf-8')
# f.seek(3*8)
# print(f.read(1))
# f.seek(3*28+2)
# print(f.read(1))
data_list = f.readlines()
print(data_list)
data_list.pop()
print(data_list)
f.seek(0)
f.truncate()
f.write(''.join(data_list))

5.4 例题：读取一个文件下的全部文件

import  os
 
def read_image(image_dir):
    photofile_list = os.listdir(image_dir)
    for i in range(len(photofile_list)):
        photo_path = os.path.join(image_dir,photofile_list[i])
        print(photo_path)

5.5 例题：断定目录是否存在，若不存在即建立

import os
if not os.path.isdir(dir_name):
    os.makedir(dir_name)

os.mkdir()建立路径中的最后一级目录，而若是以前的目录不存在而且也须要建立的话，就会报错。

os.makedirs()建立多层目录，若是中间目录都不存在的话，会自动建立。

5.6 读取文件的行数

import csv
a=open("Train_A_wear.csv","r")
b=len(a.readlines())
print(b)

5.7 批量重命名文件名

import os
 
class BatchRename():
    # 批量重命名文件夹中的图片文件
    def __init__(self):
        self.path_A = '../binary_variable/A'
        self.path_B = '../binary_variable/B'
 
 
    def rename(self):
        filelist_A = os.listdir(self.path_A)
        filelist_B = os.listdir(self.path_B)
        total_num_A = len(filelist_A)
        total_num_B = len(filelist_B)
        i = 1
        for item in filelist_A:
            # 初始的图片的格式为jpg格式的，或者png
            if item.endswith('.jpg') or item.endswith('png'):
                src = os.path.join(os.path.abspath(self.path_A), item)
                # 处理后的格式也为jpg格式的，固然这里也能够改为png格式
                dst = os.path.join(os.path.abspath(self.path_A), str(i) + '.jpg')
 
                try:
                    os.rename(src, dst)
                    i = i + 1
                except:
                    continue
 
        for item in filelist_B:
            # 初始的图片的格式为jpg格式的，或者png
            if item.endswith('.jpg') or item.endswith('png'):
                src = os.path.join(os.path.abspath(self.path_B), item)
                # 处理后的格式也为jpg格式的，固然这里也能够改为png格式
                dst = os.path.join(os.path.abspath(self.path_B), str(i) + '.jpg')
 
                try:
                    os.rename(src, dst)
                    i = i + 1
                except:
                    continue
 
if __name__ == '__main__':
    demo = BatchRename()
    demo.rename()

不经一番彻骨寒怎得梅花扑鼻香