第三次课后做业

1. 博客开头给出本身的基本信息，格式建议以下：
  学号:2017*****7147；
  姓名：何晓航;
  码云项目仓库：https://gitee.com/hxhdemayun/word_frequency_count/blob/master/%E4%BD%9C%E4%B8%9A03
2. 程序分析，对程序中的四个函数作简要说明。要求附上每一段代码及对应的说明。
首先声明编码方式和导入string模块中的punctuation方法

# -*- coding: UTF-8 -*- from string import punctuation

1.读取文件函数--打开文件读入缓冲区并关闭文件

def process_file(dst): # 读文件到缓冲区 try: # 打开文件 txt = open(dst, "r") except IOError, s: print s return None try: # 读文件到缓冲区 bvffer=txt.read() except: print "Read File Error!" return None txt.close() return bvffer

2.数据处理--去除字符串中的符号将单词分割并读入字典。

def process_buffer(bvffer):
    if bvffer: word_freq = {} # 下面添加处理缓冲区 bvffer代码，统计每一个单词的频率，存放在字典word_freq for item in bvffer.strip().split(): word = item.strip(punctuation + ' ') if word in word_freq.keys(): word_freq[word] += 1 else: word_freq[word] = 1 return word_freq

3.输出Top10结果--遍历字典并输出Top10的单词

def output_result(word_freq):
    if word_freq: sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True) for item in sorted_word_freq[:10]: # 输出 Top 10 的单词 print(item)

4.导入argparse库用于解析命令行数据，依次执行函数

if __name__ == "__main__": import argparse parser = argparse.ArgumentParser() parser.add_argument('dst') args = parser.parse_args() dst = args.dst bvffer = process_file(dst) word_freq = process_buffer(bvffer) output_result(word_freq)

在命令中输入python word_freq.py Gone_with_the_wind.txt运行代码
结果以下,输出了词频Top10的单词和次数:

3. 简单性能分析并改进、提交代码
使用cProfile进行性能分析
python -m cProfile word_freq.py Gone_with_the_wind.txt
测试结果以下图(因为测试数据太多,只列举截图了关键信息,耗时最长,调用最屡次数的函数):




:

4. 总结反思

经过此次课后做业三我对词频统计与分析有很大的了解，我和班级里的同窗进行了充分的交流，也了解了本身的不足，这让我亲身体验到了从发现问题到解决问题的整个流程，懂得了如何分配时间，如何利用资源。