登录
原创

程序员如何关注国家大事 政府工作报告中的词频统计

发布于 2021-01-14 阅读 2384
  • 后端
  • 架构
原创

一句话概括本文

爬取任意政府工作报告,通过**jieba**库进行分词后做词频统计, 最后使用 wordcloud 库制作naive词云,非常有意思~


引言

昨晚写完上一篇把爬取到的数据写入到Excel后,在回家的路上我就盘算着 折腾点有趣的东西玩玩——简单的数据分析:分词,统计词频,然后做成词云; 分析点什么玩玩好呢?想起以前看到过一个梗,有人把汪峰唱过的歌的歌词做 词频统计,然后自嗨作词了一首汪峰Style的歌,2333,本来早上想弄的, 发现处理起来有些麻烦,歌词源考虑了下爬虾米音乐,但是有些歌词不规范, 这个多点什么,那个少点什么,处理起来挺麻烦的,就放弃了,后面在 看文章的时候发现了一个有点意思的例子: Python文本分析:2016年政府工作报告有哪些高频词? 3月5日不是刚召开完第十三届全国人民代表大会吗?会后发布了: 2018政府工作报告,作为一个积极爱国分子,写个Python脚本来分析 分析高频词,弄个词云学习学习,岂不美哉~开始本节内容!


1.数据准备

百度随手搜下关键字,2018政府工作报告,随手翻开一个: 2018政府工作报告全文(推荐收藏):news.ifeng.com/a/20180305/…

这种就非常简单了,直接Element看所需的数据节点:

div包着一堆p标签,拿到p标签里的text就可以了,这里过滤掉最后一个来源:新华社

可以加个print把text打出来:

没错是想要的数据,在做分词前,通过正则把各种乱七八糟的 标点符号还有数字都替换掉:

  1. punctuation_pattern = re.compile('[\s+\.\!\/_,$%^*(+\"\']+|[+——!,。?“”、~@#¥%……&*()(\d+)]+')
  2. result = punctuation_pattern.sub("", extract_text(news_url))
  3. print(result)
  4. 复制代码

替换结果:

到此,用作分词的字符串就准备好了~


2.分词与词频统计

因为我们的数据都是中文的,这里选用号称: 做最好的 Python 中文分词组件jieba库

pip命令行安装一波库

  1. pip install jieba
  2. 复制代码

使用方法也很简单:

cut方法参数:(分词的字符串,cut_all是否打开全模式),全模式的意思 就是会这样匹配,比如:大傻逼,会分词成:大傻,傻逼和大傻逼 另外这里还做了下判断,长度大于等于2才算一个词。运行下把分词 后数组遍历下,可以,没毛病。

接着就到同此词频了,这里的统计的话分两个选项吧, 你看你是要统计词出现的频次,还是出现的频率,这里就先统计下 频次吧,就是词出现的次数,看到网上的套路都是通过:

**collections模块的Counter**类来实现的,Counter是一个无序的容器 类型,以字典的键值对形式存储,元素为key,计数为value,一般 用来跟踪值出现的次数

PS:括号里的50代表取次数最多的前50个~

输出结果

频次拿到了,但是有个问题,我们发现有一些关键词是没什么意义 的,比如推进,提高等等动词,我们需要对数据进行过滤(貌似有 个专业名词叫:数据清洗),最简单的就是定义一个过滤列表, 把想过滤的词都丢进去,分词后遍历一波,把在过滤列表中存在 的元素进行移除:

运行结果

可以,意义不大的关键词都过滤掉了,关于统计频次目前只知道 这个套路,有其他高大上的套路的欢迎在评论区留言告知~ 接着就是频率统计,就是出现的百分比,这个可以知己 通过jieba库里的**analyse模块解决,这个东西支持停用词** 文件过滤,就是把不想要的分词都丢一个文件里,分词时会 自动过滤,调用的函数是:extract_tags

运行结果

参数topK代表提取多少个withWeight是否带有频率(权重), 另外可能你对停用词文件比较好奇,其实内容非常简单:

分词与词频问题就已经解决了,接下来搞词云了。


3.生成词云

网上搜词云的库基本都用的wordcloud这个库,就直接拿这个开刀吧!

pip命令行安装一波库

  1. pip install wordcloud
  2. 复制代码

用这个库最关键的就是WordCloud构造函数

参数详解

  • font_path字体路径,就是绘制词云用的字体,比如monaco.ttf
  • width:输出的画布宽度,默认400像素
  • height:输出的画布宽度,默认200像素
  • margin:画布偏移,默认2像素
  • prefer_horizontal : 词语水平方向排版出现的频率,默认0.9,垂直方向出现概率0.1
  • mask:如果参数为空,则使用二维遮罩绘制词云。如果 mask 非空,设置的宽高值将 被忽略,遮罩形状被 mask,除全白(#FFFFFF)的部分将不会绘制,其余部分会用于绘制词云。 如:bg_pic = imread('读取一张图片.png'),背景图片的画布一定要设置为白色(#FFFFFF), 然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色 的画布上再保存,就ok了。
  • scale:按照比例进行放大画布,如设置为1.5,则长和宽都是原来画布的1.5倍
  • color_func:生成新颜色的函数,如果为空,则使用 self.color_func
  • max_words:显示的词的最大个数
  • min_font_size:显示的最小字体大小
  • stopwords:需要屏蔽的词(字符串集合),为空使用内置STOPWORDS
  • random_state:如果给出了一个随机对象,用作生成一个随机数
  • background_color:背景颜色,默认为黑色
  • max_font_size:显示的最大的字体大小
  • font_step:字体步长,如果步长大于1,会加快运算但是可能导致结果出现较大的误差
  • mode:当参数为"RGBA",并且background_color不为空时,背景为透明。默认RGB
  • relative_scaling:词频和字体大小的关联性,默认5
  • regexp:使用正则表达式分隔输入的文本
  • collocations:是否包括两个词的搭配
  • colormap:给每个单词随机分配颜色,若指定color_func,则忽略该方法
  • normalize_plurals:是否删除尾随的词语

常用的几个方法

  • fit_words(frequencies) //根据词频生成词云
  • generate(text) //根据文本生成词云
  • generate_from_frequencies(frequencies[, ...]) #根据词频生成词云
  • generate_from_text(text) #根据文本生成词云
  • process_text(text) #将长文本分词并去除屏蔽词 (此处指英语,中文分词还是需要自己用别的库先行实现,使用上面的 fit_words(frequencies) )
  • recolor([random_state, color_func, colormap]) #对现有输出重新着色。重新上色会比重新生成整个词云快很多。
  • to_array() #转化为 numpy array
  • to_file(filename) #输出到文件

看得我真是一脸懵逼,直接写个最简单的例子,帮助我们上手~

调用下这个方法,把我们前面的分词后的数组传进去:

输出结果

可以,非常有意思,此时此刻,突然:

官方可以的是这样的例子:

啧啧,Too young,too simple! 先找一个膜法师专用图,然后改一波代码(没有原图,别问我):

执行下(真正的粉丝...):

这个字体是随机颜色的,感觉还差点什么,不如让字体跟随 着图片的颜色?可能会感受更深刻一些!获取一波颜色数组, 设置下就可以了:

执行下

真别问我要原图,没有,另外上面用到一个scipy库,用来获取一个颜色矩阵的, 官方示例里还用到了另外的一个库:matplotlib 一个很屌的可视化绘图模块。 本来想试试的,不过快下班了,下次吧~


小结

本节试了一波Python里的数据分析,讲真,老早之前就想试试这个 东西了,通过大量的数据分析得出一些结论,比如抓取某个心仪 同事妹子朋友圈里或者微博里的所有信息,做下词频统计分析, 可以大概猜测这个人的兴趣爱好,又比如抓取某个商品的所有 评论,分析下词频,可以得到购买者们对此商品的客观评价 (刷单是存在的,只能说作为一个参考依据),又比如最近是 招聘的金三银四,HR每天都要过滤一堆简历,ORC识别后,分词 统计出,过滤工作年限,是否有项目经验等,设置一个匹配度 的机制,筛选掉匹配度不足多少的简历。(只是脑洞...) Python是真的好玩!最后说一句,我只是一个跑得快的香港 接着,并不想搞个大新闻,naive!


附:最终代码(都可以在:github.com/coder-pig/R… 找到):

  1. # 分析2018政府工作报告全文高频词
  2. import jieba
  3. import jieba.analyse
  4. import requests
  5. import tools as t
  6. import re
  7. from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator
  8. from collections import Counter
  9. import matplotlib.pyplot as plt
  10. from scipy.misc import imread
  11. news_url = "http://news.ifeng.com/a/20180305/56472392_0.shtml"
  12. # 过滤掉所有中文和英文标点字符,数字
  13. punctuation_pattern = re.compile('[\s+\.\!\/_,$%^*(+\"\']+|[+——!,。?“”、~@#¥%……&*()(\d+)]+')
  14. exclude_words_file = "exclude_words.txt"
  15. # 获取网页中的正文文本
  16. def extract_text(url):
  17. report = ""
  18. resp = requests.get(news_url).content
  19. if resp is not None:
  20. soup = t.get_bs(resp)
  21. ps = soup.select('div#main_content p')
  22. for p in ps[:-1]:
  23. report += p.text
  24. return report
  25. # 生成词云文件
  26. def generate_wc(content):
  27. path = r'fzzqhj.TTF'
  28. bg_pic = imread('mo.png') # 读取一张图片文件
  29. image_colors = ImageColorGenerator(bg_pic) # 从背景图片生成颜色值
  30. wc = WordCloud(font_path=path, background_color="white",
  31. mask=bg_pic,
  32. stopwords=STOPWORDS.add("said"),
  33. max_font_size=40,
  34. color_func=image_colors,
  35. random_state=42)
  36. wc = wc.generate(content)
  37. wc.to_file('result.jpg')
  38. if __name__ == '__main__':
  39. result = punctuation_pattern.sub("", extract_text(news_url))
  40. words = [word for word in jieba.cut(result, cut_all=False) if len(word) >= 2]
  41. # # 设置停用词
  42. # jieba.analyse.set_stop_words(exclude_words_file)
  43. # # 获取关键词频率
  44. # tags = jieba.analyse.extract_tags(result, topK=100, withWeight=True)
  45. # for tag in tags:
  46. # print(tag[0] + "~" + str(tag[1]))
  47. exclude_words = [
  48. "中国", "推进", "全面", "提高", "工作", "坚持", "推动",
  49. "支持", "促进", "实施", "加快", "增加", "实现", "基本",
  50. "重大", "我国", "我们", "扩大", "继续", "优化", "加大",
  51. "今年", "地方", "取得", "以上", "供给", "坚决", "力度",
  52. "着力", "深入", "积极", "解决", "降低", "维护", "问题",
  53. "保持", "万亿元", "改善", "做好", "代表", "合理"
  54. ]
  55. for word in words:
  56. if word in exclude_words:
  57. words.remove(word)
  58. data = r' '.join(words)
  59. generate_wc(data)
  60. # c = Counter(words)
  61. # for word_freq in c.most_common(50):
  62. # word, freq = word_freq
  63. # print(word, freq)
  64. 复制代码


评论区

励志做一条安静的鳄鱼。

0

0

0

举报