输入关键字的爬虫方法(运行环境python3)

       前段时间，写了爬虫，在新浪搜索主页面中，实现了输入关键词，爬取关键词相关的新闻的标题、发布时间、url、关键字及内容。并根据内容，提取了摘要和计算了相似度。下面阐述自己的思路并将代码的githup链接给出： 1、获取关键词新闻页面的url       在新浪搜索主页，输入关键词，点击搜索后会自动链接到关键词的新闻界面，想要获取这个页面的url，有两种思路，本文提供三种方法。    1

>>阅读原文<<