Python爬取热搜存入数据库而且还能定时发送邮件！！！

1、前言

微博热搜榜天天都会更新一些新鲜事，可是本身处于各类缘由，确定不能时刻关注着微博，为了与时代接轨，接受最新资讯，就寻思着用Python写个定时爬取微博热搜的而且发送QQ邮件的程序，这样天天能够在不打开微博的状况下，时刻掌握着微博的最新动态资讯。

废话很少说，下面直接上代码以及详细思路。
​

2、代码及思路

（1）首先确定是对微博热搜进行爬取，这并不难，是个很是简单的爬虫。

def getHTML(url):
    
    headers={
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36",
    } # 浏览器请求头
    r = requests.get(url, headers = headers) # 向该网页发起请求
    # 若是返回的响应码是200 则表示请求成功，不然返回“获取失败”
    if r.status_code == 200:
        r.encoding = r.apparent_encoding 
        return r.text
    else:
        return "获取失败"

（2）接下来对返回的源码进行解析，这边我用的是xpath。

def parseHTML(html):
    html = etree.HTML(html)
    content = html.xpath('//div[@class="data"]//table//tr[position()>1]/td[@class="td-02"]//a/text()')
    return content

（3）获取到须要的数据以后，就将它们存入数据库。第一步就是要链接上数据库，而后建立对应的表格存储数据。

def toDB(content):

    db = pymysql.connect('localhost', 'root', '密码', 'lqj', charset="utf8")
    cursor = db.cursor()
    dt = time.strftime("%Y-%m-%d %X")
    sql = '''
      create table if not exists wb_Hotdata(
          日期 datetime, 
          热搜 varchar(100) primary key )
         
      '''
    cursor.execute(sql)
    for item in content:
        sql1 = "INSERT IGNORE INTO wb_Hotdata(日期,热搜) VALUES (%s,%s)"
        cursor.execute(sql1,(dt,item))
        db.commit()
    print("数据插入成功")
    cursor.close()
    db.close()

（4）下一步，也是整篇文章的灵魂，就是讲热搜定时发送到本身的邮箱，这样就能及时获取最新资讯。

def sendMail(contents):
    mailBox = '发送邮箱'  
    password = '邮箱受权码'  

    to_mail = '接收邮箱'  # 接收邮箱

    mailhost = 'smtp.qq.com'  # qq邮箱的smtp地址
    qqmail = smtplib.SMTP()  # 建立SMTP对象
    qqmail.connect(mailhost, 25)  
    qqmail.login(from_addr, password)  
    dt = time.strftime("%Y-%m-%d %X")
    data  = ''
    for content in contents:  
        data += '当前时间' + dt + '\n' + '热搜：' + content + '\n'
        data += '=============================\n' #分割线

    msg = MIMEText(data, 'plain', 'utf-8')
    msg['subject'] = Header("即时微博热搜", 'utf-8')

    try:
        qqmail.sendmail(mailBox, to_mail, msg.as_string())
        print('发送成功！')
    except:
        print('发送失败！')
    qqmail.quit()

（5）最后一步，就是要实现定时发送这个功能了，这边我使用的是schedule模块。

def main():
    html = getHTML("https://s.weibo.com/top/summary")
    contents = parseHTML(html)
    toDB(contents)
    sendMail(contents)
  
schedule.every().day.at("10:30").do(main) # 天天早上10:30执行main函数
while True:
    schedule.run_pending()
    time.sleep(1)

效果图：

​
这样看起来是否是很简单明了，而且不须要时刻打开微博，本身指定任意时间就能收到一手资讯，与“out了”说拜拜！

​
​

3、结语

固然，这只是微博热搜，若是须要其余资讯，也能够获取其余平台的数据，定时发送到邮箱中，或者网站发生变更，也能够第一时间提醒你，很是的方便！

想要获取更多Python学习资料能够加QQ:2955637827私聊或加Q群630390733你们一块儿来学习讨论吧！

本文的文字及图片来源于网络,仅供学习、交流使用,不具备任何商业用途,若有问题请及时联系咱们以做处理