使用python批量插入wordpress-从理清表结构开始

python or php建站？

说实话，php能看懂，写的话就再须要熟悉一下语法。python建站须要从头开始。包括模板、cms、都没有php下的wordpress多。插件上也是wordpress有绝对的优点。本身一直写的python后台，前端页面放个一两年真是连个毛都不剩下了。仔细考虑了一些，仍是决定使用wordpress搭建本身的小博客玩一玩。随便下载了一个wordpress，本地搭建起来后，分析了一下wordpress数据库表的关系。把几个主要的表格梳理了一下，如下是简单的记录。（非专业php，仅从后端角度简单分析，若有大师路过，勿喷）。

目标网站

就以以前看到的三人行书屋为例:三人行书屋截图以下。

这个网站用插件分析了一下，用的是[GIt](https://gitcafe.net/archives/3589.html)主题。页面的主要分析点截图中标红框-文章目录、文章、文章标签。涉及的表有：wp_terms、wp_posts、wp_term_taxonomy、wp_term_ralationships.

这几个表的功能分别是：
wp_posts:文章存储表。主要字段：ID-自增ID。post_title-文章的标题。post_excerpt-文章简介

​ wp_terms: 标签、目录的存储表。term_id-自增id。name-标签或目录的名称。slug-urlencode后的内容。

​ wp_term_taxonmy: 目录、标签的描述信息，主要字段：term_taxonomy_id-该表的自增id，term_id-对应上面的wp_terms的term_id，taxonomy- 目录或者标签（category or post_tag），count:计数器，对应截图中的标签下的数字。

wp_term_relationships: wp_terms 和 wp_posts的关联表。也就是说，这张表决定了一篇文章就是是什么目录，有什么标签。主要字段：object_id - 对应的是wp_posts中的ID。term_taxonomy_id对应的是wp_term_taxonomy中的term_taxonomy_id。object_id、term_taxonomy_id 是多对多的关系。

文章分析是基于在wordpress中实际编辑文章及目录标签等，而后观察每一个表格的变化，分析较为简单粗暴。可是基本上可以做为二次开发的基础使用了。

我是怎么进行二次开发的

说是二次开发，其实并无什么具体的目标，没想好创建什么网站。就当前期的热身活动，熟悉和验证结论是否正确。我仍是使用我最熟悉的python做为开发语言。

找到目标网站，爬取一些内容-包括标题，目录分类，标签，做为素材

具体哪一个网站就不透露了。大多数网站这都有咱们所需的元素。使用python简单编写了scrapy爬虫（简单点的直接用requests爬了），咱们须要用到的素材均做单独字段存储。

脚本批量处理文章

我推荐比较好的作法是使用sqlalchemy对源数据表和wp数据表进行建模。而后根据wp各个表的关系作事务插入。即便用一个session对上面提到的几个表作完整性的数据插入。

这里推荐一个快速生成数据模型的工具，配合sqlalchemy使用事半功倍。sqlacodegen

具体操做方法：

1. pip install sqlacodegen
2. sqlacodegen --outfile=models.py mysql://root:guess@192.168.1.250:3306/test

第二部操做是对整个库的建模，固然也能够选择对某张表进行建模。

sqlacodegen --outfile=models.py mysql://root:guess@192.168.1.250:3306/test --tables teacher,student

我具体的处理逻辑，部分伪代码以下(写的太乱，只能拿出部分伪代码献丑了)

post = spider_session.query(SpiderData).filter(SpiderData.id == 1) # 从爬虫库中选出一条
...
# wordpress 数据库插入
wp_post = WpPost()
wp_post.post_title = post.article_name
wp_post.post_content = post.content 
wp_post.post_excerpt = post.short_introduction
wp_post.post_status = "publish"
session_wp.add(wp_post)
session_wp.commit()
# 一下是wp_terms表,term表能够提早把标签和分类先作插入，这里只作查询
terms = spider_session.query(SpiderData).filter(SpiderData.id == 1).all()
# 插入wp_terms
for term in terms:
# 在wp_terms 中找到这个标签对应的id。前提是你已经插入。
term_id = session_wp.query(WpTerm).filter(WpTerm.name == term.name).first()
# 对wp_term_relationships进行处理
object_id = wp_post.ID
wp_relationship = WpTermRelationships()
wp_relationship.object_id = object_id
wp_relationship.term_id = term_id
session_wp.add(wp_relationship)
session_wp.commit()

以上代码只是提供思路实际应用中注意异常处理等。

写这篇文章的时候距离完成个人小demo网站已经有一段时间了。方向是技术博客类型。

还能想起可是第一次接触wordpress时的一脸懵逼，沉下心研究一段时间你就会发现，原来不少事情在你全力作了以后就会变得很简单。

以上。