nodejs在天然语言处理中的一些小应用

nodejs作天然语言处理是很是可行的，此次我作了一些小小的尝试，一块儿来体验一下吧。

由于还保持着对天然语言处理的那份热爱，最近没事的时候会把毕业论文翻出来看（毕业论文的课题就是关于天然语言处理的），而后在个人新博客中加入了一些相关的处理，主要作了如下几个方面：

1. 对每一篇文章进行快速的内容理解，根据标题和内容，输出多个内容标签；​

2. 对文章按照内容进行自动分类，为文章聚类、文本内容分析等提供基础；​

3. ​根据文章标题、用户自定义标签、以及人工智能得到到的标签，进行类似度计算；

4. 在阅读一篇文章的时候，经过类似度计算的结果，推荐相关的文章給用户。

下面给出自动输出内容标签的结果图：

博客系统

​运行环境：centos9 + docker

开发语言：nodejs​

数据库：MariaDB

开发框架：eggjs + ​nunjucks（模板引擎）

此次也是我第一次作后端渲染的博客，ajax的网站，作seo是真的很差作...

而后此次也是我第一次正儿八经的用了下阿里大佬们的eggjs，这种“洋葱模型”的框架，我真的是超级喜欢，不论是用es7优雅地处理js异步，仍是经典的MVC，仍是框架的插件机制等等。确实是超级赞的。若是有喜欢nodejs的同志，强力推荐此框架。

推荐系统

推荐系统是咱们平时在用软件，或者网站中常常会碰见的，好比资讯类的，百度feed、头条、qq看点等；电商类的，阿里，京东等等，还有抖音什么的，不少不少。

一个好的推荐系统能够带来更多的收益，but一个很差的推荐系统每每会获得别人的吐槽。以前在脉脉看到某公司CTO收到脉脉推荐的安卓工程师的推荐职位，遭到吐槽。百度李彦宏某天由于没有在feed收到一条重要的科技资讯信息，而吐槽自家员工。这样的事情一般会不少。

我以为一个好的推荐系统应该更“懂”人，假如我最近一个月前买了一部手机，我但愿能给我推送一些手机配件，而不是在给我推送一部手机，这个时候我买手机配件的几率是远远大于在买一部手机的。如今不少推荐系统，都是经过用户画像，加上各类埋点，用户操做数据，从而进行分析推送的。我以为未必不能够在此基础上加上情感分析，多一个维度，或许可以获得更准确的数据。

说了这么多，我以为仍是有不少瓶颈存在的😐，如今的AI就像不少年前的移动互联网，正处于上升期。 咱们还有不少事情能够作。

下面进入今天的真题..

此次作的文章推荐系统，分享一些细节给你们：

图中右侧部分就是咱们这个文章推送系统的推送结果，咱们用不一样的颜色标注了这篇文章和当前正在浏览的文章的关联度，颜色越深表示关联度越高，置信度越高，权重越大。

这个推荐系统中主要使用了上面所说的第三点：类似度计算；使用的数学模型为空间向量模型，空间向量模型可以将非结构化的文本数据转换成向量形式，表示成向量形式以后能为以后的处理过程打下良好的数学基础。

空间向量模型，帮助咱们把每篇文档转化为一个多维的空间向量形式：

其中，向量 W1i表示第一个词占文档 Ci的比重，向量 W2i表示第二个词占文档 Ci的比重，依次类推，向量 Wti表示第 t 个词占文档 Ci的比重。

那么两篇文章的类似度，咱们就能够计算他们对应向量的夹角余弦值来进行计算：

两个文档的余弦值越接近 1，这两个文档则越类似。

下面给出计算类似度的关键代码：