前端慌不慌？AI根据手绘原型生成HTML【附代码】

本文经AI新媒体量子位（公众号ID:qbitai ）受权转载，转载请联系出处。

写个网页能有多麻烦？在大多数公司里，这项工做分为三步：

产品经理完成用户调研任务后，列出一系列技术要求；

设计师根据这些要求来设计低保真原型，逐渐修改获得高保真原型和UI设计图；

工程师将这些设计图实现为代码，最终变成用户使用的产品。

这么多环节，任何地方出一点问题，都会拉长开发周期。所以，很多公司，好比Airbnb已经开始用机器学习来提升这个过程的效率。

△ Airbnb内部的AI工具，从图纸到代码一步到位

看起来很美好，但Airbnb还没公开该模型中端到端训练的细节，以及手工设计的图像特征对该模型的贡献度。这是该公司特有的闭源解决方案专利，可能不会进行公开。

好在，一个叫Ashwin Kumar的程序员建立了一个开源版本，让开发者/设计师的工做变得更简单。

如下内容翻译自他的博客：

理想上，这个模型能够根据网站设计的简单手绘原型，很快地生成一个可用的HTML网站：

△ SketchCode模型利用手绘线框图来生成HTML网站

事实上，上面例子就是利用训练好的模型在测试集上生成的一个实际网站，代码请访问：https://github.com/ashnkumar/sketch-code。

从图像标注中获取灵感

目前要解决的问题属于一种更普遍的任务，叫作程序综合（program synthesis），即自动生成工做源代码。尽管不少程序综合研究经过天然语言规范或执行追踪法来生成代码，但在当前任务中，我会充分利用源图像，即给出的手绘线框图来展开工做。

在机器学习中有一个十分热门的研究领域，称为图像标注（image caption），目的是构建一种把图像和文本链接在一块儿的模型，特别是用于生成源图像内容的描述。

△ 图像标注模型生成源图像的文本描述

我从一篇pix2code论文和另外一个应用这种方法的相关项目中得到灵感，决定把个人任务按照图像标注方式来实现，把绘制的网站线框图做为输入图像，并将其相应的HTML代码做为其输出内容。

注：上段提到的两个参考项目分别是

pix2code论文：https://arxiv.org/abs/1705.07962floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

获取合适的数据集

肯定图像标注方法后，理想中使用的训练数据集会包含成千上万对手绘线框图和对应的HTML输出代码。可是，目前尚未我想要的相关数据集，我只好为这个任务来建立数据集。

最开始，我尝试了pix2code论文给出的开源数据集，该数据集由1750张综合生成网站的截图及其相应源代码组成。

△ pix2code数据集中的生成网站图片和源代码

这是一个很好的数据集，有几个有趣的地方：

该数据集中的每一个生成网站都包含几个简单的辅助程序元素，如按钮、文本框和DIV对象。尽管这意味着这个模型受限于将这些少数元素做为它的输出内容，可是这些元素可经过选择生成网络来修改和扩展。这种方法应该很容易地推广到更大的元素词汇表。

每一个样本的源代码都是由领域专用语言（DSL）的令牌组成，这是该论文做者为该任务所建立的。每一个令牌对应于HTML和CSS的一个片断，且加入编译器把DSL转换为运行的HTML代码。

彩色网站图像变手绘图

为了修改个人任务数据集，我要让网站图像看起来像手工绘制出的。我尝试使用Python中的OpenCV库和PIL库等工具对每张图像进行修改，包括灰度转换和轮廓检测。

最终，我决定直接修改原始网站的CSS样式表，经过执行如下操做：

更改页面上元素的边框半径来平滑按钮和DIV对象的边缘；

模仿绘制的草图来调整边框的粗细，并添加阴影；

将原有字体更改成相似手写的字体；

最终实现的流程中还增长了一个步骤，经过添加倾斜、移动和旋转来实现图像加强，来模拟实际绘制草图中的变化。

使用图像标注模型架构

如今，我已经处理好数据集，接下来是构建模型。

我利用了图像标注中使用的模型架构，该架构由三个主要部分组成：

一种使用卷积神经网络（CNN）的计算机视觉模型，从源图像提取图像特征；

一种包含门控单元GRU的语言模型，对源代码令牌序列进行编码；

一个解码器模型，也属于GRU单元，把前两个步骤的输出做为输入，并预测序列中的下一个令牌。

△ 以令牌序列为输入来训练模型

为了训练模型，我将源代码拆分为令牌序列。模型的输入为单个部分序列及它的源图像，其标签是文本中的下一个令牌。该模型使用交叉熵函数做为损失函数，将模型的下个预测令牌与实际的下个令牌进行比较。

在模型从头开始生成代码的过程当中，该推理方式稍有不一样。图像仍然经过CNN网络进行处理，但文本处理开始时仅采用一个启动序列。在每一个步骤中，模型对序列中输出的下个预测令牌将会添加到当前输入序列，并做为新的输入序列送到模型中；重复此操做直到模型的预测令牌为，或该过程达到每一个文本中令牌数目的预约义值。

当模型生成一组预测令牌后，编译器就会将DSL令牌转换为HTML代码，这些HTML代码能够在任何浏览器中运行。

用BLEU分数评估模型

我决定使用BLEU分数来评估模型。这是机器翻译任务中经常使用的一种度量标准，经过在给定相同输入的状况下，衡量机器生成的文本与人类可能产生内容的近似程度。

实际上，BLEU经过比较生成文本和参考文本的N元序列，以建立修改后的准确版本。它很是适用于这个项目，由于它会影响生成HTML代码中的实际元素，以及它们之间的相互关系。

最棒的是，我还能够经过检查生成的网站来比较当前的实际BLEU分数。

△ 观察BLEU分数

当BLEU分数为1.0时，则说明给定源图像后该模型能在正确位置设置合适的元素，而较低的BLEU分数这说明模型预测了错误元素或是把它们放在相对不合适的位置。咱们最终模型在评估数据集上的BLEU分数为0.76。

福利：定制网页风格

后来，我还想到，因为该模型只生成当前页面的框架，即文本的令牌，所以我能够在编译过程当中添加一个定制的CSS层，并马上获得不一样风格的生成网站。

△ 一个手绘图生成多种风格的网页

把风格定制和模型生成两个过程分开，在使用模型时带来了不少好处：

若是想要将SketchCode模型应用到本身公司的产品中，前端工程师能够直接使用该模型，只需更改一个CSS文件来匹配该公司的网页设计风格；

该模型内置的可扩展性，即经过单一源图像，模型能够迅速编译出多种不一样的预约义风格，所以用户能够设想出多种可能的网站风格，并在浏览器中浏览这些生成网页。

总结和展望

受到图像标注研究的启发，SketchCode模型可以在几秒钟内将手绘网站线框图转换为可用的HTML网站。

可是，该模型还存在一些问题，这也是我接下来可能的工做方向：

因为这个模型只使用了16个元素进行训练，因此它不能预测这些数据之外的令牌。下一步方向多是使用更多元素来生成更多的网站样本，包括网站图片，下拉菜单和窗体，可参考启动程序组件（https://getbootstrap.com/docs/4.0/components/buttons/）来得到思路；

在实际网站构建中，存在不少变化。建立一个能更好反映这种变化的训练集，是提升生成效果的一种好方法，能够经过获取更多网站的HTML/CSS代码以及内容截图来提升；

手绘图纸也存在不少CSS修改技巧没法捕捉到的变化。解决这个问题的一种好方法是使用生成对抗网络GAN来建立更逼真的绘制网站图像。

相关地址

代码：https://github.com/ashnkumar/sketch-code

原文：https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82

End