FEA从入门到精通系列 | 文本数据源加载与存储

前面已经讲过FEA原语的分类，今天将为你们讲解文本数据源的加载与存储，在讲解以前咱们先总结一下FEA支持的数据源。

一、支持Hadoop架构的数据源，如HDFS、HBASE等。

二、支持传统关系型数据库，如Oracle、Postgres、Mysql等。使得一些不能迁入到大数据平台的数据一样可使用FEA进行分析。

三、经过REST接口扩展，能够很好的支持第三方平台的数据，如阿里云的大数据开放处理平台ODPS和内存数据库ADS等。

四、各类格式的文本文件的加载与存储。

多种数据源的支持，使得FEA可以接入更多类型的数据来进行关联分析、碰撞比对等运算，而不要求用户必定要进行数据的大规模整合，既下降了用户的使用成本，又发挥了多数据关联分析的价值。

1、文本数据源加载与存储语句格式

FEA支持对CSV、EXCEL、PKL等数据文件进行分析处理，能够把每一项数据记录加载到FEA引擎中。同时，也能够将FEA引擎中的数据输出为CSV、EXCEL、PKL等数据文件。那么，加载与存储FEA语句的格式是什么呢？见下图：

2、文本数据源加载详解

如下是FEA 文本格式加载原语的示例，见下图：

在加载LOG\CSV等文件格式时，常常会加入参数sep=”$”,encoding=‘utf8’,header=-1

那么，这些参数到底表示什么意义呢？

听我娓娓道来。

一、encoding参数

通常来说Windows操做系统的文件默认编码方式为gbk，而Linux操做系统的文件默认编码方式为utf8，FEA分析工具在读取用户上传的数据文件时默认的解码方式是gbk。用户上传编码方式为utf8的数据文件后，FEA分析工具在对该数据文件进行加载时，原语必须加上with (encoding=‘utf8’)子句，以方便FEA用uft8进行文件解码。

二、sep参数

FEA分析工具加载csv文件时，默认的分隔符为"，"(即 with (sep=','))。若是用户在加载csv文件时以’|’为分隔符，那么就是sep='|'。若是加载文本文件整一行，就用文本不存在的特殊字符。

三、 header参数

加载csv文件时，默认为header=0，即csv文件内容的第一行为列名；若是CSV文件第一行不是列名而是数据，这时能够设置为header=-1,此时生成的DF表将从0开始按顺序生成列名。

3、文本数据源存储详解

如下是FEA 文本格式存储原语的示例，见下图：

在你存储完结果数据并下载查看时，你常常会发现文件会多出index列，那么咱们怎么去除这一列呢？

技巧在Index参数这里，格式以下：

index=True 或者index=False

其中，默认设置为True，若是不想带index可设置为False。

注意index参数，只在store命令中生效。

4、其余

随着FEA的发展，对文件编码的识别将变的自动化，未来encoding参数会使用的比较少。若是你必定要强制设置文件编码格式，须要将encoding参数放置在最前面。

请同窗们赶忙按照本武功心法，回家练习基础功，等你练到第三层，咱们就能够出师征战大数据分析了。下次咱们将讲NOSQL数据库的装载，请期待！

 

往期精彩文章：

FEA从入门到精通系列 | 基础原语分类