恭喜，优达「数据科学家」首位毕业生在中国诞生！

今年的 5 月 25 日，优达学城中国区与硅谷总部同步，和 IBM Watson 、Kaggle 、贝塔斯曼、INSIGHT、figure eight 等全球 5 大行业领袖一块儿，面向全球推出了大数据分析殿堂级课程——「数据科学家」，一时间，来自全球各地的申请纷至沓来，咱们很高兴，其中就有不少来自中国的学员，他们和远在硅谷、印度、巴西、中东的学员一块儿，在同一块儿跑线上，向数据金字塔巅峰发起挑战。

现在，大半年过去了，终于在这收获季节，迎来了全球第一位「数据科学家」纳米学位毕业生，他不只克服了全英文教学的语言门槛，还完成了两个学期的挑战，他就是来自中国的优达学员——Kyle Chen，恭喜他经过优达扬帆起航！

今天，他将现身说法，讲讲他是如何沉迷学习，没法自拔，成为全球首位毕业生的心路历程。

优达学员说

学员姓名: Kyle Chen

学员职业（offer）: SA Developer（自动化研发工程师）

就任公司: MBCloud

座右铭，兴趣爱好等: 平时没事就多撸码, 看看书, 听听歌, 写写博客. 除了带娃, 就是学习, 码字.

Github: github.com/kylechenoO

Blog: hacking-linux.com

微信公众号: AINailN

你们好, 我是 Kyle Chen, 目前就任于深圳某银行, 已从事自动化研发方向的工做八年. 考虑到工做上的须要, 以及自身兴趣点所在, 于今年二月底, 开始尝试往 AI 方向转型.

数据科学, 人工智能, 机器学习, 深度学习, 乍一听名字, 高端, 大气. 但是当你深刻进去学了以后, 会发现其中的统计学, 几率论, 微积分, 任何一个部分的知识点提取出来, 都会是一门比较大的学科. 看到这里, 请不要惧怕, 咱们将其展开仔细看看, 也许并无你想一想中的那么难.

数据科学, 是一门比较泛的学科. 当数据科学家拿到一份最新的数据时, 第一时间须要考虑对数据的清洗, 在这一步, 要对数据作一些比较基本的处理, 例如某个特征值空缺太多, 咱们能够考虑将这个特征值给drop掉, 或者考虑使用中值/均值来作替换. 而后, 接下来咱们须要对数据进行一系列的预处理, 在这一步, 咱们会对一些异常数据进行筛查, 通过再三确认后, 将其剔除或者留下必定比例的异常值. 综合上面两步, 咱们已经获得了一份'干净'的数据.

在预处理中, 咱们还须要注意数据集中的数据分布, 固然, 将分布画出来的同时, 也能够对异常数据进行一系列的筛选(例如, 图片的尺寸, 大小, 当其尺寸相对于其它图片的尺寸差异太大时, 能够考虑将其从数据集中剔除. ). 若是须要的话, 在这里也能够对数据进行标准化, 正则化处理. 接下来, 须要对数据集进行拆分, 将其分为训练集, 验证集, 测试集, 能够参考比例(训练集:验证集:测试集, 6:2:2).

接下来, 正常状况下, 若是特征值过多, 可能会先对特征值作个筛选, 这个过程就叫作特征工程. 筛选的同时, 决定了咱们模型的输入数据. 而后, 对项目模型进行选取, 在经验不足, 或者仍是小白的状况下, 咱们能够优先考虑在一些已有模型上面作改进, 这个过程就叫作迁移学习. 使用迁移学习, 咱们能够直接将咱们的输入/输出部分像管道同样给套上去, 也能够将其原有迁移模型中的部分层解冻, 进行fine tune.

这中间涉及到很大一部分调参的工做, 调参调的好很差, 每每会直接影响到模型的精度, 若是你是新手的话, 建议在这里多尝试一些参数组合(例如learning rate, optimizer, 等等.). 在肯定好模型后, 咱们还须要对模型进行评估验证, 最简单粗暴的评分标准能够直接选择准确率, 错误率. 也能够将一些样本随机抽出来, 对其进行抽查与展示.

上面, 只是简单的介绍了如下使用机器学习/深度学习模型来作数据预测的一部分过程. 固然, 实际工做环境中, 每每不会这么简单. 可能会须要将其中的某些模块(例如, 模型部分, 后台接口, 前端展示)给拆分出来, 以RestFul接口或者其余形式来对其进行调用与输出. 固然, 这是软件工程中的一些问题.

在修完「数据科学家」纳米学位以后, 不仅仅是对数据的处理方式, 模型处理, 接口设计, 有了个比较详细的了解, 也加深了对总体AI行业的理解. 机器学习, 深度学习, 各类算法的研发只能活在科研领域, 具体如何落地, 实打实的去跑, 还得看数据科学家如何将其与现有数据与业务逻辑相融合, 最终才能给予决策层准确的指导.

固然, 这里的部分工做会跟你所在的行业呈现比较大的关联性. 仍是那句话, 想要作什么事情, 就把它作好, 花点时间投入进去, 在一个行业中沉淀下来, 你的经验与技术相融合, 总会有意想不到的惊喜.

最后，优达菌祝你们也能像本文做者，在优达学业有成，在事业上扬帆起航！

每日一图↓↓（汉化：新浪微博@爱生活爱可可）