路飞学城5个月变身自动化开发工程师

爱分享 爱生活 加油 2021 

 百度网盘

提取码：qhhv 

 

1.就看了本python简明教程，而后就开始摸索着写，后来混迹各大论坛，看看别人发的代码以及一些框架的源码，本身仔细研究下别人写的好的地方，而后重写一遍，从没看过视频

2.工做中用到python来作线下的数据挖掘，主要是用python来写一些hadoop中的mapreduce任务，还有就是重写了整套监控系统，gangglia的api是生成xml文件，用python来处理xml仍是很给力的，如今主要的精力放在web开发方面

3.优点是语法简洁，可阅读性可维护性强，上手快，可是要写好得须要多研究，对php和perl都了解一些，可是就是没兴趣写php和perl

4.自动化运维方面主要就是监控，批量管理和部署平台，以及对hadoop的流程化工具

5.工做中的一个脚本（主要用facebook开源thrift的模块，来作c/s通讯的一个简单应用，场景是hadoop异步处理完数据，给server推送一个消息，而后server到client取数据）

import sys

sys.path.append('../gen-py')       #安装完thrift，添加路径，好像默认支持c++,python

from Profile import Profile

from Profile.ttypes import *

from Profile.constants import *

from thrift import Thrift

from thrift.transport import TSocket

from thrift.transport import TTransport

from thrift.protocol import TBinaryProtocol    #导入各类模块

class Profile_client:        #定义类

host=''

port=''

def __init__(self,host,port):   #类的初始化,初始建立链接须要的参数

global client

self.host = host

self.port = port

transport = TSocket.TSocket(self.host, self.port)

transport = TTransport.TBufferedTransport(transport)

protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Profile.Client(protocol)

transport.open()

def  connect_server(self,name,mess):                         #链接方法

client.notifyReload(tt,"yes ,data is ready,please get")

def __del__(self):    #关闭

return 0

本身多问下为何学python

若是一门语言没有改变你的编程思惟，那么它不值得你去学习”。若是这么说，咱们大学的时候，学习了c，c++，java，C#，算是值得学习么？不少时候是不值得，我以为咱们大学的课程就是用java，c#，c++把"C程序设计"又上了一遍.

这是由于，学校的老师会C和java之类的，因此要跟着规矩开这门课，（这也就是为何，许多学校还在教vb，）,这也就是为何，你因此为的同样就是你们都有For都有while，都有switch..都有Class...都有int 都有float,所谓的不同就是用C有指针，java没有，这就是为何教育是失败的，这也就是为何，我目前认识的几个编程大牛

python的优势：简单 我所说的简单，是相比于象C和C++这样的语言,你为了编程，要学习许多偏底层的东西.在好比，你在学习一个新的编程范式，或者想要立刻作个例子看看，试验某个API,若是你是写java的，你不得不去写一个main，写一些构造，即便有IDE这样的东西，可以为你带来代码生成器，而我作得就是写一段“脚本”，或者打开python交互式解释器就好了。

本身认识的python朋友出去工做，工资比较高，而后本身又刚恰好是会python因此选择学习python，这样的人比较危险可是也比较有激励，还有就是以为python比其余开发语言好用。

学完python前景会咋样

其实我我的是很看好python将来的就业前景的，由于我认识太多的工程师都已经在学python，不少都是月收入大几万的

我我的也并不是一直用python。前些年主要用c/c++以及java开发一些通讯，移动系统，互联网通讯。近3年开始才转向python。坦白的说，这可能与你相处的公司以及环境不大同样。随便举个例子，google的protocol buffer协议一出来就具备c++/python/java三种语言支持。google的广告系统早在03,04年左右就一并对python进行了webservice支持，大部分涉及基础核心系统的公司，都开始对python进行了扩展支持。甚至开源社区的postgresql数据库，除了自身的ansi SQL,pgsql,pg/TCL,PG/PERL以外对python进行了内嵌支持，惟独却没有呼声很高的java。在FREEBSD（MIT）/LINUX(GPL)平台上，对java可能排斥性比较大，但综合而言，目前python发展尚未java那种普及，主要是python大部分工做仍然是在较为深刻地系统层和框架层作设计开发，例如django,SQLAlchemy,fail2ban,mail邮件系统,twisted等等。这部分对于那种习惯应用前辈们框架的编码人员而言，缺少创造力的他们根本没法适用这种开发。尤为在python涉及一些系统层面须要有较强的c/c++能力，这部分人在国内要么就累得要死没时间，要么就啥都不会就会拷贝代码，而国内公司也鲜有主动去作这部分基础劳动的，大多都是等别人作好了在直接拿来用，因此造就了任何技术性的东西出来，国内都是先等等看，而后抄袭应用。

大环境如此，但千万误认为先等等看吧。对于一个技术人员而言，缺少对新技术的渴望与热情，这是一种很是危险的事情。我工做8年了，按照国内不少的人的说法早已不作代码了，但又一次在听一个老外的演讲，他说他50多岁仍然天天坚持写代码，了解最新的动态，因此他才能作到他们公司的首席科学家，所以它才能时刻指导项目团队前进并保证项目的质量。他坦言对于一个不写代码而且不了解最新的技术动态的技术人员或者技术团队的负责人而言，这种团队也就足够作做小项目，一旦压力和项目过大，就会有不少问题漏出来。

对于新人而言，不管学习什么技术，都要以鼓励的姿态出现。太多用薪水和你我的所看到的现状去衡量一门技术，那绝对是欠缺眼光的。任何一门技术，一旦有人学习，他有可能逐渐成为这个领域的专家，即使再滥再没有人用的开发语言技术，他也有可能就是明日的奠定者或者大师。

本身如何肯定目标

在生活中学会不断挖掘本身的潜力。咱们都是一个普通人，可能并不清楚本身到底在哪方面占有优点。因此，学着在生活中找到本身的优点，并根据优点选择必定的就业方向。

不随波逐流。不要看周围的人作什么，本身就作什么，也许别人作的并不适合你。别人的优点极可能会成为你的劣势。因此，坚决本身的想法，让本身知道那些方面适合本身，本身能够胜任。

不断尝试可能成为本身的优点。你不知道什么适合本身，因此才要大胆、勇敢地尝试。找到一种能够属于你的独特的优点。

坚决信念。一旦你坚决了本身的信念，就不要被别人的意见或是讽刺或是嘲笑所干扰。别人不是你，不懂的你在想什么，不清楚你开始这件事的源头。你的事情，不了解你的人，没有资格轻易评说。

不茫然，很少想。别让太多的事干扰到你奋斗下去的信念。梦想不允许太多的杂念。那些杂念只会让你的心越来越脆弱，多为一我的考虑，到头来，伤害的仍是本身。

每一个项目——不管你是在从事 Web 应用程序、数据科学仍是 AI 开发——均可以从配置良好的 CI/CD、Docker 镜像或一些额外的代码质量工具（如 CodeClimate 或 SonarCloud）中获益。全部这些都是本文要讨论的内容，咱们将看看如何将它们添加到 Python 项目中！

GitHub 库中提供了完整的源代码和文档：https://github.com/MartinHeinz/python-project-blueprint。

开发环境中可调试的 Docker 容器

有些人不喜欢 Docker，由于容器很难调试，或者构建镜像须要花很长的时间。那么，就让咱们从这里开始，构建适合开发的镜像——构建速度快且易于调试。

为了使镜像易于调试，咱们须要一个基础镜像，包括全部调试时可能用到的工具，像bash、vim、netcat、wget、cat、find、grep等。它默认包含不少工具，没有的也很容易安装。这个镜像很笨重，但这没关系，由于它只用于开发。你可能也注意到了，我选择了很是具体的映像——锁定了 Python 和 Debian 的版本——我是故意这么作的，由于咱们但愿最小化 Python 或 Debian 版本更新（可能不兼容）致使“破坏”的可能性。

做为替代方案，你也可使用基于 Alpine 的镜像。然而，这可能会致使一些问题，由于它使用musl libc而不是 Python 所依赖的glibc。因此，若是决定选择这条路线，请记住这一点。至于构建速度，咱们将利用多阶段构建以即可以缓存尽量多的层。经过这种方式，咱们能够避免下载诸如gcc之类的依赖项和工具，以及应用程序所需的全部库（来自requirements.txt）。

为了进一步提升速度，咱们将从前面提到的python:3.8.1-buster建立自定义基础镜像，这将包括咱们须要的全部工具，由于咱们没法将下载和安装这些工具所需的步骤缓存到最终的runner镜像中。说的够多了，让咱们看看Dockerfile：

# dev.Dockerfile

FROM python:3.8.1-buster AS builder

RUN apt-get update && apt-get install -y --no-install-recommends --yes python3-venv gcc libpython3-dev && \

    python3 -m venv /venv && \

    /venv/bin/pip install --upgrade pip

FROM builder AS builder-venv

COPY requirements.txt /requirements.txt

RUN /venv/bin/pip install -r /requirements.txt

FROM builder-venv AS tester

COPY . /app

WORKDIR /app

RUN /venv/bin/pytest

FROM martinheinz/python-3.8.1-buster-tools:latest AS runner

COPY --from=tester /venv /venv

COPY --from=tester /app /app

WORKDIR /app

ENTRYPOINT ["/venv/bin/python3", "-m", "blueprint"]

USER 1001

LABEL name={NAME}

LABEL version={VERSION}

从上面能够看到，在建立最后的runner镜像以前，咱们要经历 3 个中间镜像。首先是名为builder的镜像，它下载构建最终应用所需的全部必要的库，其中包括gcc和 Python 虚拟环境。安装完成后，它还建立了实际的虚拟环境，供接下来的镜像使用。接下来是build -venv镜像，它将依赖项列表（requirements.txt）复制到镜像中，而后安装它。缓存会用到这个中间镜像，由于咱们只但愿在requirement .txt更改时安装库，不然咱们就使用缓存。

在建立最终镜像以前，咱们首先要针对应用程序运行测试。这发生在tester镜像中。咱们将源代码复制到镜像中并运行测试。若是测试经过，咱们就继续构建runner。

对于runner镜像，咱们使用自定义镜像，其中包括一些额外的工具，如vim或netcat，这些功能在正常的 Debian 镜像中是不存在的。