开发常用各种源设置

在日常开发过程中,经常会受到国内网络环境限制导致类似:apt install大半天、brew install卡条、npm install一直转圈等诸多蛋疼的事情。
恰好我最近重装了笔记本操作系统,也记录一下我在开发过程中需要设置国内源改善开发环境的过程。

react+cesium开发小结

从一月份开始,主要在做cesium的开发,和之前不同的是这次是在react框架的基础上进行开发的😄

2017小结

今天写完年度工作总结之后,才想起快有两个多月没有更新博客了,主要是因为从十月末开始,我的生活和工作环境都有比较大的变动,索性来一篇所谓的年度小结来概括一下2017这一整年值得纪念的点点滴滴。

前端项目的自动化测试和部署初试

项目的正常运行离不开完备的测试和正确的部署。通常在项目开发的过程中,我们会写出不同类型的测试从而最大程度的减少bug查找修复时间、降低项目重构成本、增加项目迭代过程中对代码质量的信心,保证项目正常上线。为了能够给用户呈现最新的项目开发成果,一次次手动拷贝代码、登陆远程主机、配置代码运行环境显然比较低效。所以,自动化测试和部署能够有效提升项目开发效率。
这篇博客也是总结一下我最近在开发的一个前端项目中使用jenkins+gitlab进行自动化测试和部署的过程。

使用docker安装jenkins

最近在学习jenkins相关的东西,想在自己电脑上安装一套jenkins环境,发现可以通过docker来完成这个任务,下面主要记录一下安装过程。

离线环境python项目的部署

最近自己参与的一个项目接近尾声,需要把代码部署到甲方提供的服务器。本来想着没有什么困难,谁知道甲方提供的服务器需要连接到vpn堡垒机之后才能连接,并且服务器是不能与外网直接连接的。知道真相的我眼泪掉下来。

在vultr上搭建shadowsocks

为啥突然想要自己搭一个shadowsocks呢,事情的起因是这样的:蓝灯这个项目在git trending上连续上榜多日,看了评论发现原来这个东西是个vpn,很多人用来当梯子。因为最近种种原因这个梯子现在用不成了,所以很多用户跑来吐槽。我一直比较懒,都是直接买的现成的vpn,现在一直在用这个官网经常上不去的netfits,总体感觉还行,就是价格有点贵,所以趁着这个十一长假之后的第一个周五下午来搞点事情,搭一个自己的ss服务器。
lantern.png

一次异步任务的执行过程

最近在做一个小型的mongodb运维工具,在开发的过程中想要实现mongodb数据库备份的功能:前端页面提供一个按钮,用户点击之后向后端post想要备份哪个数据库,后端接到请求之后将这个任务发给异步任务队列,在数据库完成备份之后,后端推送一个包含此次备份详情的消息给前端页面,并且提供一个能够下载此备份文件的链接。
我的实现方法可以用下边这个图来表达:
task-flow.png

mongodb使用总结

本想上周末写好这篇总结的,无奈一起开黑的时间总是过得很快,就偷了个懒,并且还学了个新菜:西红柿牛腩.jpg。所以就把总结的事情放到今天来了。
初次接触mongodb还是在研一刚入学的时候,那时候接触的东西少,很多概念都不清楚,到现在差不多已经有三年了,所以总结一下我用mongodb做了哪些事情还是比较有意义的。

proxy在爬虫中的使用姿势

通过爬虫获取数据会经常被服务器ban掉ip,所以有个有效的proxy pool十分必要。这几天在爬网易云音乐的用户数据,顺便搞了个proxyhunter,并且尝试发布成pip包:proxyhunter,方便以后的使用。下面主要说下requests在进行请求的时候,proxy如何设置,以及我这个proxyhunter如何使用。