mongodb使用总结

本想上周末写好这篇总结的,无奈一起开黑的时间总是过得很快,就偷了个懒,并且还学了个新菜:西红柿牛腩.jpg。所以就把总结的事情放到今天来了。
初次接触mongodb还是在研一刚入学的时候,那时候接触的东西少,很多概念都不清楚,到现在差不多已经有三年了,所以总结一下我用mongodb做了哪些事情还是比较有意义的。

proxy在爬虫中的使用姿势

通过爬虫获取数据会经常被服务器ban掉ip,所以有个有效的proxy pool十分必要。这几天在爬网易云音乐的用户数据,顺便搞了个proxyhunter,并且尝试发布成pip包:proxyhunter,方便以后的使用。下面主要说下requests在进行请求的时候,proxy如何设置,以及我这个proxyhunter如何使用。

Iterables,Iterators和Generators

最近一段时间都在研究python里边的一些概念:iterator,iterable和generator.看到这篇文章写的十分不错,基本上讲清楚了这三个东西都是什么以及他们之间的关系.这当然值得记录一下😊.
所谓一图胜千言,这篇文章中的这个关系图让人一目了然.
relationships.png

python的itertools[读文档]

python的itertools库受到了来自APL, Haskell和SML的灵感,并且用最适合python语言特性的形式重构。它差不多可以说是定义了一套高效、节省内存的方法使用纯python来构建开发者所需要的各种不同迭代器。

python2.7.13内建函数[读文档]

最近准备系统的看一下python文档,并将看到的东西记一下,所以[读文档]可能将会成为一个系列。
目前基本看完了内建函数部分,后续会继续更新(pass标记表示还未更新内容)。

celery和fabric的使用

很早就听说celeryfabric这两个神器,最近同时在做两个自己的小项目,更新比较频繁,一遍一遍手动部署太过僵硬,所以才真正用到了这俩好东西。