我们都知道在采集数据过程中，尤其是爬取大量数据的时候，很多网站都有反爬虫措施，封 ip是很严重的，，让你在采集的时候很心烦。本文就如何解决这个问题总结出一些应对措施，这些措施可以单独使用，也可以同时使用，效果更好。 一 …

学习日期：2017/09/13 第一课：愉快的开始 知识点汇总 1. Python的应用范围：操作系统、3D动画、WEB、企业应用、云计算等。 2. Python是什么类型的语言？脚本语言，即电脑编程语言，比C、C++或…

1.配置vs code的中文环境 https://jingyan.baidu.com/article/7e44095377c9d12fc1e2ef5b.html 2.在vs code中配置python开发环境 https…

目录大纲： 本套教程15天 1-3   天内容为Linux基础命令 4-13  天内容为Python基础教程 14-15 天内容为 飞机大战项目演练 …

# 8-1 消息 def display_message(): print("This chapter I will learning function.") display_message() # 8-2 喜欢的图书 …

01 Python概述 Python是一种面向对象的解释性的计算机程序设计语言，也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日…

#!/usr/local/bin/python #-*- coding:utf-8 -*- # Author: jacky # Time: 14-2-22 下午11:48 # Desc: 短信http接口的python代…

虽然动态代理 ip 是数据采集过程中必不可少的，但是使用了动态切换 ip ，并不表示就一定不封 ip. 因为网站的反爬不仅仅是 ip 策略，还有 cookie 、 ua 甚至 js 统计分析等，这些都需要针对网站进行一些…

在周五的下午三点钟（为什么是这个时间？因为事情总会在周五下午三点钟发生），你收到一条通知，客户发现你的软件出现一个错误。在有了初步的怀疑后，你联系运维，查看你的软件日志以了解发生了什么，因为你记得收到过日志已经搬家了的通…

1. 在 vim 中检查 开始查到的是使用 flakes-vim 这个 vim 插件, 进入其 githuab 主页发现不推荐使用它, 而是使用更全能的 syntastic, 可以检查包括 Python 在内的多种语言的…

如果你搜一圈 “Fabric “关键字，你会发现 90% 的资料都是过时的，因为现在 Fabric 支持 Python3，但是它又不兼容旧版 Fabric。所以，如果你按照那些教程去操作的话根本跑…

之前由于工作的需要玩了快一年的hadoop，做了一些数据分析的基础工作。 自然，hadoop用做离线分析还是完全满足需求的，无论是自己写mapreduce代码开发 又或者使用hive来便利分析，但是面对实时计算，就需要跟…