Clik here to view.
Python爬虫爬取动态页面思路+实例（二）
上篇 python爬虫爬取动态页面思路+实例（一） 提到，爬取动态页面有两种方法 分析页面请求 selenium模拟浏览器行为（这篇介绍这个） 理论上来讲，这种方法可以应对各种动态加载，因为模拟人的行为嘛，如果人自己用浏览器来看网页都加载不出数据来，这网站吃枣药丸。但是它的显著缺点就是―― 慢 。所以一般情况下，这是一种万不得已的方法。...
View ArticleChristophe Pettus: A Cheap and Cheerful Replication Check
20:24 A Cheap and Cheerful Replication Check 28 December 2016 On a PostgreSQL primary / secondary pair, it’s very important to monitor replication lag. Increasing replication lag is often the first...
View ArticleClik here to view.
这些方法助力Python开发者提高效率
python 是一个美丽的语言，可以激发用户对它的爱。所以如果你试图加入 程序员 行列，或者你有点厌倦C++，Perl，Java 和其他语言，我推荐你尝试Python。Python有很多吸引程序员的功能，它易学，面向对象，字节码编译，免费且开源。还有运行时检查。完整快速的支持，可以执行各种任务的扩展。 高效的Python 在这篇文章，我想强调一些 Python...
View ArticleClik here to view.
使用Scrapy-redis实现分布式爬取
Scrapy是一个比较好用的python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。...
View ArticleClik here to view.
Drchrono Help us fix healthcare through Django and Python
Why work at drchrono? Ever wonder what it was like to work at Apple, Google or Facebook when there were just forty people at the company? Imagine building a company that sparked a movement. That's the...
View ArticleClik here to view.
小白零基础学数据分析年终总结
2016年的尾声到临，回顾一年坎坷的转行路途，迷茫无助但只能前行，感谢帮助过我的伙伴和路人。2016年的数据分析之路我是由三个方面出发：1.统计学（商务与经济统计） 2.EXCEL 3.python。 前两项比较基础，主要说下我的python经历。 对于为接触过C语言的人来说，python是极好的入手语言，当初考虑python既可以编程又能进行数据分析，便拥入了人生苦短，我用python的人生。...
View ArticleClik here to view.
用Python实现简易可拓展的规则引擎
用python实现简易可拓展的规则引擎 做这个规则引擎的初衷是用来实现一个可序列号为json，容易拓展的条件执行引擎，用在类似工作流的场景中，最终实现的效果希望是这样的： ![] 简单整理下需求 执行结果最终返回=true= or false 支持四则运算，逻辑运算以及自定义函数等 支持多级规则组合，级别理论上无限（Python递归调用深度限制） 序列化成json 实现...
View Article通俗 Python 设计模式 ： 通俗 Python 设计模式――建造者模式
建造者模式，是创建型模式中的第三种模式，一般的开发过程中 用的比较少 。所以只做简单的介绍。 根据书上的介绍，建造者模式通常用于补充工厂模式的不足，尤其是在如下场景中： 要求一个对象有不同的表现，并且希望将对象的构造与表现解耦 要求在某个时间点创建对象，但在稍后的时间点再访问 看起来是很难理解，其实 最常用的一个场景 就是操作数据库的 orm。回想一下，orm 中一个很重要的概念： 延迟加载...
View ArticleClik here to view.
Stockstats Python module for various stock market indicators
I’m always working with stock market data and stock market indicators. During this work, there’s times that I need to calculate things like Relative Strength Index (RSI), Average True Range (ATR),...
View ArticleClik here to view.
python开发一个简单的聊天室
python开发一个简单的聊天室 一点号Python热爱者昨天 使用python的twisted框架编写一个简单的聊天室 下面是基本架构 php?url=0FM28hA4gZ" alt="python开发一个简单的聊天室" />基本架构图 # -*- coding:utf-8 -*- fromtwisted.internet.protocolimportFactory...
View ArticleClik here to view.
揭秘Python（一）
揭秘python（一） 一点号linux运维黑匣子昨天 说起Python想必大家不算陌生了，知道它能够编写网页，撰写脚本等等其他计算机程序设计语言能够干的工作，同时也能干其他计算机程序设计语言不能干的事情，比如充当两种语言的“粘合剂”等。 那么很多人一定也自学过Python，但是感觉学着学着头都大了也不知道书上说的是什么，那么就跟随我的步伐一点一点揭开Python神秘的面纱吧！...
View ArticlePython网络编程(1)--套接字、IPv4和简单的客户端/服务器编程
本文通过一些简单的攻略介绍python的核心网络库。 Python的socket模块提供了类方法和实例方法，二者的区别在于使用类方法时不需要创建套接字对象实例。 这是一种很直观的方法。例如，打印设备的IP地址不需要创建套接字对象，而只需调用套接字的类方法。但是，如果要把数据发送给服务器程序，那么创建一个套接字对象来处理具体的操作则更加自然。 1、打印设备名和 IPv4 地址...
View Article学习Python中的一些小游戏
简单实现LOVE 首先我来给大家介绍一下如何实现一行代码打出love,代码看下面 print('\n'.join([''.join([('love'[(x-y)%len('love')]if ((x*0.05)**2+(y*0.1)**2-1)**3-(x*0.05)**2*(y*0.1)**3<=0 else ' ') for x in range(-30,30)])for y in...
View ArticleClik here to view.
Python 多进程实战 & 回调函数理解与实战
这篇博文主要讲下笔者在工作中python多进程的实战运用和回调函数的理解和运用。 多进程实战 实战一、批量文件下载 从一个文件中按行读取 url ，根据 url 下载文件到指定位置，用多进程实现。 #!/usr/local/python27/bin/python2.7 from multiprocessing import Process,Pool import os,time,random,sys...
View ArticlePython3的静态类型检查
python和大多数的解释型语言一样，属于弱类型的语言。它的优点就是语言灵活，不需要考虑各种类型以及模板。但是缺少类型检查也会引入很多问题。比如， def join(string_list): return ', '.join(string_list) 对于这个函数，期望的结果就是会把[‘hello’, ‘world’]变成’hello, world’。...
View Articlepython按任意键继续程序
在windows下写bat的时候，通过pause命令，可以暂停程序运行，例如经常见的程序会在终端提示”按任意键继续……”,用户在终端回车后程序可以接着运行，这个功能有多大用途今天暂且不说，但我觉得应该有很多人也想在python下实现这个功能，这样当自己写的python程序运行时，...
View Article你应该学会的python列表去重
列表去重是写python脚本时常遇问题，因为不管源数据来自哪里，当我们转换成列表的方式时，有可能预期的结果不是我们最终的结果，最常见的就是列表中元素有重复，这时候第一件事我们就要做去重处理，我们先来个最简单的方式，用python内置的数据类型set来实现。 假设我们的列表数据是这样的： level_names = [ u'Second Level', u'Second Level',...
View ArticleClik here to view.
Data Exploration with Python, Part 1
Exploratory data analysis (EDA) is an important pillar of data science, a critical step required to complete every project regardless of the domain or the type of data you are working with. It is the...
View ArticleClik here to view.
PyCharm: PyCharm 2017.1 Early Access Program Started
Even though PyCharm 2016.3 was only released last month, we haven’t been idle, and wehave beenworking hard on improving PyCharm. If you want to have a sneak peek at what’s coming in the next version...
View ArticleClik here to view.
How to Check if Time Series Data is Stationary with Python
Time series is different from more traditional classification and regression predictive modeling problems. The temporal structure adds an order to the observations. This imposed order means that...
View Article