Python使用lxml模块和Requests模块抓取HTML页面的教程
Web抓取Web站点使用HTML描述，这意味着每个web页面是一个结构化的文档。有时从中 获取数据同时保持它的结构是有用的。web站点不总是以容易处理的格式， 如 csv 或者 json 提供它们的数据。这正是web抓取出场的时机。Web抓取是使用计算机程序将web页面数据进行收集...
View Articlepython操作字典类型的常用方法(推荐)
has_key()方法可以检查字典中是否含有指定的键，如果有则返回True,否则就返回False。语法格式：dictionary_name.has_key(key) dict1 = {'01':'yangry','02':'weild','03':'hexh','04':'huangmg'}print dict1.has_key('02')print dict1.has_key('08')...
View Articlepython字典的常用操作方法小结
python字典是另一种可变容器模型(无序)，且可存储任意类型对象，如字符串、数字、元组等其他容器模型。本文章主要介绍Python中字典(Dict)的详解操作方法,包含创建、访问、删除、其它操作等,需要的朋友可以参考下。字典由键和对应值成对组成。字典也被称作关联数组或哈希表。基本语法如下：1.创建字典>>> dict = {'ob1':'computer',...
View Article浅析Python 中整型对象存储的位置
在 python 整型对象所存储的位置是不同的, 有一些是一直存储在某个存储里面, 而其它的, 则在使用时开辟出空间.说这句话的理由， 可以看看如下代码：a = 5b = 5a is b # Truea = 500b = 500a is b # False由上面的代码可知, 整型 5 是一直存在的, 而整型 500 不是一直存在的.那么有哪些整数是一直存储的呢?a, b, c = 0, 0,...
View Articlepython字符类型的一些方法小结
int 数字类型class int(object): """ int(x=0) -> int or long int(x, base=10) -> int or long Convert a number or string to an integer, or return 0 if no arguments are given. If x is floating point, the...
View Article浅谈Python 中整型对象的存储问题
在 python 整型对象所存储的位置是不同的, 有一些是一直存储在某个存储里面, 而其它的, 则在使用时开辟出空间.说这句话的理由, 可以看看如下代码:a = 5b = 5a is b # Truea = 500b = 500a is b # False由上面的代码可知, 整型 5 是一直存在的, 而整型 500 不是一直存在的.那么有哪些整数是一直存储的呢?a, b, c = 0, 0,...
View ArticlePython对文件操作知识汇总
打开文件操作文件1打开文件时，需要指定文件路径和打开方式打开方式：r：只读w：只写a：追加“+”表示可以同时读写某个文件r+：读写w+：写读a+：同aU"表示在读取时，可以将 \r \n \r\n自动转换成 \n （与 r 或 r+ 模式同使用）rUr+U"b"表示处理二进制文件（如：FTP发送上传ISO镜像文件，linux可忽略，windows处理二进制文件时需标注）rbwbabf =...
View Articlepython实现SMTP邮件发送功能
一直想着给框架添加邮件发送功能、所以整理下python下邮件发送功能首先python是支持邮件的发送、内置smtp库、支持发送纯文本、HTML及添加附件的邮件。之后是邮箱、像163、qq、新浪等邮箱默认关闭SMTP服务，需要我们手动打开，打开后通过发件人邮箱、授权密码 通过发件人的SMTP服务发送代码如下：#!/usr/bin/env python# -*- coding: utf_8...
View Article详解Python函数作用域的LEGB顺序
本文为大家介绍了python函数作用域的查找顺序，供大家参考，具体内容如下1.什么是LEGB？ L:local 函数内部作用域 E:enclosing 函数内部与内嵌函数之间 G:global 全局作用域 B:build-in 内置作用域2.LEGB是作什么用的？为什么非要介绍这个呢?或者说它们的作用是什么?...
View Articlepython爬取51job中hr的邮箱
本文实例为大家分享了python爬取51job中hr的邮箱具体代码，供大家参考，具体内容如下#encoding=utf8import urllib2import cookielibimport reimport lxml.htmlfrom _ast import TryExceptfrom warnings import catch_warningsf =...
View ArticlePhantomjs抓取渲染JS后的网页（Python代码）
最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。python调用Phantomjs貌似没有现成的第三方库（如果有，请告知小编），漫步了一圈，发现只有pyspider提供了现成的方案。简单试用了一下，感觉pyspider更像一个为新手打造的爬虫工具，好比一个老妈子，有时无微不至，有时喋喋不休。...
View Articlepython基于phantomjs实现导入图片
基于的phantomjs的自动化，会出现1.flash不支持2.部分基于view的按钮点不到，部分按钮是基于flash的(尤其是在于上传按钮)browser.find_element_by_xpath(".//*[@name='SWFUpload_0']").click() #点击上传按钮sleep(2)autoit.control_set_text("", "[CLASS:Edit;...
View ArticleRuby与Ruby on Rails框架环境搭建的简明教程
安装Ruby与升级RubyGems提示：在Ubuntu环境下安装过程中，如果提示权限问题，可以使用sudo make和sudo make install。1.Ruby安装wget http://ftp.ruby-lang.org/pub/ruby/1.9/ruby-1.9.3-p125.tar.gz \&& tar -xzvf ruby-1.9.3-p125.tar.gz...
View ArticleLinux下Redis数据库的安装方法与自动启动脚本分享
安装Redis (1) 下载Rediswget http://redis.googlecode.com/files/redis-2.2.11.tar.gztar xzvf redis-2.2.11.tar.gz (2) 编译并安装Redismake && make install (3) 复制并修改配置文件cp redis.conf /etc/redis.confvi...
View ArticleRuby中的gem包管理的使用及gem源搭建教程
熟练使用RubyGemsRubyGems是Ruby的插件管理系统，可以轻松安装及管理Ruby函式库。可以在RubyGems上找到所有开源套件。###常见指令 gem -v 查看RubyGems的版本 gem update --system 升级RubyGems的版本 gem install gem_name 安装某个插件 gem install -v x.x.x gem_name 安装指定版本的插件...
View ArticleRuby程序中正则表达式的基本使用教程
Ruby大部分的内置类型都和其它的编程语言很相似。主要有strings，integers，floats，arrays等等。然而，只有脚本语言，如Ruby，Perl，和awk等提供了内置表达式类型的支持。正则表达式尽管比较隐蔽，但却是一个很强大的文本处理工具。正则表达式是使用指定的模式匹配字符串的一种简单的方法。在Ruby中，创建正则表达式的典型方式是把模式写在两个斜线之间/pattern/。毕竟，R...
View Article详解Ruby中的instance_eval方法及其与class_eval的对比
instance_eval方法这个BasicObject#instance_eval有点类似JS中的bind方法，不同的时，bind是将this传入到对象中，而instance_eval则是将代码块(上下文探针Context Probe)传入到指定的对象中，一个是传对象，一个是传执行体。通过这种方式就可以在instance_eval中的代码块里访问到调用者对象中的变量。示例代码class...
View Article简要解读Ruby面向对象编程中的作用域
作用域Ruby中不具备嵌套作用域(即在内部作用域，可以看到外部作用域的)的特点，它的作用域是截然分开的，一旦进入一个新的作用域，原先的绑定会被替换为一组新的绑定。程序会在三个地方关闭前一个作用域，同时打开一个新的作用域，它们是: 类定义class 模块定义 module 方法定义...
View ArticleClik here to view.
Ruby的面向对象方式编程学习杂记
打开类可以重新打开已经存在的类并对之进行动态修改，即使像String或者Array这样标准库的类也不例外。这种行为方式称之为打开类(open...
View Article