python网络爬虫采集联想词示例


Posted in Python onFebruary 11, 2014

python爬虫_采集联想词代码

#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特别提示,下面这个list中的代理ip可能失效,请换上有效的代理ip
iplist  = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']
list1 = ["集团","科技"]
for item in list1:
    ip= choice(iplist)
    gjc = urllib.quote(item)
    url = "http://sug.so.360.cn/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
    headers = {
                "GET":url,
                "Host":"sug.so.360.cn",
                "Referer":"http://www.so.com/",
                "User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
                }
    proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})
    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener( opener )
    req = urllib2.Request(url)
    for key in headers:
        req.add_header(key,headers[key])
    html = urllib2.urlopen(req).read()
    ss = re.findall("\"(.*?)\"",html)
    for item in ss:
        print item
    time.sleep(2)
Python 相关文章推荐
python实现代理服务功能实例
Nov 15 Python
Python自动调用IE打开某个网站的方法
Jun 03 Python
用python记录运行pid,并在需要时kill掉它们的实例
Jan 16 Python
numpy的文件存储.npy .npz 文件详解
Jul 09 Python
Python使用Selenium模块模拟浏览器抓取斗鱼直播间信息示例
Jul 18 Python
python 回溯法模板详解
Feb 26 Python
Python接口测试get请求过程详解
Feb 28 Python
python微信公众号开发简单流程实现
Mar 09 Python
python下对hsv颜色空间进行量化操作
Jun 04 Python
零基础学python应该从哪里入手
Aug 11 Python
python读取pdf格式文档的实现代码
Apr 01 Python
python 爬取天气网卫星图片
Jun 07 Python
python基础教程之实现石头剪刀布游戏示例
Feb 11 #Python
python使用递归解决全排列数字示例
Feb 11 #Python
python基础教程之popen函数操作其它程序的输入和输出示例
Feb 10 #Python
python基础教程之python消息摘要算法使用示例
Feb 10 #Python
go和python调用其它程序并得到程序输出
Feb 10 #Python
python实现socket端口重定向示例
Feb 10 #Python
python访问sqlserver示例
Feb 10 #Python
You might like
php simplexmlElement操作xml的命名空间实现代码
2011/01/04 PHP
php根据分类合并数组的方法实例详解
2013/11/06 PHP
PHP实现的多进程控制demo示例
2019/07/22 PHP
简单实例处理url特殊符号&处理(2种方法)
2013/04/02 Javascript
jquery中文乱码的多种解决方法
2013/06/21 Javascript
利用jq让你的div居中的好方法分享
2013/11/21 Javascript
给事件响应函数传参数的四种方式小结
2013/12/05 Javascript
jQuery构造函数init参数分析
2015/05/13 Javascript
详解WordPress开发中get_current_screen()函数的使用
2016/01/11 Javascript
详解JavaScript表单验证(E-mail 验证)
2016/03/31 Javascript
Javascript点击按钮随机改变数字与其颜色
2016/09/01 Javascript
利用jquery获取select下拉框的值
2016/11/23 Javascript
详解nodejs微信公众号开发——3.封装消息响应模块
2017/04/10 NodeJs
Vue 实现分页与输入框关键字筛选功能
2020/01/02 Javascript
jQuery实现聊天对话框
2020/02/08 jQuery
python 删除列表里所有空格项的方法总结
2018/04/18 Python
Python格式化输出字符串方法小结【%与format】
2018/10/29 Python
python numpy 按行归一化的实例
2019/01/21 Python
python实现K近邻回归,采用等权重和不等权重的方法
2019/01/23 Python
pandas DataFrame 交集并集补集的实现
2019/06/24 Python
python实现邮件自动发送
2019/08/10 Python
Python通过cv2读取多个USB摄像头
2019/08/28 Python
Python Sympy计算梯度、散度和旋度的实例
2019/12/06 Python
KIEHL’S科颜氏官方旗舰店:源自美国的顶级护肤品牌
2018/06/07 全球购物
香港百佳网上超级市场:PARKNSHOP.com
2020/06/10 全球购物
英国顶尖手表珠宝品牌独家授权经销商:HS Johnson
2020/10/28 全球购物
斯福泰克软件测试面试题
2015/02/16 面试题
称象教学反思
2014/02/03 职场文书
勤奋学习演讲稿
2014/05/10 职场文书
医院保洁服务方案
2014/06/11 职场文书
2014年教师节国旗下讲话稿
2014/09/10 职场文书
2014年纠风工作总结
2014/12/08 职场文书
自主招生自荐信格式
2015/03/04 职场文书
社区敬老月活动总结
2015/05/07 职场文书
Axios取消重复请求的方法实例详解
2021/06/15 Javascript
浅谈Java父子类加载顺序
2021/08/04 Java/Android