python网络爬虫采集联想词示例


Posted in Python onFebruary 11, 2014

python爬虫_采集联想词代码

#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特别提示,下面这个list中的代理ip可能失效,请换上有效的代理ip
iplist  = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']
list1 = ["集团","科技"]
for item in list1:
    ip= choice(iplist)
    gjc = urllib.quote(item)
    url = "http://sug.so.360.cn/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
    headers = {
                "GET":url,
                "Host":"sug.so.360.cn",
                "Referer":"http://www.so.com/",
                "User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
                }
    proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})
    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener( opener )
    req = urllib2.Request(url)
    for key in headers:
        req.add_header(key,headers[key])
    html = urllib2.urlopen(req).read()
    ss = re.findall("\"(.*?)\"",html)
    for item in ss:
        print item
    time.sleep(2)
Python 相关文章推荐
python错误处理详解
Sep 28 Python
python正则表达式之作业计算器
Mar 18 Python
python实现闹钟定时播放音乐功能
Jan 25 Python
Python 实现一行输入多个值的方法
Apr 21 Python
修复 Django migration 时遇到的问题解决
Jun 14 Python
Python初学者需要注意的事项小结(python2与python3)
Sep 26 Python
python遍历文件夹找出文件夹后缀为py的文件方法
Oct 21 Python
Python求两个圆的交点坐标或三个圆的交点坐标方法
Nov 07 Python
python f-string式格式化听语音流程讲解
Jun 18 Python
python 实现单通道转3通道
Dec 03 Python
opencv设置采集视频分辨率方式
Dec 10 Python
python实现FTP文件传输的方法(服务器端和客户端)
Mar 20 Python
python基础教程之实现石头剪刀布游戏示例
Feb 11 #Python
python使用递归解决全排列数字示例
Feb 11 #Python
python基础教程之popen函数操作其它程序的输入和输出示例
Feb 10 #Python
python基础教程之python消息摘要算法使用示例
Feb 10 #Python
go和python调用其它程序并得到程序输出
Feb 10 #Python
python实现socket端口重定向示例
Feb 10 #Python
python访问sqlserver示例
Feb 10 #Python
You might like
PHP socket 模拟POST 请求实例代码
2016/07/18 PHP
thinkPHP5.0框架简单配置作用域的方法
2017/03/17 PHP
使用PHPExcel实现数据批量导出为excel表格的方法(必看)
2017/06/09 PHP
javascript 命名空间以提高代码重用性
2008/11/13 Javascript
利用javascript实现禁用网页上所有文本框,下拉菜单,多行文本域
2013/12/14 Javascript
js实现checkbox全选和反选示例
2014/05/01 Javascript
JavaScript检查弹出窗口是否被阻拦的方法技巧
2015/03/13 Javascript
js限制input标签中只能输入中文
2015/06/26 Javascript
jQuery zclip插件实现跨浏览器复制功能
2015/11/02 Javascript
Bootstrap每天必学之栅格系统(布局)
2015/11/25 Javascript
BootStrap学习系列之Bootstrap Typeahead 组件实现百度下拉效果(续)
2016/07/07 Javascript
ng-zorro-antd 入门初体验
2018/12/03 Javascript
微信小程序使用map组件实现检索(定位位置)周边的POI功能示例
2019/01/23 Javascript
vue过滤器用法实例分析
2019/03/15 Javascript
Cordova(ionic)项目实现双击返回键退出应用
2019/09/17 Javascript
webpack常用配置总览(小结)
2019/11/18 Javascript
Antd的table组件表格的序号自增操作
2020/10/27 Javascript
[01:52]深扒TI7聊天轮盘语音出处7
2017/05/11 DOTA
在Python的Django框架中加载模版的方法
2015/07/16 Python
深入解析Python中的集合类型操作符
2015/08/19 Python
Python实现的圆形绘制(画圆)示例
2018/01/31 Python
Tensorflow 合并通道及加载子模型的方法
2018/07/26 Python
python 字典 setdefault()和get()方法比较详解
2019/08/07 Python
Python3 中作为一等对象的函数解析
2019/12/11 Python
pytorch构建多模型实例
2020/01/15 Python
使用python实现微信小程序自动签到功能
2020/04/27 Python
在Keras中实现保存和加载权重及模型结构
2020/06/15 Python
Python实例方法、类方法、静态方法区别详解
2020/09/05 Python
解决PyCharm不在run输出运行结果而不是再Console里输出的问题
2020/09/21 Python
matplotlib grid()设置网格线外观的实现
2021/02/22 Python
美国嘻哈文化生活方式品牌:GLD
2018/04/15 全球购物
小学教师自我鉴定
2013/11/07 职场文书
《和田的维吾尔》教学反思
2014/04/14 职场文书
团队队名口号大全
2014/06/06 职场文书
付款承诺函范文
2015/01/21 职场文书
付款证明模板
2015/06/19 职场文书