python网络爬虫采集联想词示例


Posted in Python onFebruary 11, 2014

python爬虫_采集联想词代码

#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特别提示,下面这个list中的代理ip可能失效,请换上有效的代理ip
iplist  = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']
list1 = ["集团","科技"]
for item in list1:
    ip= choice(iplist)
    gjc = urllib.quote(item)
    url = "http://sug.so.360.cn/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
    headers = {
                "GET":url,
                "Host":"sug.so.360.cn",
                "Referer":"http://www.so.com/",
                "User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
                }
    proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})
    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener( opener )
    req = urllib2.Request(url)
    for key in headers:
        req.add_header(key,headers[key])
    html = urllib2.urlopen(req).read()
    ss = re.findall("\"(.*?)\"",html)
    for item in ss:
        print item
    time.sleep(2)
Python 相关文章推荐
Python Tkinter基础控件用法
Sep 03 Python
详解Python中使用base64模块来处理base64编码的方法
Jul 01 Python
Pycharm学习教程(2) 代码风格
May 02 Python
Python实现的将文件每一列写入列表功能示例【测试可用】
Mar 19 Python
python库lxml在linux和WIN系统下的安装
Jun 24 Python
Python将文本去空格并保存到txt文件中的实例
Jul 24 Python
python实现Excel文件转换为TXT文件
Apr 28 Python
Python统计分析模块statistics用法示例
Sep 06 Python
python 使用while写猜年龄小游戏过程解析
Oct 07 Python
python计算波峰波谷值的方法(极值点)
Feb 18 Python
解决Jupyter NoteBook输出的图表太小看不清问题
Apr 16 Python
利用Pycharm连接服务器的全过程记录
Jul 01 Python
python基础教程之实现石头剪刀布游戏示例
Feb 11 #Python
python使用递归解决全排列数字示例
Feb 11 #Python
python基础教程之popen函数操作其它程序的输入和输出示例
Feb 10 #Python
python基础教程之python消息摘要算法使用示例
Feb 10 #Python
go和python调用其它程序并得到程序输出
Feb 10 #Python
python实现socket端口重定向示例
Feb 10 #Python
python访问sqlserver示例
Feb 10 #Python
You might like
PHP中文处理 中文字符串截取(mb_substr)和获取中文字符串字数
2011/11/10 PHP
ThinkPHP令牌验证实例
2014/06/18 PHP
php 伪造ip以及url来路信息方法汇总
2014/11/25 PHP
PHP单例模式数据库连接类与页面静态化实现方法
2019/03/20 PHP
强悍无比的WEB开发好助手FireBug(Firefox Plugin)
2007/01/16 Javascript
JS option location 页面跳转实现代码
2008/12/27 Javascript
Javascript valueOf 使用方法
2008/12/28 Javascript
突发奇想的一个jquery插件
2010/11/19 Javascript
javascript抖动元素的小例子
2013/10/28 Javascript
js中浮点型运算BUG的解决方法说明
2014/01/06 Javascript
使用js检测浏览器是否支持html5中的video标签的方法
2014/03/12 Javascript
js 采用delete实现继承示例代码
2014/05/20 Javascript
Thinkphp模板没有解析直接原样输出的解决方法
2014/10/31 Javascript
JS判断网页广告是否被浏览器拦截过滤的代码
2015/04/05 Javascript
理解javascript模块化
2016/03/28 Javascript
jQuery获取多种input值的简单实现方法
2016/06/20 Javascript
Vue实现购物车功能
2017/04/27 Javascript
angular 内存溢出的问题解决
2018/07/12 Javascript
优雅的在React项目中使用Redux的方法
2018/11/10 Javascript
JS数组及对象遍历方法代码汇总
2020/06/16 Javascript
python画出三角形外接圆和内切圆的方法
2018/01/25 Python
Tensorflow 查看变量的值方法
2018/06/14 Python
11个Python Pandas小技巧让你的工作更高效(附代码实例)
2019/04/30 Python
Django urls.py重构及参数传递详解
2019/07/23 Python
django2.2安装错误最全的解决方案(小结)
2019/09/24 Python
简单瞅瞅Python vars()内置函数的实现
2019/09/27 Python
python自动点赞功能的实现思路
2020/02/26 Python
python使用re模块爬取豆瓣Top250电影
2020/10/20 Python
浅谈基于Canvas的手绘风格图形库Rough.js
2018/03/19 HTML / CSS
巴西图书和电子产品购物网站:Saraiva
2017/06/07 全球购物
波兰灯具、照明和LED购物网站:Lampy.pl
2019/03/11 全球购物
应届毕业生求职信范文
2014/05/08 职场文书
我的中国梦演讲稿高中篇
2014/08/19 职场文书
唐山大地震观后感
2015/06/05 职场文书
Python生成九宫格图片的示例代码
2021/04/14 Python
Redis基于Bitmap实现用户签到功能
2021/06/20 Redis