python网络爬虫采集联想词示例


Posted in Python onFebruary 11, 2014

python爬虫_采集联想词代码

#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特别提示,下面这个list中的代理ip可能失效,请换上有效的代理ip
iplist  = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']
list1 = ["集团","科技"]
for item in list1:
    ip= choice(iplist)
    gjc = urllib.quote(item)
    url = "http://sug.so.360.cn/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
    headers = {
                "GET":url,
                "Host":"sug.so.360.cn",
                "Referer":"http://www.so.com/",
                "User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
                }
    proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})
    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener( opener )
    req = urllib2.Request(url)
    for key in headers:
        req.add_header(key,headers[key])
    html = urllib2.urlopen(req).read()
    ss = re.findall("\"(.*?)\"",html)
    for item in ss:
        print item
    time.sleep(2)
Python 相关文章推荐
python client使用http post 到server端的代码
Feb 10 Python
Python中list列表的一些进阶使用方法介绍
Aug 15 Python
利用Python实现Windows下的鼠标键盘模拟的实例代码
Jul 13 Python
同时安装Python2 & Python3 cmd下版本自由选择的方法
Dec 09 Python
Python实现端口检测的方法
Jul 24 Python
python解析json串与正则匹配对比方法
Dec 20 Python
Django框架使用mysql视图操作示例
May 15 Python
详解Python用三种方式统计词频的方法
Jul 29 Python
Python装饰器实现方法及应用场景详解
Mar 26 Python
如何在sublime编辑器中安装python
May 20 Python
解决pycharm导入numpy包的和使用时报错:RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题
Dec 08 Python
Python Pandas知识点之缺失值处理详解
May 11 Python
python基础教程之实现石头剪刀布游戏示例
Feb 11 #Python
python使用递归解决全排列数字示例
Feb 11 #Python
python基础教程之popen函数操作其它程序的输入和输出示例
Feb 10 #Python
python基础教程之python消息摘要算法使用示例
Feb 10 #Python
go和python调用其它程序并得到程序输出
Feb 10 #Python
python实现socket端口重定向示例
Feb 10 #Python
python访问sqlserver示例
Feb 10 #Python
You might like
PHP4实际应用经验篇(5)
2006/10/09 PHP
PHP代码优化的53个细节
2014/03/03 PHP
PHP 实现重载
2021/03/09 PHP
用JavaScript编写COM组件的步骤
2009/03/17 Javascript
被jQuery折腾得半死,揭秘为何jQuery为何在IE/Firefox下均无法使用
2010/01/22 Javascript
asp.net+jquery滚动滚动条加载数据的下拉控件
2010/06/25 Javascript
JS去除字符串两端空格的简单实例
2013/12/27 Javascript
java、javascript实现附件下载示例
2014/08/14 Javascript
JS中正则表达式只有3种匹配模式(没有单行模式)详解
2016/07/28 Javascript
详解XMLHttpRequest(二)响应属性、二进制数据、监测上传下载进度
2016/09/14 Javascript
将html页面保存成图片,图片写入pdf的实现方法(推荐)
2016/09/17 Javascript
总结Javascript中数组各种去重的方法
2016/10/04 Javascript
js正则表达式验证密码强度【推荐】
2017/03/03 Javascript
js中toString()和String()区别详解
2017/03/23 Javascript
Ajax验证用户名或昵称是否已被注册
2017/04/05 Javascript
EasyUI中的dataGrid的行内编辑
2017/06/22 Javascript
Angular2的管道Pipe的使用方法
2017/11/07 Javascript
iView框架问题整理小结
2018/10/16 Javascript
判断iOS、Android以及PC端的示例代码
2018/11/15 Javascript
微信小程序实现页面下拉刷新和上拉加载功能详解
2018/12/03 Javascript
详解使用uni-app开发微信小程序之登录模块
2019/05/09 Javascript
Element实现表格分页数据选择+全选所有完善批量操作
2019/06/07 Javascript
解决layui的使用以及针对select、radio等表单组件不显示的问题
2019/09/05 Javascript
利用 Monkey 命令操作屏幕快速滑动
2016/12/07 Python
python 搭建简单的http server,可直接post文件的实例
2019/01/03 Python
Python CategoricalDtype自定义排序实现原理解析
2020/09/11 Python
Python3.8.2安装包及安装教程图文详解(附安装包)
2020/11/28 Python
CSS3只让背景图片旋转180度的实现示例
2021/03/09 HTML / CSS
销售人员职业生涯规划范文
2014/03/01 职场文书
防灾减灾活动总结
2014/08/30 职场文书
安全责任书
2015/01/29 职场文书
党风廉政建设个人总结
2015/03/06 职场文书
客服专员岗位职责范本
2015/04/07 职场文书
Java实现多文件上传功能
2021/06/30 Java/Android
CSS3 Tab动画实例之背景切换动态效果
2021/08/23 HTML / CSS
SQL Server使用PIVOT与unPIVOT实现行列转换
2022/05/25 SQL Server