利用Python如何实现一个小说网站雏形


Posted in Python onNovember 23, 2018

前言

最近做了一个爬取妹子套图的小功能,小伙伴们似乎很有兴趣,为了还特意组建了一个Python兴趣学习小组,来一起学习。十个python九个爬,在大家的印象中好像Python只能做爬虫。然而并非如此,Python 也可以做Web开发,接下来给大家展示一下如何做一个小说站点。

下面话不多说了,来一起看看详细的介绍吧

相关软件

软件 版本 功能 地址
Python 3.7.1 脚本语言 https://www.python.org/
Django 2.1.3 Web框架 https://www.djangoproject.com/
PyCharm 2018.2.4 可视化开发工具 http://www.jetbrains.com/pycharm/

环境搭建说明:

linux下安装python3环境:https://3water.com/article/109580.htm

Window 64位下python3.6.2环境搭建图文教程:https://3water.com/article/147707.htm

爬取数据

做一个小说网站,内容是必须的,首先我们爬取一本小说《星辰变》到数据库。

创建一个简单的数据库表:

CREATE TABLE `novel` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
`title` varchar(100) NOT NULL COMMENT '标题',
`content` text NOT NULL COMMENT '内容',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

安装数据库驱动以及连接池:

# 数据库驱动
pip install pymysql
# 数据库连接池
pip install DBUtils

代码实现:

# -*- coding: UTF-8 -*-
# 导入requests库
import requests
# 导入文件操作库

import codecs
from bs4 import BeautifulSoup
import sys
import mysql_DBUtils
from mysql_DBUtils import MyPymysqlPool
import importlib
importlib.reload(sys)


# 给请求指定一个请求头来模拟chrome浏览器
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'}
server = 'http://www.biquge.cm'
# 星辰变地址
book = 'http://www.biquge.cm/2/2042/'
# 定义DB
mysql = MyPymysqlPool("dbMysql")


# 获取章节内容
def get_contents(chapter):
req = requests.get(url=chapter)
html = req.content
html_doc = str(html, 'gbk')
bf = BeautifulSoup(html_doc, 'html.parser')
texts = bf.find_all('div', id="content")
# 获取div标签id属性content的内容 \xa0 是不间断空白符  
content = texts[0].text.replace('\xa0' * 4, '\n')
return content


# 写入数据库
def write_db(chapter, content):
sql = "INSERT INTO novel (title, content) VALUES(%(title)s, %(content)s);"
param = {"title": chapter, "content": content}
mysql.insert(sql, param)


# 主方法
def main():
res = requests.get(book, headers=headers)
html = res.content
html_doc = str(html, 'gbk')
# 使用自带的html.parser解析
soup = BeautifulSoup(html_doc, 'html.parser')
# 获取所有的章节
a = soup.find('div', id='list').find_all('a')
print('总章节数: %d ' % len(a))
for each in a:
try:
chapter = server + each.get('href')
content = get_contents(chapter)
chapter = each.string
write_db(chapter, content)
except Exception as e:
print(e)
mysql.dispose()


if __name__ == '__main__':
main()

更多代码详见:

https://gitee.com/52itstyle/Python/tree/master/Day04

Web实现

Django 是一个开放源代码的Web应用框架,由 Python 写成。采用了 MVC 的框架模式,即模型M,视图V和控制器C。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的,即是CMS(内容管理系统)软件。

Django 框架的核心组件有:

  • 用于创建模型的对象关系映射
  • 为最终用户设计的完美管理界面
  • 一流的 URL 设计
  • 设计者友好的模板语言
  • 缓存系统

创建项目

pip install Django
# 创建一个项目
python django-admin.py startproject itstyle
# 切换目录
cd itstyle
# 创建App
python manage.py startapp novel

一般一个项目有多个app, 当然通用的app也可以在多个项目中使用,然后启动服务:

# 默认端口是8000
python manage.py runserver

如果提示端口被占用,可以用其它端口:

python manage.py runserver 8001

项目结构

最终代码,如下:

│ manage.py

├─novel

│ │ settings.py # 基础配置
│ │ urls.py # URL映射
│ │ wsgi.py
│ │ __init__.py
│ │

├─templates # 相关页面
│ novel.html # 章节
│ novel_list.html # 小说首页
├─utils
│ │ dbMysqlConfig.cnf # 数据库配置参数
│ │ encoder.py # 编码类
│ │ mysql_DBUtils.py # 数据库连接池
└─view
│ index.py # 后台业务

要点备注

RESTful 风格

控制器 urls.py

from django.conf.urls import url
from django.urls import path
from view import index

urlpatterns = [
# 《星辰变》首页List
path('', index.main), # new
# 章节页面 正则匹配 
path('chapter/<int:novel_id>/', index.chapter), # new
]

代码实现:

from django.http import HttpResponse
from django.shortcuts import render
from utils.mysql_DBUtils import mysql


# 《星辰变》章节列表
def main(request):
sql = "SELECT id,title FROM novel LIMIT 10;"
result = mysql.getAll(sql)
# result = json.dumps(result, cls=MyEncoder, ensure_ascii=False, indent=4)
# result = json.loads(result)
context = {'novel_list': result}
return render(request, 'novel_list.html', context)


# def chapter(request):
# id = request.GET['id']
# sql = "SELECT content FROM novel where id = %(id)s;"
# param = {"id": id}
# result = mysql.getOne(sql, param)
# context = {'novel': result}
# return render(request, 'novel.html', context)

'''
单个章节
此处 novel_id 对应 urls.py 中的 <int:novel_id>
你可以访问:http://localhost:8000/chapter/1/
'''
def chapter(request, novel_id):
sql = "SELECT title,content FROM novel where id = %(id)s;"
param = {"id": novel_id}
result = mysql.getOne(sql, param)
context = {'novel': result}
return render(request, 'novel.html', context)

列表展示

基于后端返回的数据,在前台进行展示,这里你可以把它想象成Java中的Struts2标签或者JSTL标签,当然也有点Vue的意思:

{% for novel in novel_list %}
<a href="/chapter/{{novel.id}} " rel="external nofollow" ><li>{{ novel.title }}</li></a>
{% endfor %}

小结

至此,一个简单的Web项目雏形已经完成,当然还有很多需要优化的地方,小伙伴们可以关注从零学 Python,持续更新。

源码:https://gitee.com/52itstyle/Python/tree/master/Day06/novel (本地下载)

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python pass 语句使用示例
Mar 11 Python
Python中使用dom模块生成XML文件示例
Apr 05 Python
Python实现以时间换空间的缓存替换算法
Feb 19 Python
python 读取摄像头数据并保存的实例
Aug 03 Python
在Python中定义一个常量的方法
Nov 10 Python
5分钟 Pipenv 上手指南
Dec 20 Python
python 去除二维数组/二维列表中的重复行方法
Jan 23 Python
pytorch 实现打印模型的参数值
Dec 30 Python
tensorflow 限制显存大小的实现
Feb 03 Python
python 绘制正态曲线的示例
Sep 24 Python
Python数据分析库pandas高级接口dt的使用详解
Dec 11 Python
2020年10款优秀的Python第三方库,看看有你中意的吗?
Jan 12 Python
Python + selenium + requests实现12306全自动抢票及验证码破解加自动点击功能
Nov 23 #Python
python+selenium实现自动抢票功能实例代码
Nov 23 #Python
3分钟学会一个Python小技巧
Nov 23 #Python
值得收藏,Python 开发中的高级技巧
Nov 23 #Python
python 常见字符串与函数的用法详解
Nov 23 #Python
django+mysql的使用示例
Nov 23 #Python
Linux下Python安装完成后使用pip命令的详细教程
Nov 22 #Python
You might like
PR值查询 | PageRank 查询
2006/12/20 PHP
解决文件名解压后乱码的问题 将文件名进行转码的代码
2012/01/10 PHP
用PHP读取超大文件的实例代码
2012/04/01 PHP
php快递单号查询接口使用示例
2014/05/05 PHP
php猜单词游戏
2015/09/29 PHP
让Laravel API永远返回JSON格式响应的方法示例
2018/09/05 PHP
jquery复选框全选/取消示例
2013/12/30 Javascript
js获取指定的cookie的具体实现
2014/02/20 Javascript
javascript 原型链维护和继承详解
2014/11/26 Javascript
创建你的第一个AngularJS应用的方法
2015/06/16 Javascript
jquery UI Datepicker时间控件的使用及问题解决
2016/04/28 Javascript
个人网站留言页面(前端jQuery编写、后台php读写MySQL)
2016/05/03 Javascript
jQuery+CSS3+Html5实现弹出层效果实例代码(附源码下载)
2016/05/16 Javascript
JS获取地址栏参数的两种方法(简单实用)
2016/06/14 Javascript
bootstrap选项卡使用方法解析
2017/01/11 Javascript
jQuery基于ajax实现页面加载后检查用户登录状态的方法
2017/02/10 Javascript
Vue Cli3 创建项目的方法步骤
2018/10/15 Javascript
vue实现标签云效果的方法详解
2019/08/28 Javascript
vue-video-player实现实时视频播放方式(监控设备-rtmp流)
2020/08/10 Javascript
[13:16]INFAMOUS vs VGJ T BO3
2018/06/07 DOTA
Python入门_浅谈for循环、while循环
2017/05/16 Python
利用Pandas 创建空的DataFrame方法
2018/04/08 Python
python用插值法绘制平滑曲线
2021/02/19 Python
解决使用python print打印函数返回值多一个None的问题
2020/04/09 Python
一款纯css3实现的鼠标悬停动画按钮
2014/12/29 HTML / CSS
国家地理在线商店:Shop National Geographic
2018/06/30 全球购物
大学生旷课检讨书
2014/01/22 职场文书
喜之郎果冻广告词
2014/03/20 职场文书
全国文明单位申报材料
2014/05/31 职场文书
教师党员自我评议不足范文
2014/10/19 职场文书
初中家长评语和期望
2014/12/26 职场文书
求职简历自我评价2015
2015/03/10 职场文书
实习证明格式范文
2015/06/16 职场文书
2016年会领导致辞稿
2015/07/29 职场文书
2019中小学生安全过暑期倡议书
2019/06/24 职场文书
python实现求纯色彩图像的边框
2021/04/08 Python