利用Python如何实现一个小说网站雏形


Posted in Python onNovember 23, 2018

前言

最近做了一个爬取妹子套图的小功能,小伙伴们似乎很有兴趣,为了还特意组建了一个Python兴趣学习小组,来一起学习。十个python九个爬,在大家的印象中好像Python只能做爬虫。然而并非如此,Python 也可以做Web开发,接下来给大家展示一下如何做一个小说站点。

下面话不多说了,来一起看看详细的介绍吧

相关软件

软件 版本 功能 地址
Python 3.7.1 脚本语言 https://www.python.org/
Django 2.1.3 Web框架 https://www.djangoproject.com/
PyCharm 2018.2.4 可视化开发工具 http://www.jetbrains.com/pycharm/

环境搭建说明:

linux下安装python3环境:https://3water.com/article/109580.htm

Window 64位下python3.6.2环境搭建图文教程:https://3water.com/article/147707.htm

爬取数据

做一个小说网站,内容是必须的,首先我们爬取一本小说《星辰变》到数据库。

创建一个简单的数据库表:

CREATE TABLE `novel` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
`title` varchar(100) NOT NULL COMMENT '标题',
`content` text NOT NULL COMMENT '内容',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

安装数据库驱动以及连接池:

# 数据库驱动
pip install pymysql
# 数据库连接池
pip install DBUtils

代码实现:

# -*- coding: UTF-8 -*-
# 导入requests库
import requests
# 导入文件操作库

import codecs
from bs4 import BeautifulSoup
import sys
import mysql_DBUtils
from mysql_DBUtils import MyPymysqlPool
import importlib
importlib.reload(sys)


# 给请求指定一个请求头来模拟chrome浏览器
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'}
server = 'http://www.biquge.cm'
# 星辰变地址
book = 'http://www.biquge.cm/2/2042/'
# 定义DB
mysql = MyPymysqlPool("dbMysql")


# 获取章节内容
def get_contents(chapter):
req = requests.get(url=chapter)
html = req.content
html_doc = str(html, 'gbk')
bf = BeautifulSoup(html_doc, 'html.parser')
texts = bf.find_all('div', id="content")
# 获取div标签id属性content的内容 \xa0 是不间断空白符  
content = texts[0].text.replace('\xa0' * 4, '\n')
return content


# 写入数据库
def write_db(chapter, content):
sql = "INSERT INTO novel (title, content) VALUES(%(title)s, %(content)s);"
param = {"title": chapter, "content": content}
mysql.insert(sql, param)


# 主方法
def main():
res = requests.get(book, headers=headers)
html = res.content
html_doc = str(html, 'gbk')
# 使用自带的html.parser解析
soup = BeautifulSoup(html_doc, 'html.parser')
# 获取所有的章节
a = soup.find('div', id='list').find_all('a')
print('总章节数: %d ' % len(a))
for each in a:
try:
chapter = server + each.get('href')
content = get_contents(chapter)
chapter = each.string
write_db(chapter, content)
except Exception as e:
print(e)
mysql.dispose()


if __name__ == '__main__':
main()

更多代码详见:

https://gitee.com/52itstyle/Python/tree/master/Day04

Web实现

Django 是一个开放源代码的Web应用框架,由 Python 写成。采用了 MVC 的框架模式,即模型M,视图V和控制器C。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的,即是CMS(内容管理系统)软件。

Django 框架的核心组件有:

  • 用于创建模型的对象关系映射
  • 为最终用户设计的完美管理界面
  • 一流的 URL 设计
  • 设计者友好的模板语言
  • 缓存系统

创建项目

pip install Django
# 创建一个项目
python django-admin.py startproject itstyle
# 切换目录
cd itstyle
# 创建App
python manage.py startapp novel

一般一个项目有多个app, 当然通用的app也可以在多个项目中使用,然后启动服务:

# 默认端口是8000
python manage.py runserver

如果提示端口被占用,可以用其它端口:

python manage.py runserver 8001

项目结构

最终代码,如下:

│ manage.py

├─novel

│ │ settings.py # 基础配置
│ │ urls.py # URL映射
│ │ wsgi.py
│ │ __init__.py
│ │

├─templates # 相关页面
│ novel.html # 章节
│ novel_list.html # 小说首页
├─utils
│ │ dbMysqlConfig.cnf # 数据库配置参数
│ │ encoder.py # 编码类
│ │ mysql_DBUtils.py # 数据库连接池
└─view
│ index.py # 后台业务

要点备注

RESTful 风格

控制器 urls.py

from django.conf.urls import url
from django.urls import path
from view import index

urlpatterns = [
# 《星辰变》首页List
path('', index.main), # new
# 章节页面 正则匹配 
path('chapter/<int:novel_id>/', index.chapter), # new
]

代码实现:

from django.http import HttpResponse
from django.shortcuts import render
from utils.mysql_DBUtils import mysql


# 《星辰变》章节列表
def main(request):
sql = "SELECT id,title FROM novel LIMIT 10;"
result = mysql.getAll(sql)
# result = json.dumps(result, cls=MyEncoder, ensure_ascii=False, indent=4)
# result = json.loads(result)
context = {'novel_list': result}
return render(request, 'novel_list.html', context)


# def chapter(request):
# id = request.GET['id']
# sql = "SELECT content FROM novel where id = %(id)s;"
# param = {"id": id}
# result = mysql.getOne(sql, param)
# context = {'novel': result}
# return render(request, 'novel.html', context)

'''
单个章节
此处 novel_id 对应 urls.py 中的 <int:novel_id>
你可以访问:http://localhost:8000/chapter/1/
'''
def chapter(request, novel_id):
sql = "SELECT title,content FROM novel where id = %(id)s;"
param = {"id": novel_id}
result = mysql.getOne(sql, param)
context = {'novel': result}
return render(request, 'novel.html', context)

列表展示

基于后端返回的数据,在前台进行展示,这里你可以把它想象成Java中的Struts2标签或者JSTL标签,当然也有点Vue的意思:

{% for novel in novel_list %}
<a href="/chapter/{{novel.id}} " rel="external nofollow" ><li>{{ novel.title }}</li></a>
{% endfor %}

小结

至此,一个简单的Web项目雏形已经完成,当然还有很多需要优化的地方,小伙伴们可以关注从零学 Python,持续更新。

源码:https://gitee.com/52itstyle/Python/tree/master/Day06/novel (本地下载)

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python中getattr函数使用方法 getattr实现工厂模式
Jan 20 Python
Python基于twisted实现简单的web服务器
Sep 29 Python
Python 自动补全(vim)
Nov 30 Python
django基础之数据库操作方法(详解)
May 24 Python
python spyder中读取txt为图片的方法
Apr 27 Python
Django 中使用流响应处理视频的方法
Jul 20 Python
windows下python安装小白入门教程
Sep 18 Python
Python3模拟curl发送post请求操作示例
May 03 Python
Python3内置模块pprint让打印比print更美观详解
Jun 02 Python
python2和python3实现在图片上加汉字的方法
Aug 22 Python
python中upper是做什么用的
Jul 20 Python
详解python爬取弹幕与数据分析
Nov 14 Python
Python + selenium + requests实现12306全自动抢票及验证码破解加自动点击功能
Nov 23 #Python
python+selenium实现自动抢票功能实例代码
Nov 23 #Python
3分钟学会一个Python小技巧
Nov 23 #Python
值得收藏,Python 开发中的高级技巧
Nov 23 #Python
python 常见字符串与函数的用法详解
Nov 23 #Python
django+mysql的使用示例
Nov 23 #Python
Linux下Python安装完成后使用pip命令的详细教程
Nov 22 #Python
You might like
PHP+MySQL修改记录的方法
2015/01/21 PHP
PHP中isset与array_key_exists的区别实例分析
2015/06/02 PHP
遍历指定目录,并存储目录内所有文件属性信息的php代码
2016/10/28 PHP
ThinkPHP5 验证器的具体使用
2018/05/31 PHP
最佳JS代码编写的14条技巧
2011/01/09 Javascript
javascript学习笔记(三)显示当时时间的代码
2011/04/08 Javascript
javascript温习的一些笔记 基础常用知识小结
2011/06/22 Javascript
Javascript base64编码实现代码
2011/12/02 Javascript
JavaScript function 的 length 属性使用介绍
2014/09/15 Javascript
javascript进行四舍五入方法汇总
2014/12/16 Javascript
jQueryMobile之Helloworld与页面切换的方法
2015/02/04 Javascript
最简单的JavaScript图片轮播代码(两种方法)
2015/12/18 Javascript
Bootstrap实现水平排列的表单
2016/07/04 Javascript
vue数据双向绑定的注意点
2017/06/23 Javascript
Node.js中流(stream)的使用方法示例
2017/07/16 Javascript
AngularJS动态添加数据并删除的实例
2018/02/27 Javascript
nodejs使用node-xlsx生成excel的方法示例
2019/08/22 NodeJs
Python中使用Boolean操作符做真值测试实例
2015/01/30 Python
python使用win32com库播放mp3文件的方法
2015/05/30 Python
Python实现多进程共享数据的方法分析
2017/12/04 Python
深入了解Python中pop和remove的使用方法
2018/01/09 Python
Python高级property属性用法实例分析
2019/11/19 Python
python自动化unittest yaml使用过程解析
2020/02/03 Python
完美解决TensorFlow和Keras大数据量内存溢出的问题
2020/07/03 Python
日本最新流行服饰网购:Nissen
2016/07/24 全球购物
Subside Sports德国:足球球衣和球迷商品
2019/06/08 全球购物
JYSK加拿大:购买家具、床垫、家居装饰等
2020/02/14 全球购物
给校长的一封建议书
2014/03/12 职场文书
教师工作自我鉴定范文
2014/09/14 职场文书
关于安全的广播稿
2014/10/23 职场文书
领导个人查摆剖析材料
2014/10/29 职场文书
2015年第31个教师节致辞
2015/07/31 职场文书
宾馆客房管理制度
2015/08/06 职场文书
怎么禁用Windows 11快照布局? win11不使用快照布局的技巧
2021/11/21 数码科技
使用Canvas绘制一个游戏人物属性图
2022/03/25 Javascript
利用Python多线程实现图片下载器
2022/03/25 Python