果然搞黄色才是第一生产力，我从大二就开始想自学编程，几年下来连入门都没学完。
几个月前下黄小说的时候觉得实在太麻烦了，于是开始学习写爬虫。
和大家分享下我用来爬黄网小说的爬虫。
复制代码
import requests
import re
import os
# 输入链接地址
short_url = input('short_url: ')
url = 'http://www.dierbanzhu1.com/%s' % short_url # 链接地址
response = requests.get(url) # 请求网页响应
response.encoding = 'gbk' # 重编码 charset
html = response.text # 保存网页响应
dl = re.findall(r'<dl>.*?</dl>',html,re.S)[0] # 获取章节数据
chapter_info_list = re.findall(r'href="(.*?)">(.*?)<',dl) # 获取章节列表
novel_title = re.findall(r'<meta property="og:title" content="(.*?)"/>',html)[0]
def mkdir(path): # 新建文件保存小说内容
folder = os.path.exists(path)
if not folder: # 判断是否存在文件夹如果不存在则创建为文件夹
os.makedirs(path) # makedirs 创建文件时如果路径不存在会创建这个路径
print("新建文件夹……")
print("新建文件夹完成")
else:
print("已有文件夹")
file = novel_title
mkdir(file)
#获取每章节信息
for chapter_info in chapter_info_list:
chapter_url = chapter_info[0] #章节链接地址
chapter_url = "http://www.dierbanzhu1.com%s" % chapter_url #章节网页响应
chapter_response = requests.get(chapter_url) #重编码
chapter_response.encoding = 'gbk' #保存响应
chapter_html = chapter_response.text #章节标题
chapter_title = re.findall(r'<h1>(.*?)</h1>',chapter_html)[0] #章节内容
chapter_content = re.findall(r'<div id="content".*?</div>',chapter_html,re.S)[0]#清洗文档
chapter_content = chapter_content.replace(' ',' ')
chapter_content = chapter_content.replace("<br />",' ')
chapter_content = chapter_content.replace('<div id="content">',' ')
chapter_content = chapter_content.replace('</div>',' ') #保存文档
fb = open(novel_title + '/' + '%s.txt' % chapter_title, 'w', encoding='utf-8')
fb.write(chapter_title)
fb.write(chapter_content) #完成提醒
print('完成')
|
在
http://www.dierbanzhu1.com/ 打开小说后，将url最后一部分输入即可下载。
