Python on Akkuman 的技术博客

打造一个壁纸爬虫来爬你的老婆

Wed, 13 Mar 2019 07:07:57 +0000

好久没写东西了，随便水一篇文，也是比较简单的东西

可能每个喜欢二次元的人都有自己的老婆或者老公吧，之前在朋友那里看到了一个壁纸网站wall.alphacoders.com，要是我想要亚丝娜的壁纸，只需要搜索她的英文名Asuna即可看到一千多张有关亚丝娜的壁纸。壁纸收集爱好者肯定就和我一样想把它们给下载到自己的电脑上幻灯片当作壁纸了，当然手工下载是不可能的，必须写下爬虫，分析下壁纸下载流程。

请求分析

首先我们F12打开开发者工具，在一张图上找到下载

我们在开发者工具里面取元素，并没有看到下载链接，说明下载链接并没有包含在原始html中，但是点击是可以下载的，并且可以看到整个页面并没有进行刷新，判断是一个ajax请求，直接点进XHR，然后再次点击下载链接可以看到请求。

可以看到这个请求返回了一个链接，我们直接访问链接，发现是可以下载的，说明这就是下载链接了，那么这个链接是怎么来的呢？

我们看看请求，这个post请求里面有一些参数，我们先不去考虑这些参数怎么来的，我们先模拟一下请求看看请求Header里面有没有什么东西是必须的，这里直接上postman或者curl都可以，如果你的机器上面安装了curl我推荐用这个，因为Chrome开发者工具，直接可以在请求上右键Copy as cURL，直接可以帮你复制出curl命令，我这里复制出来是这样的

curl "https://wall.alphacoders.com/get_download_link.php" -H "Pragma: no-cache" -H "Origin: https://wall.alphacoders.com" -H "Accept-Encoding: gzip, deflate, br" -H "Accept-Language: zh-CN,zh;q=0.9" -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36" -H "Content-Type: application/x-www-form-urlencoded; charset=UTF-8" -H "Accept: */*" -H "Cache-Control: no-cache" -H "X-Requested-With: XMLHttpRequest" -H "Cookie: __cfduid=d7ec945393d1b5ef3c28d4c9d12ef9fb11552315444; cookieconsent_status=allow; wa_session=1eogv8ehgn3itq5g4g8hfsducpkm9lbu46q893vrkhph3ued4rm89gvk7ck4fdg9k73cmrcdesoqj4crm1575vj3lfid9e67fpis661" -H "Connection: keep-alive" -H "Referer: https://wall.alphacoders.com/search.php?search=Asuna" --data "wallpaper_id=533007^&type=png^&server=images8^&user_id=79150" --compressed

我们先去掉不必要的东西 curl "https://wall.alphacoders.com/get_download_link.php" --data "wallpaper_id=533007&type=png&server=images8&user_id=79150" ，直接执行，发现可以获取到地址，所以现在要考虑的只有这些参数是怎么来的了，下面我同样放一张postman的图，可以看到是同样的可以获取到下载链接

这些参数我们从两方面考虑，一是用js算出来的，一个就是在html中存在的。

我们首先在html里找找看有没有。

通过关键字搜索页面html，我们可以找到每一张图都有一串类似于下面的属性

`1`	`data-id="533007" data-type="png" data-server="images8" data-user-id="79150"`

和上面的post参数是一一对应的。

所以爬取思路就出来了。

拉勾抓职位简单小爬虫

Tue, 11 Sep 2018 04:12:38 +0000

花了十来分钟写了个这个小爬虫，目的就是想能够方便一点寻找职位，并且大四了，没有工作和实习很慌啊！

爬虫不具有扩展性，自己随手写的，改掉里面的 keyword 和 region 即可爬行所有的招聘，刚开始测试的是5s访问一次，不过还是会被ban，所以改成了20s一次，没有使用多线程和代理池，懒，够用就行了，结果会保存到一个csv文件里面，用excel打开即可。

直接上代码：

import requests
import urllib.parse
import json
import time
import csv


def main():
    keyword = '逆向'
    region = '全国'
    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Cache-Control': 'no-cache',
        'Connection': 'keep-alive',
        'Content-Length': '37',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Host': 'www.lagou.com',
        'Origin': 'https://www.lagou.com',
        'Pragma': 'no-cache',
        'Referer': 'https://www.lagou.com/jobs/list_%s?city=%s' % (urllib.parse.quote(keyword), urllib.parse.quote(region)),
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36',
        'X-Anit-Forge-Code': '0',
        'X-Anit-Forge-Token': 'None',
        'X-Requested-With': 'XMLHttpRequest',
    }
    data = {
        'pn': 1,
        'kd': keyword,
    }

    total_count = 1
    pn = 1
    jobjson = []

    while 1:
        if total_count <= 0:
            break
        data['pn'] = pn
        lagou_reverse_search = requests.post("https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false", headers=headers, data=data)
        datajson = json.loads(lagou_reverse_search.text)
        print('page %d get finish' % pn)
        if pn == 1:
            total_count = int(datajson['content']['positionResult']['totalCount'])
        jobjson += [{'positionName': j['positionName'], 'salary': j['salary'], 'workYear': j['workYear'], 'education': j['education'], 'city': j['city'], 'industryField': j['industryField'], 'companyShortName': j['companyShortName'], 'financeStage': j['financeStage']} for j in datajson['content']['positionResult']['result']]
        total_count -= 15
        pn += 1
        time.sleep(20)

    csv_header = ['positionName', 'salary', 'workYear', 'education', 'city', 'industryField', 'companyShortName', 'financeStage']
    with open('job.csv','w') as f:
        f_csv = csv.DictWriter(f, csv_header)
        f_csv.writeheader()
        f_csv.writerows(jobjson)


if __name__ == '__main__':
    main()

ajax动态加载的，直接打开调试工具看XHR即可。

为纸小墨一键创建md文件

Wed, 22 Aug 2018 18:17:23 +0000

用法：

1
2

python the.py file_name [article_title] [author_id]
# []括起来为可选项

Python SSH爆破以及Python3线程池控制线程数

Sat, 13 Jan 2018 06:37:26 +0000

源自一个朋友的要求，他的要求是只爆破一个ip，结果出来后就停止，如果是爆破多个，完全没必要停止，等他跑完就好

百度搜索引擎取真实地址-python代码

Tue, 11 Apr 2017 12:49:06 +0000

代码

def parseBaidu(keyword, pagenum):
    keywordsBaseURL = 'https://www.baidu.com/s?wd=' + str(quote(keyword)) + '&oq=' + str(quote(keyword)) + '&ie=utf-8' + '&pn='
    pnum = 0
    while pnum <= int(pagenum):
        baseURL = keywordsBaseURL + str(pnum*10)
        try:
            request = requests.get(baseURL, headers=headers)
            soup = BeautifulSoup(request.text, "html.parser")
            for a in soup.select('div.c-container > h3 > a'):
                url = requests.get(a['href'], headers=headers).url
                yield url
        except:
            yield None
        finally:
            pnum += 1

360搜索引擎取真实地址-python代码

Wed, 08 Mar 2017 21:12:59 +0000

还是个比较简单的，不像百度有加密算法

分析

`1`	`http://www.so.com/link?url=http%3A%2F%2Fedu.sd.chinamobile.com%2Findex%2Fnews.do%3Faction%3DnoticeDetail%26id%3D22452&q=inurl%3Anews.do&ts=1488978912&t=89c5361a44fe3f52931d25c6de262bb&src=haosou`

网址是上面这个样子，没加密直接取就好了，去掉头http://www.so.com/link?url=和尾&q=一直到末尾的部分，剩下的就可以吃了

Python异步爬虫的学习(一)

Sun, 11 Dec 2016 16:26:49 +0000

本文主要从一下几个方面进行说明:

什么是异步(Asynchronous)编程
为什么要使用异步编程？
如何利用Python实现异步

javbus爬虫-老司机你值得拥有

Tue, 06 Dec 2016 18:21:53 +0000

起因

有个朋友叫我帮忙写个爬虫，爬取javbus5上面所有的详情页链接，也就是所有的https://www.javbus5.com/SRS-055这种链接，我一看，嘿呀，这是司机的活儿啊，我绝对不能辱没我老司机的名声（被败坏了可不好），于是开始着手写了

构思

爬虫调度启动程序crawler.py
页面下载程序downloader.py
页面解析程序pageparser.py
数据库入库与去重管理程序controler.py

ProgrammingError- You must not use 8-bit bytestrings

Tue, 06 Dec 2016 14:31:14 +0000

问题出现：

You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings (like text_factory = str). It is highly recommended that you instead just switch your application to Unicode strings.

产生原因：

问题在用Python的sqlite3操作数据库要插入的字符串中含有非ascii字符时产生，做插入的时候就报当前这个错误。

解决方法：

1. 按提示

1
2

connection = sqlite3.connect(...)
connection.text_factory = str

但是如果字符中出现非ascii字符，那么依然不能解决问题，会产生不可预知的乱码，这样可以参考 2

2. 以utf8的编码格式进行解码转为unicode编码做插入

cursor.execute('''
    INSERT INTO JAVBUS_DATA (姓名, 年龄)
    VALUES (?, ?)
    ''', ('张三'.decode('utf-8'), '22岁'.decode('utf-8')))

但是如果数据太长，这样一个一个敲挺麻烦的，下面是一个使用map函数简化的小例子

Visual Studio Code配置Python开发环境

Wed, 29 Jun 2016 21:29:45 +0000

1.安装Python插件

在VScode界面按Crtl+Shift+P或者F1

输入ext install

直接安装Python，也就是点击它，然后等待，安装好后会提示你重启

Python之Requests的高级用法

Fri, 10 Jun 2016 20:38:04 +0000

高级用法

本篇文档涵盖了Requests的一些更加高级的特性。

会话对象

会话对象让你能够跨请求保持某些参数。它也会在同一个Session实例发出的所有请求之间保持cookies。

会话对象具有主要的Requests API的所有方法。

我们来跨请求保持一些cookies:

s = requests.Session()

s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
r = s.get("http://httpbin.org/cookies")

print(r.text)
# '{"cookies": {"sessioncookie": "123456789"}}'

Python中的open和codecs.open

Fri, 10 Jun 2016 01:26:22 +0000

最近老被编码困扰，多次折腾之后，感觉python的编解码做得挺好的，只要了解下边的流程，一般都能解决

input文件(gbk, utf-8…) —-decode—–> unicode ——-encode——> output文件(gbk, utf-8…) 很多文本挖掘的package是在unicode上边做事的，比如nltk. 所以开始读入文件后要decode为unicode格式，可以通过下边两步：

1
2

f=open('XXXXX', 'r')
content=f.read().decode('utf-8')

更好的方法是使用codecs.open读入时直接解码：

1
2

f=codecs.open(XXX, encoding='utf-8')
content=f.read()

转自: http://f.dataguru.cn/thread-237116-1-1.html

Python之Requests的安装与基本使用

Thu, 09 Jun 2016 23:23:36 +0000

安装

使用 pip 安装Requests非常简单

`1`	`pip install requests`

或者使用 easy_install 安装

`1`	`easy_install requests`

获得源码

Requests 一直在Github上被积极的开发着

你可以克隆公共版本库:

`1`	`git clone git://github.com/kennethreitz/requests.git`