共35篇
文章标签:爬虫
解决selenium控制webdriver总是被网站检测的问题
今天我们就来说说应该如何正确解决这个问题。我们首先给出解决方案。然后再说明这个解决方案,我是通过什么方式找到的。 解决这个问题的关键,就是一个 js 文件,叫做stealth.min.js。稍后我会说明如何生成这个文件。
今天我们就来说说应该如何正确解决这个问题。我们首先给出解决方案。然后再说明这个解决方案,我是通过什么方式找到的。 解...
windows系统 chromedriver.exe 驱动安装
Selenium3.8版本以后,已经不支持PhanTomJS了,可以使用谷歌,火狐的无头浏览器来代替PhanTomJS,下面主要说下在windows下chromedriver.exe 驱动安装步骤
Selenium3.8版本以后,已经不支持PhanTomJS了,可以使用谷歌,火狐的无头浏览器来代替PhanTomJS,下...
requests.exceptions.InvalidHeader: Invalid return character or leading space in header: user-agent错误
今天在使用requests 进行爬虫操作时,出现了没见过的问题 ,百度无果,后来发现是粗心的问题:在从浏览器贴回来的请求头信息里面,不能有空格
今天在使用requests 进行爬虫操作时,出现了没见过的问题 ,百度无果,后来发现是粗心的问题:在从浏览器贴回来的请求头...
requests.exceptions.InvalidHeader: Invalid return character or leading space in header: user-agent错误
今天在使用requests 进行爬虫操作时,出现了没见过的问题 ,百度无果,后来发现是粗心的问题:在从浏览器贴回来的请求头信息里面,不能有空格
今天在使用requests 进行爬虫操作时,出现了没见过的问题 ,百度无果,后来发现是粗心的问题:在从浏览器贴回来的请求头...
用XPath定位Web页面元素时,如何快速验证XPath语句是否正确?
在使用Selenium做Web UI自动化测试的过程中,XPath是一种定位页面元素的常用方式。然而,面对某些元素的XPath路径过于复杂,我们想快速验证拼凑的Xpath语句是否正确时,该怎么办呢?这里给大家提供一个简单的解决方法。
在使用Selenium做Web UI自动化测试的过程中,XPath是一种定位页面元素的常用方式。然而,面对某些元素的XPa...
遇到Web页面禁用鼠标右键操作时,该如何解禁?
在使用Selenium做Web UI自动化测试过程中,经常需要鼠标右击Web页面检查DOM节点,用于获取Web元素的定位信息。一般情况下,绝大多数页面都是能够响应鼠标右击操作的。但出于某些目的,有些Web页面会禁用鼠标右键的操作,这给...
在使用Selenium做Web UI自动化测试过程中,经常需要鼠标右击Web页面检查DOM节点,用于获取Web元素的定位信...
Charles-模拟弱网环境
在做弱网测试时,经常需要模拟各种网络环境,Charles恰好也提供了网络限制的功能,我们可以在"Proxy->Throttle Settings"路径下找到它,如下图所示。
在做弱网测试时,经常需要模拟各种网络环境,Charles恰好也提供了网络限制的功能,我们可以在"Proxy->Thrott...
使用python正则表达式抓取网页中的手机号码
python抓取数据还是比较方便的,今天来分享一下如何使用python正则表单式来抓取网页中的手机号码
python抓取数据还是比较方便的,今天来分享一下如何使用python正则表单式来抓取网页中的手机号码
python requests库cookies的使用
python中写爬虫经常会用到requests库,这个库相对与python自带的urlib库来说比较好用,几天主要是记录下requests库怎么使用cookies进行传输
python中写爬虫经常会用到requests库,这个库相对与python自带的urlib库来说比较好用,几天主要是记录下...

