python爬取区块链浏览器上的交易列表数据
2022-06-06 09:48:44 小编 人浏览

前言

2022年6月3日 端午节安康。

今天主要分享如何利用爬虫爬取区块链浏览器上的交易列表数据。

原因

dune上没有bsc链上的转账明细数据表。Footprint Analytics上现有的bsc_transactions表transfer_type粒度不够。

环境

python 3.7

数据存储:mysql 5.7

缓存:redis 6.2.6

开发工具:pycharm

思路

(1)所有协议、合约、swap地址转账信息全爬不太实际,对存储要求比较高。所以针对需要分析的协议,专门去爬取对应智能合约转账是个不错的选择。

(2)区块链浏览器肯定是有反爬机制的。所以在代理选择上,要选择国外的代理。国内的代理都访问不到,具体原因你懂的。本文中不涉及代理部分,因为国外的代理厂家之前没有了解过。不过即使是上代理,对代码层面改动也比较小

(3)采用了urllib同步请求 + 范围内随机时长程序休眠。减少了被风控的概率。但是也降低了爬虫的效率。

后面再研究用scrapy或异步请求 [1]

[1] 同步:请求发送后,需要接受到返回的消息后,才进行下一次发送。异步:不需要等接收到返回的消息。

实现

找到需要爬取合约的具体地址:

第一页

http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

第二页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2

第三页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3

....

可以知道 p = ?就代表页数。

然后F12 点击“网络”,刷新界面,查看网络请求信息。

主要查看,网页上显示的数据,是哪个文件响应的。以什么方式响应的,请求方法是什么

python爬取区块链浏览器上的交易列表数据

python爬取区块链浏览器上的交易列表数据

如何验证呢,就是找一个txn_hash在响应的数据里面按ctrl + f去搜索,搜索到了说明肯定是这个文件返回的。

python爬取区块链浏览器上的交易列表数据

查看响应的数据,是html的格式。在python里面,处理html数据,个人常用的是xpath(当然,如果更擅长BeautifulSoup也可以)

在python里面安装相关的依赖

pip install lxml ‐i https://pypi.douban.com/simple 

本资讯链接: - 外星视界
声明:本文版权归原作者所有,发布此文为传递更多市场信息,不代表外星视界的观点和立场,请自行参考。如作者信息标记有误,请第一时间联系我们处理!

回顶部