PAN:python爬取区块链浏览器上的交易列表数据

前言

2022年6月3日端午节安康。

今天主要分享如何利用爬虫爬取区块链浏览器上的交易列表数据。

原因

dune上没有bsc链上的转账明细数据表。FootprintAnalytics上现有的bsc_transactions表transfer_type粒度不够。

环境

python3.7

数据存储：mysql5.7

缓存：redis6.2.6

开发工具：pycharm

思路

所有协议、合约、swap地址转账信息全爬不太实际，对存储要求比较高。所以针对需要分析的协议，专门去爬取对应智能合约转账是个不错的选择。

区块链浏览器肯定是有反爬机制的。所以在代理选择上，要选择国外的代理。国内的代理都访问不到，具体原因你懂的。本文中不涉及代理部分，因为国外的代理厂家之前没有了解过。不过即使是上代理，对代码层面改动也比较小

采用了urllib同步请求+范围内随机时长程序休眠。减少了被风控的概率。但是也降低了爬虫的效率。

后面再研究用scrapy或异步请求

同步：请求发送后，需要接受到返回的消息后，才进行下一次发送。异步：不需要等接收到返回的消息。

实现

找到需要爬取合约的具体地址：

律师John Deaton：XRP诉讼的简易判决不会被推翻:金色财经报道，在针对美国证券交易委员会 (SEC) 的 Ripple 诉讼中，代表超过 75,000 名 XRP 代币持有者的律师John Deaton重申， 法官Torres的简易判决不会被推翻，他认为。没有证据支持Howey测试的第三点，该测试指出“一个人将资金投资于一家普通企业，并被引导期望利润”。他补充说，美国证券交易委员会在满足共同企业部分方面仍将面临障碍。[2023/8/10 16:16:25]

第一页

http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

第二页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2

第三页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3

....

可以知道p=？就代表页数。

然后F12点击“网络”，刷新界面，查看网络请求信息。

主要查看，网页上显示的数据，是哪个文件响应的。以什么方式响应的，请求方法是什么

美SEC主席：加密领域实际上相当中心化:金色财经报道，美国证券交易委员会主席Gary Gensler表示，美国联邦法官上周对一个备受瞩目的执法案件做出决定后，美国SEC是否会起草更多针对加密货币的规则，现在还为时过早。美国SEC在其任期内已经提出了适用于数字资产的规则修改建议。关于证券交易所、经纪人和投资顾问的含义，书本上都有规定。我们还提出甚至通过了有关经纪商的规则，在这个领域被称为特殊目的经纪商，我们提出了有关资产保护的规则，所以我们已经做了一些，但我们会继续考虑。

此外，Gensler表示，加密领域实际上相当中心化，去中心化项目有时会有个人拥有首席执行官或首席技术官的头衔，而资产通常由不到100人持有，金融趋向于某种程度的集中化。

Gensler拒绝直接就Ripple案发表评论，理由是“诉讼仍在进行中”。[2023/7/18 11:01:06]

如何验证呢，就是找一个txn_hash在响应的数据里面按ctrl+f去搜索，搜索到了说明肯定是这个文件返回的。

Snap实验支持用Snap Tokens购买建立带有数字商品的Lenses:金色财经报道，在Lens Fest年度活动上，Snap宣布它正在与一小群AR创作者和开发者进行实验，以建立带有数字商品的Lenses，这些商品可以用Snap Token购买。作为这项实验的一部分，用户将能够在选定的Lenses中解锁电源、AR物品和额外工具。Snap Tokens 于 2020 年首次推出，可以在 Snapchat 应用程序中购买，方法是单击您的个人资料图标并向下滚动到“我的 Snap Tokens”。[2022/12/7 21:26:45]

查看响应的数据，是html的格式。在python里面，处理html数据，个人常用的是xpath

在python里面安装相关的依赖

pip?install?lxml?‐i?https://pypi.douban.com/simple

同时在浏览器上安装xpath插件，它能更好的帮助我们获到网页中元素的位置

XPathHelper-Chrome网上应用店(google.com)

然后就可以通过插件去定位了，返回的结果是list

**注：**浏览器看到的网页都是浏览器帮我们渲染好的。存在在浏览器中能定位到数据，但是代码中取不到值的情况，这时候可以通过鼠标右键-查看网页源码，然后搜索实现

Crypto.com交易所将于11月1日进行GEN 3.0更新:10月24日消息，据官方公告，Crypto.com交易所将于北京时间11月1日8:00开始进行GEN 3.0更新，预计将持续6至8小时。

期间交易所内现货、保证金以及衍生品交易将无法使用，三者之间也无法进行资产划转。此外，所有未成交订单将被取消，也不接受新的订单。新版本将改善交易体验、降低保证金要求、支持跨市场抵押品等。[2022/10/24 16:36:55]

#?请求和xpath定位具体实现代码：

def?start_spider(page_number):

????url_base?=?'http://bscscan.com

/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&'

????#?请求头

????headers?=?{

????????'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/92.0.4515.159?Safari/537.36',

美股三大指数集体收跌，标普500指数跌1.13%:金色财经报道，美股大指数集体收跌。纳指跌1.43%，标普500指数跌1.13%，道指跌0.56%。[2022/9/16 7:00:13]

????????'referer':?'https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8'

????}

????#?需要传入的参数

????data?=?{

????????'p':?page_number

????}

????#?将参数转为Unicode编码格式

????unicode_data?=?urllib.parse.urlencode(data)

????#?拼接网址

????#?http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

????url?=?url_base?+?unicode_data

????#?自定义request对象

????request?=?urllib.request.Request(url=url,?headers=headers)

????#?模拟浏览器发送请求

????response?=?urllib.request.urlopen(request)

????#?将返回的数据利用lxml转为

????tree?=?etree.HTML(response.read().decode('utf‐8'))

????#?//div//tbody//td//span/a/text()

????txn_hash_list?=?tree.xpath("//div//tbody//td//span/a/text()")

????#?//div//tbody//td//span/text()

????method_list?=?tree.xpath(

????????"//div//tbody//td//span/text()")

????#?//div//tbody//td//text()

????block_list?=?tree.xpath("//div//tbody//td//text()")

????#?//div//tbody//td/span/@title

????age_list?=?tree.xpath("//div//tbody//td/span/@title")

????#?//div//tbody//td/span/@title

????from_list?=?tree.xpath(

????????"//div//tbody//td/span/@title")

????#?//div//tbody//td/span/text()

????transfer_type_list?=?tree.xpath("//div//tbody//td/span/text()")

????#?//div//tbody//td/span/span//text()

????to_list?=?tree.xpath("//div//tbody//td/span/span//text()")

????#?//div//tbody//td/span/text()

????transfer_free_list?=?tree.xpath(

????????"//div//tbody//td/span/text()")

然后就是利用redis，对txn_hash去重，去重的原因是防止一条数据被爬到了多次

def?add_txn_hash_to_redis(txn_hash):

????red?=?redis.Redis(host='根据你自己的配置',?port=6379,?db=0)

????res?=?red.sadd('txn_hash:txn_set',?get_md5(txn_hash))

????#?如果返回0，这说明插入不成功，表示有重复

????if?res?==?0:

????????return?False

????else:

????????return?True

#?将mmsi进行哈希，用哈希去重更快

def?get_md5(txn_hash):

????md5?=?hashlib.md5()

????md5.update(txn_hash.encode('utf-8'))

????return?md5.hexdigest()

最后一个需要考虑的问题：交易是在增量了，也就是说，当前第二页的数据，很可能过会就到第三页去了。对此我的策略是不管页数的变动。一直往下爬。全量爬完了，再从第一页爬新增加的交易。直到遇到第一次全量爬取的txn_hash

最后就是存入到数据库了。这个没啥好说的。

以上就可以拿到转账列表中的txn_hash，后面还要写一个爬虫深入列表里面，通过txn_hash去爬取详情页面的信息。这个就下个文章再说，代码还没写完。

今天就写到这里。拜拜ヾ(?ω?`)o

来源：Bress

作者：撒酒狂歌

来源：金色财经

标签：DIVPANSPAODYDiversified Staked Ethereum Indexpando币最新消息PlusPadCustody Token

加密货币热门资讯