Pandas骚操作：用 pandas 快速爬数据

提起爬虫，大家可能都知道

requests

beautifulsoup

scrapy

selenium

本次东哥介绍一个超级简单的方法，用

pandas

pandas

read_html

查看HTML结构，如果发现是下面这个table格式的，那直接可以上手开干。

<table class="..." id="...">

下面我们来看下如何操作。

一、使用方法

举一个例子，拿wiki百科上的各国家收入的页面抓取演示一下。

这个页面中有非常多的表格，符合我们的要求，直接使用

read_html

import pandas as pd

这里返回的

tables

DataFrames

DataFrame

tables[x]

比如，我们对第4个表格感兴趣，那么直接：

talbes[3]

当然，上面表格看起来有点别扭，我们可以简单几个操作调整一下表结构。

df = tables[3].droplevel(0, axis=1)

这样看起来就好多了。

最后，

read_html

pandas