如何使用Python批量抓取eBay产品数据，监控价格并获得竞争优势？

在eBay上销售的卖家，应该监控eBay上的产品价格，以获得竞争优势。

蓝海亿观网了解到，定期从eBay上，获取大规模的产品数据，是一个极具挑战性的任务。本文将展示，使用python抓取eBay上的Galaxy Note 8和iPhone 8，手机产品数据的一个例子。

如何抓取eBay产品数据

1.选择所需的信息

网页抓取的首要任务是，识别目标网页，卖家需要从这个网页中，提取所有所需的信息。

抓取eBay的产品listing，首先要在eBay上搜索产品。

在页面加载了该产品的所有listing后，卖家需要提取该页面的URL。

举个例子，假设卖家提取的URL是“https://www.ebay.com/sch/i.html?_from=R40&_nkw=galaxy+note+8&_sacat=0&_pgn=1“

注意这个URL中的两个参数，即“nkw”（new关键字）和“pgn”（页码）参数。

URL中的这些参数，定义了搜索词（search query）。

如果将“pgn”参数更改为2，则会打开Galaxy Note 8手机产品listing的第二页，如果将“nkw”更改为iPhone X，则eBay将搜索iPhone X，并显示相应结果。

2.确定最后提取的标签

完成目标网页部分后，我们需要理解HTML布局。

在目标网页上，右键选择审查“inspect”，并打开开发人员工具窗口，或者使用键盘的CTRL+SHIFT+I。

在新窗口中，可以看到目标页面的源代码。

在本例中，所有产品都作为listing元素被提及，因此我们必须获取所有listing。

为了获取这些HTML元素，卖家需要一个与之相关的标识符（identifiers），可以是该元素的ID、任何类程名（class name）、特定元素的任何其他HTML属性。

在本例，使用类程名（class name）作为标识符，所有listing都有相同的类程名，即s-item。

经过进一步的审查，可以得到产品名称和产品价格的类名（class name），分别为“s-item__title”和“s-item__price”。

3.将收集到的数据，以结构化格式存储

有了提取器/标识符（extractors/identifiers）之后，下一步是从HTML内容中，提取特定的部分。

完成之后，还需要将这些数据，组织成合适的结构化格式（structured format）。

创建一个表格，其中一列是所有产品名称，另一列是它们的价格。

4.可视化结果（可选）

由于需要比较两种不同的手机价格，卖家可以选择可视化结果。

可视化结果不是网页抓取的强制性步骤，而是将收集到的数据，转化为一些可操作数据。

卖家可以绘制箱线图（boxplots），来了解Galaxy note 8和iPhone 8手机的价格分布。

上图中，绿线是价格数据的中位数。

对于iPhone 8来说，大部分价格在INR 25k-35k之间，而大多数Galaxy Note 8手机的价格在25k-30k之间。

iPhone 8的价格变化要比Galaxy Note 8手机大得多，iPhone 8在eBay上的最低售价是15k，而Galaxy Note 8在eBay上的最低售价是22-23k。

所需的库和安装（libraries and Installation）

要实现网页抓取，卖家需要Python, Pip（用于python的安装包程序），以及python中的BeautifulSoup library。

另外，还需要“pandas and numpy library”将收集的数据，组织成结构化的格式。 

1.安装Python和Pip

卖家可以根据这个链接https : / /realpython.com /installing-python /安装Python和Pip。

2.安装Beautiful soup library

 apt-get install python-bs4 pip install beautifulsoup4

3.安装pandas and numpy

pip install pandas pip install numpy

（跨境电商新媒体-蓝海亿观网egainnews）文末扫码加入eBay运营交流群，对接跨境电商优质资源。Coupang、Wayfair 、MercadoLibre等平台入驻，品牌文案策划及全网推广、电商培训和孵化等服务，请联系我们。不得擅自改写、转载、复制、裁剪和编辑全部或部分内容。