Amazon包含有价值的数据 -- product listings, prices, ratings, review counts等。直接抓取这些数据意味着要应对反爬检测、CAPTCHA、IP轮换和不断变化的选择器。Scavio API处理所有这些问题,通过单次POST请求返回干净的结构化JSON。
本教程展示如何使用Python和Scavio API抓取Amazon。完成后,您将拥有一个可运行的Python脚本,用于获取实时Amazon数据并解析结果。
前置条件
- 已安装Python
- Scavio API密钥(free tier包含注册即送50积分,无需信用卡)
步骤1:安装依赖
安装requests以发送HTTP请求:
pip install requests步骤2:发起首次Amazon搜索
向Scavio Amazon API端点发送带有查询的POST请求。API返回包含product listings, prices, ratings等的结构化JSON。
import requests
API_KEY = "your_scavio_api_key"
response = requests.post(
"https://api.scavio.dev/api/v1/amazon/search",
headers={
"x-api-key": API_KEY,
"Content-Type": "application/json",
},
json={"query": query, "marketplace": "us"},
)
data = response.json()
for product in data.get("products", [])[:5]:
print(f"{product['title']} — {product.get('price', 'N/A')} ({product.get('rating', 'N/A')}⭐)")步骤3:示例响应
API返回结构化JSON。以下是Amazon搜索的示例响应:
{
"search_metadata": { "status": "success" },
"products": [
{
"position": 1,
"title": "Keychron K6 Pro Wireless Mechanical Keyboard",
"asin": "B0BXQM1GY4",
"price": "$89.99",
"rating": 4.6,
"reviews_count": 2847,
"is_prime": true,
"image": "https://m.media-amazon.com/images/I/..."
}
]
}每个字段都是结构化和类型化的,无需HTML解析、CSS选择器或正则提取。您的Python代码可以直接访问任何字段。
步骤4:完整可运行示例
以下是搜索Amazon并打印结果的完整可运行Python脚本:
"""
Scrape Amazon search results using Scavio API.
Returns structured JSON with product listings, prices, ratings, and more.
"""
import requests
import json
API_KEY = "your_scavio_api_key"
def search_amazon(query: str) -> dict:
response = requests.post(
"https://api.scavio.dev/api/v1/amazon/search",
headers={
"x-api-key": API_KEY,
"Content-Type": "application/json",
},
json={"query": query, "marketplace": "us"},
)
response.raise_for_status()
return response.json()
if __name__ == "__main__":
results = search_amazon("mechanical keyboard")
print(json.dumps(results, indent=2))为什么使用Scavio而不是直接抓取Amazon?
- 无需代理管理。 直接抓取需要轮换代理以避免IP封禁。Scavio在服务端处理所有这些。
- 无需CAPTCHA解决。 Amazon会积极阻止自动化请求。Scavio每次都返回干净数据。
- 结构化JSON输出。 无需HTML解析或CSS选择器维护。每次请求都获得类型化的一致数据。
- 一个API覆盖多平台。 使用同一个API密钥和相同的认证模式搜索Google、Amazon、YouTube和Walmart。
- 包含免费套餐。 注册即送50积分,无需信用卡。每次搜索消耗1个积分。