python学习_python爬取饿了么

python学习_python爬取饿了么

正在学数据可视化,短少点数据停止实操,就想着从饿了么下面爬点外卖店信息。

次要是获得数据,以是代码比拟粗陋,间接上代码:

import requests
import json
import csv
def crawler_ele(page=0):
def get_page(page):
url = 'https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&limit=8&terminal=h5'.format(page=page*8)
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36",
    'cookie': r'xxxx'
}
re = json.loads(requests.get(url,headers=headers).text)
return re
re = get_page(page)
if re.get('items'):
with open('data.csv','a',newline='') as f:
writer = csv.DictWriter(f,fieldnames=['称号', '月发卖量','配送费', '起送价', '风韵','评分', '配送时长', '评分统计', '间隔', '地点'])
writer.writeheader()
for item in re.get('items'):
info = dict()
restaurant = item.get('restaurant')
info['地点'] = restaurant.get('address')
info['配送费'] = restaurant.get('float_delivery_fee')
info['称号'] = restaurant.get('name')
info['配送时长'] = restaurant.get('order_lead_time')
info['间隔'] = restaurant.get('distance')
info['起送价'] = restaurant.get('float_minimum_order_amount')
info['评分'] = restaurant.get('rating')
info['月发卖量'] = restaurant.get('recent_order_num')
info['评分统计'] = restaurant.get('rating_count')
info['风韵'] = restaurant.get('flavors')[0].get('name')
writer.writerow(info) 
# print(info)
if re.get('has_next') == True:
crawler_page(page+1)
crawler_ele(0)

正在这里复杂正文多少句:

url 中的经纬度去失落了,能够自行查问增加需求爬取地址的经纬度,也能够经过挪用舆图api获得经纬度;

headers 需求加 Cookies ,否则会有登录权限限定爬取页数;

最初挪用的是递归没有是轮回,以是保管后果的 csv 文件外面会有多个反复表头,能够用 Excel 翻开删除了反复值就能够了。

相关教程推选:Python视频教程

以上便是python爬取饿了么的具体内容,更多请存眷酷吧易资源网别的相关文章!

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

酷吧易资源网 python教程 python学习_python爬取饿了么 https://www.kubayi.com/5076.html

常见问题

相关文章

评论
暂无评论