本文实例讲述了python实现比对美团接口返回数据和本地mongo数据是否一致。分享给大家供大家参考,具体如下:
应用背景:美团平台商品的上下架状态、库存、售价,和mongo库存储的是否一致。
tools文件内容
# -*- coding: utf-8 -*- import hashlib import time import requests def get_md5(string):#返回字符串md5加密后的串 hl = hashlib.md5() hl.update(string.encode('utf-8')) return hl.hexdigest() def get_tamp():#获取当前的时间戳 t = time.time() return int(t) def req_get_result(api_url,api_data):#get方法请求函数 req_get = requests.get(api_url,api_data) result = req_get.json() return result def req_post_result(api_url,api_data):#post方法请求函数 req_post = requests.post(api_url,data=api_data) result = req_post.json() return result def file_edit(file_name,wr_str):#写入txt文件 f1 = open(r'D:\%s.txt'%file_name,'a') f1.write(wr_str+'\n') f1.close() def param_sort(param_dict):#传入字典,返回排序后并且连接好的字符串 keys_list = sorted(param_dict.keys()) rb_str = '' for k in keys_list: key_value = k + '=' + str(param_dict[k]) rb_str = rb_str + key_value +'&' rb_str = rb_str[0:-1] #不保留字符串末尾的& return rb_str
下面是主逻辑
# -*- coding: utf-8 -*- from tools import get_tamp,get_md5,req_get_result,file_edit,param_sort import conf import datetime import time from pymongo import MongoClient app_id = conf.appinfo[1]['app_id'] secret = conf.appinfo[1]['secret'] def get_shop_id_list(app_id,secret):#获取门店id的列表 api_url = 'http://waimaiopen.meituan.com/api/v1/poi/getids' timestamp = get_tamp() params_str = api_url+'?app_id=%s×tamp=%s'%(app_id,timestamp) sig = get_md5(params_str + secret) api_data = { 'app_id':app_id, 'sig':sig, 'timestamp':timestamp, } result = req_get_result(api_url,api_data) shop_id_list = result['data'] del shop_id_list[-1]#去掉最后一个非门店id元素 return shop_id_list def get_shop_detail(shop_id):#根据门店id,返回门店名称 api_url = 'http://waimaiopen.meituan.com/api/v1/poi/mget' timestamp = get_tamp() app_poi_codes = shop_id params_str = api_url+'?app_id=%s&app_poi_codes=%s×tamp=%s'%(app_id,app_poi_codes,timestamp) sig = get_md5(params_str + secret) api_data = { 'app_id':app_id, 'sig':sig, 'timestamp':timestamp, 'app_poi_codes':app_poi_codes } result = req_get_result(api_url,api_data) shop_name = result['data'][0]['name'] return shop_name def get_goods(shop_id):#根据门店id,查询门店商品,返回列表 api_url = 'http://waimaiopen.meituan.com/api/v1/retail/list' timestamp = get_tamp() app_poi_code = shop_id params_str = api_url+'?app_id=%s&app_poi_code=%s×tamp=%s'%(app_id,app_poi_code,timestamp) sig = get_md5(params_str + secret) api_data = { 'app_id':app_id, 'sig':sig, 'timestamp':timestamp, 'app_poi_code':app_poi_code } result = req_get_result(api_url,api_data) return result['data'] if __name__ == '__main__': shop_ids = get_shop_id_list(app_id,secret) file_name = datetime.datetime.now().strftime('%Y.%m.%d.%H.%M.%S') client = MongoClient(conf.mongo_online,conf.mongo_port) db = client['oh-product'] collection = db.outerShopSku for shop_id in shop_ids: shop_name = get_shop_detail(shop_id) goods_list = get_goods(shop_id) wirte_shop_info = shop_id + '--' + shop_name + str(len(goods_list)) +'个商品' file_edit(file_name,wirte_shop_info) for i in range(0,len(goods_list)): skus = eval(goods_list[i]['skus'])[0] sku_id = skus['sku_id'] result = collection.find({'channel':'MeiTuan','outerShopId':shop_id,'outerSkuId':sku_id}) shopPrice = result[0]['shopPrice'] #int,单位:分 stock = result[0]['stock'] #float is_sold_out = result[0]['status'] #str online/offline if round(float(skus['price'])*100) != shopPrice: wirte_price = sku_id+"售价不一致,美团:"+skus['price']+',数据库:'+str(shopPrice) file_edit(file_name,wirte_price) if float(skus['stock']) != stock: wirte_stock = sku_id+"库存不一致,美团:"+skus['stock']+',数据库:'+str(stock) file_edit(file_name,wirte_stock) if goods_list[i]['is_sold_out'] == 0: is_sold = 'offline' else: is_sold = 'online' if is_sold != is_sold_out: wirte_sold = sku_id+":状态不一致,美团:"+is_sold+',数据库:'+is_sold_out file_edit(file_name,wirte_sold) print('已完成',sku_id) client.close()
更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
函数getfile: 但我需要一个数组而不是这个promise的东西。怎么解决?
问题内容: 经过15年的VB6和MySql之后,我对node和mongo还是陌生的。我确定这不是我的最终程序要使用的东西,但是我需要对如何在另一个模块中调用函数并返回结果有一个基本的了解。 我希望模块具有打开数据库,在集合中查找并返回结果的功能。我可能还想在该模块中为其他集合添加更多功能。现在,我需要它尽可能简单,以后可以添加错误处理程序等。我花了几天的时间在函数周围尝试不同的方法,module.
问题内容: 我已经从事Web开发已有一段时间了,最近开始学习一些函数式编程。像其他人一样,我在将许多这些概念应用于我的专业工作时遇到了很大的麻烦。对我来说,主要原因是我看到FP保持无状态的目标之间存在矛盾,这与我所做的大多数Web开发工作都与数据库紧密相关,而数据库是非常以数据为中心的。 使我成为OOP方面更具生产力的开发人员的一件事是发现了对象关系映射器,例如用于.Net的MyGenerat
1h 1面 自我介绍 项目介绍 事实维度建模的优点 维度建模方法 数仓分层和分主题的理由 OLAP平台了解吗 数据治理了解吗 spark shuffle展开讲一下 spark内存管理模型讲一下,分别存储哪些东西 hadoop优化思路有哪些 如何防止sql引起的数据倾斜 sql对比,找不同,join and和join where两者的区别 一道sql题,提示半天才做出来,对sql不太熟悉,很多了解的
美团平台-美团平台技术部 1h 3.29 1. 自我介绍 2. 项目难点 3. Netty有哪些应用场景,可以做哪些事情? 4. 选择Netty的原因(Netty的优点) 5. Netty中的EventLoop了解吗 6. 数据库表结构设计:美团打车场景,乘客打车,发出自己的订单,司机接单,司机有一些车辆(说的范式建模) 7. 维度建模了解吗?如何设计 8. 打车场景,乘客发布订单,对应司机接单,
(被捞起来重新面) 总共40min 手写模板方法,责任链模式(项目中的) spark和mr有什么区别,为什么spark比mr快 磁盘和内存 有有向无环图的这些优化 什么更优秀呢,什么原因导致比mr更快(不知道) spark里面,checkpoint和cache有什么区别,分别用于什么场景(场景完全忘记了) 数仓是怎么分层的 什么是业务过程(不知道) 事实表设计的步奏是什么(不知道) 三范式建模和维