当前位置: 首页 > 编程笔记 >

使用python3批量下载rbsp数据的示例代码

彭兴朝
2023-03-14
本文向大家介绍使用python3批量下载rbsp数据的示例代码,包括了使用python3批量下载rbsp数据的示例代码的使用技巧和注意事项,需要的朋友参考一下

1. 原始网站
https://www.rbsp-ect.lanl.gov/data_pub/rbspa/

2. 算法说明
进入需要下载的数据所在的目录,获取并解析该目录下的信息,解析出cdf文件名后,将cdf文件下载到内存中,随后保存到硬盘中。程序使用python3实现。

3. 程序代码

#!/bin/python3
# get the rbsp data
# writen by Liangjin Song on 20191219
import sys
import requests
from pathlib import Path

# the url containing the cdf files
url="https://www.rbsp-ect.lanl.gov/data_pub/rbspa/ECT/level2/2016/"
# local path to save the cdf file
path="/home/liangjin/Downloads/test/"

def main():
  re=requests.get(url)
  html=re.text
  cdfs=resolve_cdf(html)

  ncdf=len(cdfs)
  if ncdf == 0:
    return

  print(str(ncdf) + " cdf files are detected.")

  i=1
  # download 
  for f in cdfs:
    rcdf=url+f
    lcdf=path+f
    print(str(i)+ "  Downloading " + rcdf)
    download_cdf(rcdf,lcdf)
    i+=1
  return

# resolve the file name of cdf
def resolve_cdf(html):
  cdfs=list()
  head=html.find("href=")
  
  if head == -1:
    print("The cdf files not found!")
    return cdfs

  leng=len(html)

  while head != -1:
    tail=html.find(">",head,leng)
    # Extract the cdf file name
    cdf=html[head+6:tail-1]
    head=html.find("href=",tail,leng)
    if cdf.find('cdf') == -1:
      continue
    cdfs.append(cdf)
  return cdfs

def download_cdf(rcdf,lcdf):
  rfile=requests.get(rcdf)
  with open(lcdf,"wb") as f:
    f.write(rfile.content)
  f.close()
  return

if __name__ == "__main__":
  lpath=Path(path)
  if not lpath.is_dir():
    print("Path not found: " + path)
    sys.exit(0)
  sys.exit(main())

4. 使用说明

url为远程cdf文件所在路径。
path为本地保存cdf文件的路径。
url和path的末尾都有“/”(Linux下情形,若是Windows,路径分隔符为“\\”,则path末尾应为“\\”)。

5. 运行效果

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小牛知识库。

 类似资料:
  • 本文向大家介绍Python3 实现文件批量重命名示例代码,包括了Python3 实现文件批量重命名示例代码的使用技巧和注意事项,需要的朋友参考一下 在Python中os模块里,os.renames() 方法用于递归重命名目录或文件。类似rename()。 rename()方法语法格式如下: os.rename(old,new) old是需要修改的目录/文件名,new是修改后的目录/文件名,通过这个

  • 本文向大家介绍C#实现批量下载图片到本地示例代码,包括了C#实现批量下载图片到本地示例代码的使用技巧和注意事项,需要的朋友参考一下 一、概述 批量下载图片是我们在日常开发中经常会遇到的一个需求,这不,最近工作中就需要批量下载图片到本地,先是通过Excel拼接生成了所有链接地址,然后想到的是通过下载软件来批量下载。可是一想到又要花时间去查找、安装、研究软件,不如自己写个来的快。 以下是使用C#开发的

  • 9.1.1 功能介绍 批量下载功能为大家提供了同时下载多个站点的同一报告的入口,可以大大节省所花费的时间,提高日常工作效率。 9.1.2 使用方法 新建报告 从下拉框选择“批量下载“功能。 点击新建报告。 配置报告的方法同配置自定义报告相同。 关联站点 选择需要下载报告的站点。 下载报告 第一次下载报告需要输入用户名和密码(具体请查看邮件) 9.1.3 注意事项 批量下载和数据下载模块使用的是同一

  • 本文向大家介绍Perl批量下载Gmail附件的代码,包括了Perl批量下载Gmail附件的代码的使用技巧和注意事项,需要的朋友参考一下 最近在写一个从gmail批量下载附件的程序,用到了 Mail::POP3Client 和 MIME::Parser 2 个模块 实现代码:

  • 本文向大家介绍python3 下载网络图片代码实例,包括了python3 下载网络图片代码实例的使用技巧和注意事项,需要的朋友参考一下 说明:这里仅展示在已经获取图片链接后的下载方式,对于爬虫获取链接部分参考前面的文章 1、利用文件读写的方式下载图片 2、urlretrieve()方法 以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持呐喊教程。

  • 本文向大家介绍ThinkPHP实现批量删除数据的代码实例,包括了ThinkPHP实现批量删除数据的代码实例的使用技巧和注意事项,需要的朋友参考一下 ThinkPHP实现批量删除数据原理很简单,只需在模板页面里面写上<input name='id[]' type='checkbox' value='{$vo.id}' class="noborder">这样传过来就是一个数组,action的删除函数d