生物信息学
植物营养学术交流

使用速铂Aspera/SRA Toolkit配合proxychains4下载NCBI数据

关于速铂Aspera

速铂Aspera是一套商业的高速文件传输解决方案,随着高通量数据的大量产生,从而对于大文件快速传输的需求,开始应用到生物领域,目前NCBI、EBI的SRA库都提供这样的服务。

传统的FTP、HTTP等数据传输协议都是基于TCP的,TCP在远距离数据传输中存在一些先天的不足,文件越大、距离越远,其丢包、延时等问题对于传输速度的影响就越大。速铂Aspera通过应用了一个名为fasp??的底层技术,替换了传统的TCP传输协议。它彻底克服了TCP固有瓶颈,实现了在各种共享和私有网络环境中传输速度的最大化。这种技术可以获得完美的传输效率,不为网络延迟和丢包所限制。并且,用户享有对传输速度以及不同传输流之间带宽共享的无以伦比的控制。不管网络距离和动态性能如何,即便是在最困难的网络条件下(例如卫星,无线和洲际远程链接),文件传输时间仍然可以得到保障。FASP具有内置的,完整的安全性,包括连接节点安全验证,传输中数据加密以及数据完整性验证。与FTP传输相比快了3-184倍。它可以灵活地部署在C/S 或B/S构架的应用上,并利用普通的IP网络最大限度地利用带宽进行高效传输。同时,它也有着极好的跨平台性,支持几乎所有的主要操作系统。该软件同时也 包含一种文件接力技术,使得在传输大量极小文件时,其效率与传输单个大尺寸文件有着相同的效率与速度。

一句话,远距离,大文件,Aspera优势巨大。

客户端的下载与安装

即便Aspera是商业软件,但是作为客户应用方(相对于NCBI),我们使用其客户对进行数据的上传与下载是不用支付费用的。

下载地址:

http://downloads.asperasoft.com/connect2/

在windows系统下用ie打开链接下载安装,linux下用火狐。这个软件只支持这两个浏览器。

NCBI数据库Aspera方式下载链接

https://www.ncbi.nlm.nih.gov/public/

在windows系统下用ie打开链接,linux下用火狐。这个软件只支持这两个浏览器。

带宽基本可以跑满,感觉比用ss代理速度还快。

参考文章:http://boyun.sh.cn/bio/?p=1933

linux下使用SRA Toolkit

安装SRA Toolkit:

conda install sra-tools

下载文件

prefetch SRR1553610

批量下载

for i in 58 79; do prefetch -v SRR8287$i; done

配合proxychains 使用

proxychains4 prefetch SRR420813

proxychains4安装方法

参考文章:SRA数据加速下载打包解决

赞(0)
转载请联系:superxyz@qq.vip.com南农肥料网 » 使用速铂Aspera/SRA Toolkit配合proxychains4下载NCBI数据

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

南农肥料网,为您提供最贴心的服务

欢迎关注知乎主页欢迎关注github主页