在做深度学习研究时经常需要下载数据集,然而有些数据集(比如nnUNet)是放在谷歌云盘里的。谷歌云盘在下载大文件的时候,即使开了VPN也非常容易断开,而且基本重连不了,实在是非常麻烦。因此建议采用以下两种方法。
(1)通过IDM下载
第一步
安装IDM时可以默认其安装位置,更改位置的话会有提示,如下所示。
之后一路默认安装完成。
在谷歌云盘中选择要下的数据集进行下载,点击仍然下载。
之后就会被IDM接管下载操作,如果没有就重启浏览器。
当然如果还是没有的话(比如我在下载到一半IDM进行重连的时候),可以在浏览器的“下载”中右键正在下载的文件,点击“复制下载链接“(这和百度网盘速度破解一样,获得文件的下载直链后就可以用自己的软件下载,不用通过百度网盘等的下载速度限制,同时也更加稳定)。
然后新建任务,把直链填到地址里面即可。
同理,如果IDM下载速度为0(断开后),先暂停下载任务,右键IDM中的下载任务,点击”属性”,将新的地址替换原来的地址后重新开始下载即可继续原来的下载任务和进度。如下图所示,点击默认的第三个选项后确定即可续传。
我在用IDM下载Task01_BrainTumour.tar(7.1GB)时断了两次,不过好歹时下载过来了。
下载完成后稍等片刻即可,这段时间IDM会进行文件的整合,将其整合为一个文件,在没完全下载成功的时候是看不到全部文件的,因此也就是说IDM下载时是将文件分开了好几部分再进行下载的流程。
第二步
在下载一段时间后,IDM的传输速度会停在0字节/秒,应该是下载链接的允许下载时间超过了[1],需要重新更新下载地址。这里先去软件中停止下载。然后点击“刷新下载地址”,点击后会弹出一开始下载文件的网址,重新进行一步下载文件的操作就可以实现续传。然后就能开心地下载了~
PS:IDM进行有些操作时可能会有些迟钝,切勿急躁。比如停止下载那一步操作。
(2)通过MultCloud下载
第零步
事先准备好一个谷歌账号,虽然说我每次申请的时候都在验证手机号那里卡住了,一直显示“该手机号无法验证”,试了网上的方法也没啥用,据说网上说谷歌会屏蔽国内95%的手机号,所以部分幸运儿时可以的(比如我同学,然后我就向他借了)。如果网上的方法都试了还不行就淘宝几块钱买一个。
第一步
MultCloud可以管理所有的云盘,如百度云盘、谷歌云盘等,进入官网注册后(建议翻墙)登录网页版,在云管理器中添加谷歌云盘和百度云盘(当然这两步操作都要你的账号验证才行)。
第二步
在数据集网页把数据集保存到自己的谷歌云盘后,在MultCloud中打开自己的谷歌云盘,然后将数据集复制到MultCloud中的百度云盘里,只能复制到要求的目录中,目录选择错误会有提示,如下所示。
云传输需要一定的时间,文件的云传输似乎并不需要流量(我还没试),毕竟学校流量有限。
(10月12更新:下载COVID-19数据集时用IDM下到85%后一直下载不过来,就选用这种方法了,确实是不耗流量的,云传输速度比较稳定,在1.25MB/s)。云传输结束后通过之前介绍的百度网盘破解方法满速下载即可~
参考文献:
[1] Google Drive(谷歌网盘)下载超大文件方法: https://zhuanlan.zhihu.com/p/143950267#ref_1
[2] 如何优雅的快速下载谷歌云盘的大文件:https://blog.csdn.net/Andrwin/article/details/115317183