云南龙网

  1. 首页 > 云知道 > >

随心所欲下载—构造你自己的Linux网络蚂蚁( 二 )

云知道


bash$ wget --header="Referer: http://coming.from.this/page" http://surfing.to.this/page
一些非凡的非公众的web站点只能将内容发送到一些非凡的类型的浏览器中 。可以使用“User-Agent:”头信息发送：

bash$ wget --header="User-Agent: Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)" http://msie.only.url/here
（注重：以上提供的技巧是被使用在满足内容许可机制的情况下使用 。否则 ， 将是违法的行为 。）
指定下载的时间
假如你想在你办公室的与你的同事共用一根线路的电脑里下载大型文件 ， 想象一下他们因为原本像畅快的小溪一样的线路忽然便得像爬虫一样慢而发怒的样子 ， 你就会考虑将你的文件传送时候改在非高峰使用期了 。你不必在等到每个人都离开后还呆在办公室里 ， 也不必在饭后在家中远程登录 。你只要在工作日程安排程序中做以下设置：
bash$ at 2300
warning: commands will be executed using /bin/sh
at> wget http://place.your.url/here
at> press Ctrl-D
我们设定在晚上23点的时候开始下载 。我们要做的就是确信atd这个日程安排守护进程还在工作^&^ 。
下载要花好几天？
当你下载的一个或多个文件包含许多数据 ， 而机器的带宽使得它的传送速度可以和信鸽相比的时候 ， 你会发现当你在第二天早上到了公司 ， 预定的下载还没有完成 。你终止这个工作而且提交另外一个at工作 ， 这次你使用了“wget -c” ， 只要下载没有完成 ， 就天天都重复这个工作 。这时候最好是使用“crontab.txt”自动执行它 。建立一个名为 “crontab.txt”的纯文本文件 ， 内容如下：
0 23 * * 1-5 wget -c -N http://place.your.url/here
0 6 * * 1-5 killall wget
这将是crontab文件 ， 它指定周期性的执行什么工作 。前面的五栏指定什么时候开始执行命令 ， 每行的后面部分指定执行什么 。前两栏指定时间——晚上23点整开始wget ， 早晨6点整就killall wget 。位于第三第四的* 表示每个月的每一天都可以进行这样的工作 。第五栏表示每个星期的哪些天安排了工作时间进程——“1-5”表示星期一到星期五 。
每个工作日的晚上23点下载工作开始 ， 早6点整下载工作停止 。为使这个crontab工作时间表发挥作用 ， 你需要键入以下命令：
bash$ crontab crontab.txt
“-N”参数将检查目标文件的时间邮戳 ， 当它找到了匹配的时间戳 ， 它就会终止下载 ， 因为它表明整个这个文件已经被传送 。“crontab -r”可以取消这个日程时间安排 。我使用这种方法来通过拨号上网下载了许多ISO文件 。
下载动态网页
一些动态的网页需根据需要产生 ， 经常频繁的变动 。既然目标文件从技术角度上讲不能算是一个文件 ， 那么也就无所谓什么文件长度 ， 继续下载也就变得毫无意义——“-c” 选项难以工作 。例如：在Linux Weekend News中生成PHP页：
bash$ wget http://lwn.net/bigpage.php3
假如你中断了下载 ， 然后又想继续 ， 它将从头开始下载 。我办公室的Net线路有时候慢得让人受不了 ， 所以我写了一个简单的脚本用来决定什么时候中断传递动态的Html页：
#!/bin/bash
#create it if absent
toUCh bigpage.php3
#check if we got the whole thing
while ! grep -qi "" bigpage.php3
do
rm -f bigpage.php3
#download LWN in one big page
wget http://lwn.net/bigpage.php3
done
这个bash脚本在找到“”之前会一直下载文档 ， “”标志着文件的结束 。
SSL和Cookies
用“https://”开头可以通过SSL（Secure Sockets Layer ， 安全套接口层）访问远程文件 。你会发现另外一个名为curl的下载软件, 在有些情况下使用它会相当便利 。

推荐阅读


上一篇：所向披靡前一句是什么

下一篇：kt是什么意思网络用语