wget砍站，忽略robot.txt

首先設置一下環境變數，cmd命令打開command視窗：

set http_proxy=http://username:passwd@myproxy.xxx:portnum/

比如說你的windows wget 安裝在如下的地方，那麼使用下面的命令來下載網站：

d:\Program Files\wget-1.10.2b\ wget -k -m -np -d -Y yes http://xxx.xxx.xxx/

d:\Program Files\wget-1.10.2b\ wget -k -m -np -q -Y yes http://xxx.xxx.xxx/

-k, --convert-links 將絕對鏈接轉換為相對鏈接。
-m 就等價於 遞歸下載+除非遠程文件較新，否則不再取回+最大遞歸深度無限+不刪除「
.listing」文件。
-np, --no-parent 不搜索上層目錄。
注意其中-d只是輸出下載信息，換成-q就變成「安靜」下載了。