必赢手机app下载 / Blog / 必赢手机app下载 / 基础教程
图片 3

基础教程

什么是wget

    wget用原本扶助个中的德语来说正是:The non-interactive network
downloader,非交互式网络下载器。它帮助HTTP、HTTPS、FTP等协商,同时也援救基于HTTP代理的下载。别的主要特点如下所示:

  • 能够干活于后台,而无需报到到系统
  • 能够追踪HTML、XHTML、CSS等文件,进而将服务器上的页面下载到本地开展离线浏览。
  • 支撑慢速和动荡互连网下的下载和连接。

常用语法

wget [选项] [URL]

常用选项参数如下所示:

选项 说明
-V,–version 显示版本信息
-h,–help 显示帮助信息
-b,–backgroup 以后台形式进行运行
-e command,–execute command 如果命令属于.wgetrc,则执行命令
-o logfile,–output-file=logfile 将日志打印到文件中
-a logfile,–append-output=logfile 追加日志到文件中
-q,–quiet 静默模式,关闭wget的输出信息
-v,–verbose 显示详细的信息,wget默认模式
-i file,–inpu-file=file 从文件中读取URL下载地址
-B URL,–base=URL 设置连接的相对URL地址
–bind-address=ADDRESS 设置连接的IP地址或主机名
-t number,–tries=number 设置重试次数,0和inf则代表一直重试,默认值为20
-O file,–output-document=file 将下载文件中的内容保存到本地文件中
-nc,–no-clobber 如果下载文件已经存在,则不下载
-c,–continue 继续执行上次的下载任务
-N,–timestamping 增加时间戳
-S,–server-response 打印HTTP、FTP头部信息
-T seconds,–timeout=seconds 设置超时时间
–limit-rate=amount 限制下载速度
-X 设置下载排除项
-r,–recursive 递归下载文件
-nH, –no-host-directories 禁止创建以域名命令的文件夹
–cut-dirs=number 忽略下载地址中的层次目录

下载wget(1.11.4) for win

安顿文件

    要想要得利用wget命令,照旧先明白一下wget遮掩的片段潜准则,地点在:

  • /etc/wgetrc
  • 家目录中的.wgetrc

1、wget命令有部分选用能够采纳逗号实行隔绝,如-X能够设置排除项,要是只是是贰次,则不在乎,但假设长期均无需下载那一个目录,则能够将那些免除项增添.wgetrc配置文件中

exclude_directories=test,tmp,temp

2、在首先种情景下,忽地又想下载这几个文件时,能够去掉配置文件中设置,也足以行使以下的法子:

wget -r -X '' ftp://192.168.8.8

安装 

常用示例

1、下载文件:

[root@localhost ]# wget https://ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/superman/img/logo/logo_redBlue_32fe2c69.png
--2018-07-28 19:55:17--  https://ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/superman/img/logo/logo_redBlue_32fe2c69.png
正在解析主机 ss0.bdstatic.com (ss0.bdstatic.com)... 180.163.198.32
正在连接 ss0.bdstatic.com (ss0.bdstatic.com)|180.163.198.32|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:8618 (8.4K) [image/png]
正在保存至: “logo_redBlue_32fe2c69.png”

100%[=============================================================================================================================>] 8,618       --.-K/s 用时 0.002s

2018-07-28 19:55:17 (3.80 MB/s) - 已保存 “logo_redBlue_32fe2c69.png” [8618/8618])

2、下载目录和后台施行

[root@localhost test]# wget -r -b https://mirrors.aliyun.com/centos/7.5.1804/atomic/x86_64/adb/
继续在后台运行,pid 为 26252。
将把输出写入至 “wget-log”。
[root@localhost test]# ll
总用量 4
drwxr-xr-x 3 root root   38 7月  28 20:14 mirrors.aliyun.com
-rw-r--r-- 1 root root 1257 7月  28 20:14 wget-log
[root@localhost test]# cat wget-log 
--2018-07-28 20:14:11--  https://mirrors.aliyun.com/centos/7.5.1804/atomic/x86_64/adb/
正在解析主机 mirrors.aliyun.com (mirrors.aliyun.com)... 180.163.155.11, 180.163.155.8, 180.163.155.9, ...
正在连接 mirrors.aliyun.com (mirrors.aliyun.com)|180.163.155.11|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:3518 (3.4K) [text/html]
正在保存至: “mirrors.aliyun.com/centos/7.5.1804/atomic/x86_64/adb/index.html”

3、禁绝生成下载地址中的多级目录

[root@localhost test]# wget -b -r -nH --cut-dir=6 https://mirrors.aliyun.com/centos/7.5.1804/atomic/x86_64/adb/
继续在后台运行,pid 为 34849。
将把输出写入至 “wget-log”。
[root@localhost test]# ll
总用量 12
-rw-r--r-- 1 root root 3518 7月  28 20:25 index.html
-rw-r--r-- 1 root root  295 10月 31 2017 robots.txt
-rw-r--r-- 1 root root 1113 7月  28 20:25 wget-log

下载目录路线如下所示:

情况 结果
-r mirrors.aliyun.com/centos/7.5.1804/atomic/x86_64/adb/
-nH centos/7.5.1804/atomic/x86_64/adb/
-nH –cut-dir=1 centos/7.5.1804/atomic/x86_64/adb/
-nH –cut-dir=4 adb/
-nH –cut-dir=6 .

4、将下载的文本保留到本三步跳件中

[root@localhost test]# wget -t 2 -o log.txt https://mirrors.aliyun.com/centos/7.5.1804/isos/x86_64/sha256sum.txt  -O test.txt
[root@localhost test]# ll
总用量 8
-rw-r--r-- 1 root root 554 7月  28 20:37 log.txt
-rw-r--r-- 1 root root 598 5月  10 03:59 test.txt
[root@localhost test]# cat log.txt
--2018-07-28 20:37:28--  https://mirrors.aliyun.com/centos/7.5.1804/isos/x86_64/sha256sum.txt
正在解析主机 mirrors.aliyun.com (mirrors.aliyun.com)... 180.163.155.9, 180.163.155.10, 180.163.155.11, ...
正在连接 mirrors.aliyun.com (mirrors.aliyun.com)|180.163.155.9|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:598 [text/plain]
正在保存至: “test.txt”
     0K                    100%  175M=0s
2018-07-28 20:37:28 (175 MB/s) - 已保存 “test.txt” [598/598])

[root@localhost test]# cat test.txt
506e4e06abf778c3435b4e5745df13e79ebfc86565d7ea1e128067ef6b5a6345  CentOS-7-x86_64-DVD-1804.iso
b346daae2a93caed88e822e722e7284c648f9919d475ff98489b424350f99a45  CentOS-7-x86_64-LiveGNOME-1804.iso
040ddfb27d30e48efad8709c9df946202cec169077c843fd2cbe8d802187ff8e  CentOS-7-x86_64-LiveKDE-1804.iso
714acc0aefb32b7d51b515e25546835e55a90da9fb00417fbee2d03a62801efd  CentOS-7-x86_64-Minimal-1804.iso
99723c8b87dcec21df8aed23de1eb810346d42cfd2a3fafafe70a68296053417  CentOS-7-x86_64-Everything-1804.iso
937bf0a7b0932817f84f7230f15ed88911bbbd85c0c958680792b7f8d8f9c1a9  CentOS-7-x86_64-NetInstall-1804.iso

本文同步在微信订阅号上透露,如各位小友大家欣赏笔者的文章,也能够关怀自个儿的微信订阅号:woaitest,或扫描上边包车型大巴二维码增多关怀:
图片 1

增加wget情况变量,那样使用就更方便人民群众了,右键Computer->属性->高档系统装置->高端->碰着变量->选中PATH->编辑,在结尾增多 

;C:Program Files (x86)GnuWin32bin

 

  1. 下载文件
    图片 2

    wget 网址
    

    图片 3
     

    图片 4

  2. 而要让档案自行储存到指令的目录下,则须求借用-P这一个参数,能够接纳以下的吩咐

    图片 5

    wget -P 目录 网址
    举例来说,如果你要放到/root底下,你可以打下列的指令:
    
    wget -P /root 网址
    
    wget -P D:xxx.zip http://www.xdown.com/xxx.zip
    
    wget -O "D:xxx.zip" http://www.xdown.com/xxx.zip
    

    图片 6

  3. 用wget下载东西,的确很有益,它会活动重连并断点续传。令人很放心。

    有的时候要下载一个网站或网站的某部目录。

    下载一个索引,举个例子下载网址www.example.com/目录mydir下的全体内容
    图片 7

    命令如下:
    wget -r -p -k -np -nc -e robots=off http://www.example.com/mydir/
    如果要想下载整个网站,最好去除-np参数。   
    wget -r -p -k -nc -e robots=off http://www.example.com/mydir/
    
    -r 递归;对于HTTP主机,wget首先下载URL指定的文件,然后(如果该文件是一个HTML文档的话)递归下载该文件所引用(超级连接)的所有文件(递 归深度由参数-l指定)。对FTP主机,该参数意味着要下载URL指定的目录中的所有文件,递归方法与HTTP主机类似。   
    -c 指定断点续传功能。实际上,wget默认具有断点续传功能,只有当你使用别的ftp工具下载了某一文件的一部分,并希望wget接着完成此工作的时候,才 需要指定此参数。
    
    -nc 不下载已经存在的文件
    -np 表示不追溯至父目录,不跟随链接,只下载指定目录及子目录里的东西;
    -p 下载页面显示所需的所有文件。比如页面中包含了图片,但是图片并不在/yourdir目录中,而在/images目录下,有此参数,图片依然会被正常下 载。
    
    -k 修复下载文件中的绝对连接为相对连接,这样方便本地阅读。
    -o down.log 记录日记到down.log
    -e robots=off 忽略robots.txt
    

 

 

 Wget 的使用**
**  

1)协理断点下传作用

2)同一时候帮忙FTP和HTTP下载格局

3)支持代理服务器

4)设置便民轻巧

5)程序小,完全无偿;  

命令格式:  
  wget [参数列表] [目的软件、网页的网站]
  
  1、运维类参数
  
  这一类参数主要提供软件的一对主干消息;
  
  -V,–version 展现软件版本号然后脱离;
  -h,–help展现软件扶植音讯;
  -e,–execute=COMMAND 实施一个 “.wgetrc”命令
  
  以上每一个职能有长短五个参数,长短作用雷同,都能够运用。须要注意的是,这里的-e参数是实行贰个.wgettrc的指令,.wgettrc命令其实是三个参数列表,直接将软件要求的参数写在一齐就足以了。
  
  2、文件管理参数
  
  那类参数定义软件log文件的出口格局等;
  
  -o,–output-file=FILE 将软件出口音讯保存到文件;
  -a,–append-output=FILE将软件出口音信追加到文件;
  -d,–debug显示输出消息;
  -q,–quiet 不显得输出音讯;
  -i,–input-file=FILE 从文件中获得UOdysseyL;
  
  以上参数对于攻击者相比有用,我们来探访现实使用;
  
  例1:下载192.168.1.168首页何况展现下载新闻
  wget -dhttp://192.168.1.168
  
  例2:下载192.168.1.168首页并且不显得别的新闻
  wget -qhttp://192.168.1.168
  
  例3:下载filelist.txt中所包罗的链接的装有文件
  wget -i filelist.txt
  
  
  wget -np -m -l5 http://jpstone.bokee.com //不下载本站所链接的别的站点内容,5级目录结构
  3、下载参数
  
  下载参数定义下载重复次数、保存文件名等;
  
  -t,–tries=NUMBEEscort 是还是不是下载次数(0意味着无穷次)
  -O –output-document=FILE下载文件保留为别的文件名
  -nc, –no-clobber 不要覆盖已经存在的文本
  -N,–timestamping只下载比本地新的文书
  -T,–timeout=SECONDS 设置超时时间
  -Y,–proxy=on/off 关闭代理
  
  例:下载192.168.1.168的首页并将下载进程中的的输入消息保存到test.htm文件中
  wget -o test.htmhttp://192.168.1.168
  
  4、目录参数
  
  目录参数首要安装下载文件保留目录与原来文件(服务器文件)的目录对应涉及;
  
  -nd –no-directories 不成立目录
  -x,–force-directories 强制创设目录
  可能将来我们对此处的目录还不是很理解,大家来看一个举个例子
  
  例:下载192.168.1.168的首页,并且维持网址组织
  wget -xhttp://192.168.1.168
  
  
  5、HTTP参数
  
  HTTP参数设置一些与HTTP下载有关的属性;
  
  –http-user=USER设置HTTP用户
  –http-passwd=PASS设置HTTP密码
  –proxy-user=USEPAJERO设置代理顾客
  –proxy-passwd=PASS设置代理密码
  
  以上参数首要安装HTTP和代办的顾客、密码;
  
  6、递归参数设置
  
  在下载贰个网址照旧网址的三个索引的时候,我们要求精通的下载的档案的次序,那一个参数就足以设置;
  -r,–recursive 下载整个网址、目录(小心使用)
  -l,–level=NUMBE卡宴 下载档案的次序
  
  例:下载整个网站
  wget -rhttp://192.168.1.168
  
  7、递归允许与拒绝选项参数
  
  下载多少个网址的时候,为了尽量快,有个别公文能够挑选下载,比方图片和声音,在那地能够安装;
  
  -A,–accept=LIST 能够承受的文件类型
  -翼虎,–reject=LIST拒绝接受的文件类型
  -D,–domains=LIST能够承受的域名
  –exclude-domains=LIST拒绝的域名
  -L,–relative 下载关联链接
  –follow-ftp 只下载FTP链接
  -H,–span-hosts 可以下载外面的主机
  -I,–include-directories=LIST允许的目录
  -X,–exclude-directories=LIST 拒绝的目录
  
  
  怎么样设定wget所运用的代理服务器
  wget能够选取客户安装文件”.wgetrc”来读取相当多装置,大家这边根本选取这些文件来是
  设置代理服务器。使用者用什么客户登陆,那么如何客商主目录下的”.wgetrc”文件就起
  功用。比如,”root”客商只要想行使”.wgetrc”来安装代理服务器,”/root/.wgetrc”就起
  功效,下边给出贰个”.wgetrc”文件的剧情,读者能够参照那几个例子来编排本人的”wgetrc”文件:
  http-proxy = 111.111.111.111:8080
  ftp-proxy = 111.111.111.111:8080
  这两行的意义是,代理服务器IP地址为:111.111.111.111,端口号为:80。第一行钦点
  HTTP协商所使用的代理服务器,第二行钦点FTP左券所利用的代理服务器。
  
  
  
  WGet使用指南
  wget是二个从网络上活动下载文件的自由工具。它帮衬HTTP,HTTPS和FTP合同,能够接纳HTTP代理.
  
  所谓的机动下载是指,wget能够在顾客退出系统的以往在后台推行。那意味那你能够登录系统,运营三个wget下载职分,然后退出系统,wget就要后台试行直到职务成功,相对于此外超过四分之二浏览器在下载多量数据时索要客户一向的涉企,那省去了特大的劳动。
  
  wget 可以追踪HTML页面上的链接依次下载来创造远程服务器的本地版本,完全重新建立原始站点的目录结构。那又常被称作”递归下载”。在递归下载的时候,wget 遵从罗布ot Exclusion规范(/robots.txt). wget能够在下载的还要,将链接调换到指向当和姑件,以方便离线浏览。
  
  wget 非常平稳,它在带宽很窄的气象下和不安定网络中有很强的适应性.即便是出于网络的因由下载退步,wget会没完没了的尝试,直到全数文件下载实现。即便是劳务 器打断下载进程,它会再一次联到服务器上从甘休的地点继续下载。那对从那二个限定了链接时间的服务器上下载大文件特别低价。
  
  wget的宽泛用法
  wget的使用格式
  
  Usage: wget [OPTION]… [URL]…用wget做站点镜像:
  wget -r -p -np -khttp://dsec.pku.edu.cn/~us..
  # 或者
  wget -mhttp://www.tldp.org/LDP/ab…在动荡的互连网上下载一个有的下载的文书,以至在清闲时段下载
  wget -t 0 -w 31 -chttp://dsec.pku.edu.cn/BBC.. -o down.log &
  # 或然从filelist读入要下载的文书列表
  wget -t 0 -w 31 -c -Bftp://dsec.pku.edu.cn/linu.. -i filelist.txt -o down.log &上边的代码还是能用来在网络相比较空闲的时段开展下载。笔者的用法是:在mozilla准将不便利那时下载的UCR-VL链接拷贝到内部存储器中然后粘贴到文件 filelist.txt中,在夜幕要出去系统前实行下边代码的第二条。
  
  使用代理下载
  wget -Y on -p -khttps://sourceforge.net/pr…代理能够在情形变量或wgetrc文件中设定
  
  # 在情况变量中设定代理
  export PROXY=
  # 在~/.wgetrc中设定代理
  http_proxy =http://proxy.yoyodyne.com:..
  ftp_proxy =http://proxy.yoyodyne.com:…各类选项分类列表
  启动
  -V, –version 展现wget的版本后脱离
  -h, –help 打字与印刷语法扶植
  -b, –background 运行后转入后台试行
  -e, –execute=COMMAND 执行`.wgetrc”格式的下令,wgetrc格式参见/etc/wgetrc或~/.wgetrc记录和输入文件
  -o, –output-file=FILE 把记录写到FILE文件中
  -a, –append-output=FILE 把记录追加到FILE文件中
  -d, –debug 打字与印刷调节和测验输出
  -q, –quiet 安静情势(未有出口)
  -v, –verbose 冗长情势(那是缺省设置)
  -nv, –non-verbose 关掉冗长情势,但不是安静方式
  -i, –input-file=FILE 下载在FILE文件中出现的U奥迪Q7Ls
  -F, –force-html 把输入文件作为HTML格式文件相比
  -B, –base=U智跑L 将UEnclaveL作为在-F -i参数钦定的文本中冒出的对峙链接的前缀
  –sslcertfile=FILE 可选客商端证书
  –sslcertkey=KEYFILE 可选顾客端证书的KEYFILE
  –egd-file=FILE 钦命EGD socket的文本名下载
  –bind-address=ADDRESS 钦定地点利用地方(主机名或IP,当本地有多个IP或名字时使用)
  -t, –tries=NUMBE帕杰罗 设定最大尝试链接次数(0 表示无界定).
  -O –output-document=FILE 把文书档案写到FILE文件中
  -nc, –no-clobber 不要覆盖存在的公文或使用.#前缀
  -c, –continue 接着下载没下载完的文本
  –progress=TYPE 设定进度条标志
  -N, –timestamping 不要再一次下载文件除非比当半夏件新
  -S, –server-response 打字与印刷服务器的答疑
  –spider 不下载任高建文西
  -T, –timeout=SECONDS 设定响应超时的秒数
  -w, –wait=SECONDS 一次尝试之间间隔SECONDS秒
  –waitretry=SECONDS 在重新链接之间等待1…SECONDS秒
  –random-wait 在下载之间等待0…2*WAIT秒
  -Y, –proxy=on/off 展开或关闭代理
  -Q, –quota=NUMBE途胜 设置下载的体量限制
  –limit-rate=RATE 限定下载输率目录
  -nd –no-directories 不创造目录
  -x, –force-directories 强制创制目录
  -nH, –no-host-directories 不创设主机目录
  -P, –directory-prefix=PREFIX 将文件保留到目录 PREFIX/…
  –cut-dirs=NUMBEWrangler 忽略 NUMBEEvoque层远程目录HTTP 选项
  –http-user=USE奥迪Q7 设定HTTP客商名称叫 USE奥迪Q5.
  –http-passwd=PASS 设定http密码为 PASS.
  -C, –cache=on/off 允许/差别意服务器端的数额缓存 (日常情形下同意).
  -E, –html-extension 将兼具text/html文书档案以.html扩大名保存
  –ignore-length 忽略 `Content-Length”头域
  –header=ST智跑ING 在headers中插入字符串 ST奇骏ING
  –proxy-user=USEOdyssey 设定代理的客户名叫 USE宝马7系
  –proxy-passwd=PASS 设定代理的密码为 PASS
  –referer=ULANDL 在HTTP需要中含有 `Referer: URL”头
  -s, –save-headers 保存HTTP头到文件
  -U, –user-agent=AGENT 设定代理的称呼为 AGENT并不是 Wget/VECRUISERSION.
  –no-http-keep-alive 关闭 HTTP活动链接 (永久链接).
  –cookies=off 不使用 cookies.
  –load-cookies=FILE 在开头会话前从文件 FILE中加载cookie
  –save-cookies=FILE 在对话甘休后将 cookies保存到 FILE文件中FTP 选项
  -nr, –dont-remove-listing 不移走 `.listing”文件
  -g, –glob=on/off 展开或关闭文件名的 globbing机制
  –passive-ftp 使用被动传输方式 (缺省值).
  –active-ftp 使用主动传输情势
  –retr-symlinks 在递归的时候,将链接指向文件(实际不是目录)递归下载
  -r, –recursive 递归下载--慎用!
  -l, –level=NUMBE哈弗 最大递归深度 (inf 或 0 代表无穷).
  –delete-after 在近来完结后局地删除文件
  -k, –convert-links 转变非相对链接为相对链接
  -K, –backup-converted 在调换文件X在此之前,将之备份为 X.orig
  -m, –mirror 等价于 -r -N -l inf -nr.
  -p, –page-requisites 下载展现HTML文件的富有图片递归下载中的富含和不含有(accept/reject)
  -A, –accept=LIST 分号分隔的被接受扩大名的列表
  -翼虎, –reject=LIST 分号分隔的不被接受的扩张名的列表
  -D, –domains=LIST 分号分隔的被接受域的列表
  –exclude-domains=LIST 分号分隔的不被接受的域的列表
  –follow-ftp 追踪HTML文书档案中的FTP链接
  –follow-tags=LIST 分号分隔的被盯梢的HTML标签的列表
  -G, –ignore-tags=LIST 分号分隔的被忽略的HTML标签的列表
  -H, –span-hosts 当递归时转到外界主机
  -L, –relative 仅仅追踪相对链接
  -I, –include-directories=LIST 允许目录的列表
  -X, –exclude-directories=LIST 不被含有目录的列表
  -np, –no-parent 不要追溯到父目录
  
  
  Wget使用技艺 
  wget的利用格局是:
  wget [参数列表] URL
  首先来介绍一下wget的首要参数:
  ・ -b:让wget在后台运转,记录文件写在当前目录下”wget-log”文件中;
  ・ -t [nuber of times]:尝试次数,当wget不能与服务器建构连接时,尝试连接多少次
  。比如”-t
  120″表示尝试1贰十一次。当这一项为”0″的时候,钦命尝试无穷数次截止连接成功结束,这些
  设置极度有用,当对方服务器突然关机只怕互连网陡然中止的时候,能够在复苏平常后三回九转
  下载未有传完的公文;
  ・ -c:断点续传,那也是个拾分有效的设置,非常当下载一点都十分的大的文件的时候,要是中
  途意外中断,那么连接恢复生机的时候会从上次没传完的地点接着传,并不是又从头初步,使
  用这一项须要中间隔服务器也支撑断点续传,常常来讲,基于UNIX/Linux的Web/FTP服务器
  都扶植断点续传;
  ・ -T [number of seconds]:超时时间,钦赐多久远程服务器没有响应就搁浅连接
  ,起先下二次尝试。比方”-T
  120″表示假使120秒以往远程服务器并未有发过来数据,就重新尝试连接。假若网络速度比
  非常的慢,那个时辰足以设置的短些,相反,能够安装的长一些,平时最多不当先900,经常
  也不菲于60,日常安装在120左右相比符合;
  ・ -w [number of seconds]:在三次尝试之间等待多少秒,举例”-w 100″表示五回尝试
  之间等待100秒;
  ・ -Y on/off:通过/不通过代理服务器进行连接;
  ・ -Q [byetes]:限制下载文件的总大小最多不能跨更多少,比方”-Q2k”表示无法当先2K
  字节,”-Q3m”表示最多无法超过3M字节,要是数字背后什么都不加,就表示是以字节为单
  位,比如”-Q200″表示最多不可能超越200字节;
  ・ -nd:不下载目录结构,把从服务器全数钦命目录下载的文件都堆到当前目录里;
  ・ -x:与”-nd”设置刚好相反,创制完整的目录结构,比如”wget -ndhttp://www.gnu.org”将成立在当前目录下创办”w…,然后依据服务器
  实际的目录结构一流一级建下去,直到全部的公文都传完甘休;
  ・ -nH:不成立以指标主机域名称叫目录名的目录,将对象主机的目录结构一直下到当前目
  录下;
  ・ –http-user=username
  ・ –http-passwd=password:假如Web服务器必要钦命客户名和口令,用这两项来设定;
  ・ –proxy-user=username
  ・ –proxy-passwd=password:要是代理服务器供给输入客户名和口令,使用这一个选用
  ;
  ・ -r:在本机建立服务器端目录结构;
  ・ -l [depth]:下载远程服务器目录结构的纵深,譬喻”-l 5″下载目录深度小于可能等
  于5以内的目录结构依旧文件;
  ・ -m:做站点镜像时的选项,假若你想做一个站点的镜像,使用这一个选项,它将活动设
  定别的适当的选项以便于站点镜像;
  ・ -np:只下载指标站点钦命目录及其子目录的源委。那也是多个十一分有效的选项,大家
  若是有些人的个人主页里面有二个针对那个站点其余人个人主页的接连,而大家只想下载
  这厮的个人主页,假如不安装那些选项,以致–有希望把任何站点给抓下来,那分明是
  咱们日常不期待的;
  ü 如何设定wget所利用的代理服务器
  wget能够行使客户安装文件”.wgetrc”来读取相当多安装,我们那边最首要利用这一个文件来是
  设置代理服务器。使用者用什么样顾客登录,那么怎么样客商主目录下的”.wgetrc”文件就起
  作用。举个例子,”root”顾客一旦想使用”.wgetrc”来安装代理服务器,”/root/.wgert”就起
  成效,下边给出一个”.wge
  trc”文件的剧情,读者能够参考那一个例子来编排本人的”wgetrc”文件:
  http-proxy = 111.111.111.111:8080
  ftp-proxy = 111.111.111.111:8080
  这两行的意义是,代理服务器IP地址为:111.111.111.111,端口号为:80。第一行钦定
  HTTP和谐所采纳的代理服务器,第二行钦定FTP公约所使用的代理服务器。
  wget 使用实例:
  wget是二个命令行工具,用于批量下载文件,协理HTTP和FTP。究竟比别的的工具幸亏哪里?看看内容吧 
  
  wget基本上全体的Linux版本都友好带了,然则有微微人在用呢?呵呵,若是你未曾用过,无妨尝试。Windows下边包车型客车客户能够选用GNUwin32的品类,wget,基本作用完全一致。好吗,大家来以多少个简易的例子看看wget的威力。
  
  假设我们想下载ftp里面有些目录里面包车型客车持有文件,大家也得以不用ftp那么些笨蛋,呵呵,能够分享cute ftp等图形化学工业具的拖贰个索引的无拘无束了。如
  
  
  wget -rftp://10.8.8.8/movie/
  
  呵呵,等呢!下完了,发觉有些语无伦次,怎么出去个10.8.8.8的目录,进去看看,又是三个movie,哦,wget将引得结商谈网址标题都给记录下来了,不要??没十分!比方说依旧那几个事例
  
  wget -r -ndftp://10.8.8.8/movie/
  
  结果什么目录都并未有了,faint!怎会如此?呵呵,你假设想要那样就让它那样吗,不然使用
  
  wget -r -nHftp://10.8.8.8/movie/
  
  恩?movie也毫不?OK,那就那样
  
  wget -r -nH –cut-dirs=1ftp://10.8.8.8/movie/
  
  那有如何用啊?cuteftp比他好用多了,而且,你那断了线能连吗?呵呵,倒霉意思,能够连
  
  wget -c -r -nH –cut-dirs=1ftp://10.8.8.8/movie/
  
  
  但 是cuteftp能做上面包车型地铁事体呢?比方,以后众多网址选拔Apache建站,并不提供ftp服务,不过Apache有二个indexing作用,能够提 供叁个近似于ftp的分界面,很多文书笔者想下啊,怎么做?由于是HTTP公约,CuteFTP心有余而力不足了,倒是flash get等有如何get all这种效果,不清楚她们对于目录管理如何。不过wget一点题目都尚未,不相信?大家拿CTAN为例(例子并不合适,CTAN有FTP服务),我们下 载这中间有着的宏包,呵呵
  
  wget -r -khttp://www.txia.com/blog
  
  -k代表将连接转变为本地连接。不过未来同样有下边包车型客车主题素材呀,那就把您必要的丰硕吧,此外可能你一向无需向下走那么多层,譬如,我们将在到第二层,那么
  
  wget -r -l2 -khttp://www.txia.com/blog
  
  将来新的难点是,由于网页有一个排序功用,很讨厌,因为下载的时候把网页重复了广大次,那么大家可选取-A和-LAND开关调节下载类型,而且能够行使通配符,呵呵,未来私行了呢
  
  wget -r -R “*.htm*?*” -khttp://www.txia.com/blog
  
  这一次未有这种网页了吧?-Sportage的含义在于拒绝下载相称类型的公文,-A代表无非接受的文件类型,如-A “*.gif”将仅下载gif图片,假若有三个允许或许分歧意,能够应用,分开。
  
  那 么,我们前些天在动用代理服务器,如何做呢?呵呵,很欢腾你采用了wget,你能够使用它的配备文件,情状变量来使用代理。这里推荐应用情形变量,如在 bash里面我们能够把随即用的proxy加到.bash_profile里面,那是Linux规范写法(非常多软件都用的,什么apt-get,yum等 等)
  
  export http_proxy=
  
  然后,proxy就私下认可展开了,假诺急需临时关闭,能够运用
  
  wget –proxy=off -r -khttp://www.txia.com/blog
  
  当然,写八个.wgetrc文件也足以,该文件能够从/usr/local/etc里面找到,里面有很详细的讲授,笔者就十分的少说了。
  
  下载网页的时候可比费心的事体是,有的网页被同有的时候候针对了不计其数遍,那么为了幸免频繁下载,大家运用
  
  wget -nc -r -khttp://www.txia.com/blog
  
  能够幸免这件业务。为了不被有个别接二连三指向非http://www.txia.com/blog内层目录,我们还相应加上
  
  wget -nc -np -r -khttp://www.txia.com/blog
  
  制止下载非该目录里面包车型大巴文本,那也制止了到不一致的host上面去。当然,假令你希望有那一个效应,在多个host之间跳来跳去的下载,能够行使
  
  wget -nc -np -H -r -khttp://www.txia.com/blog
  
  使得能够在多个host之间span,同有时候-I和-X能够使得大家只有追踪有个别目录可能不追踪有些目录。假诺某个HTML里面你须要的东西不是由这种事物作出来的,你就得利用–follow-tags和–ignore-tags了。
  
  嘿,笔者有个文本之中都以接连,怎么做?如若不是html你只要求
  
  wget -i your.file
  
  要是是,那也不繁
  
  wget -F -i your.file
  
  
  
  wget 使用指南
  wget是四个从网络上自行下载文件的私下工具。它扶植HTTP,HTTPS和FTP左券,可以行使HTTP代理.
  
  所谓的电动下载是指,wget可以在客户退出系统的事后在后台实施。那象征那你能够登入种类,运转三个wget下载任务,然后退出系统,wget将要后台实施直到职分到位,相对于别的超越56%浏览器在下载大量数额时索要客户直接的参预,那省去了巨大的劳碌。
  
  wget 能够追踪HTML页面上的链接依次下载来成立远程服务器的当地版本,完全重新创设原始站点的目录结构。那又常被称作”递归下载”。在递归下载的时候,wget 遵从罗布ot Exclusion标准(/robots.txt). wget能够在下载的还要,将链接调换到指向本半夏件,以福利离线浏览。
  
  wget 特别安静,它在带宽很窄的气象下和不平稳网络中有很强的适应性.借使是由于网络的因由下载失败,wget会不停的品味,直到整个文件下载达成。假如是劳动 器打断下载进度,它会重复仇者联盟到服务器上从结束的地点接二连三下载。那对从那么些限定了链接时间的服务器上下载大文件丰盛实惠。
  
  wget的广大用法
  wget的选用格式
  
  Usage: wget [OPTION]… [URL]…
  
  用wget做站点镜像:
  wget -r -p -np -khttp://dsec.pku.edu.cn/~us..
  -r 代表递归下载,会下载全数的链接,可是要在意的是,不要独立选拔这几个参数,因为倘诺您要下载的网址也是有别的网站的链接,wget也会把别的网址的事物下载 下来,所以要增多 -np这么些参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本土链接.-p获得全体展现网页所需的成分,例如图片什么的.
  
  # 或者
  wget -mhttp://www.tldp.org/LDP/ab..
  
  
  在不稳固的网络上下载四个有的下载的公文,乃至在闲暇时段下载
  wget -t 0 -w 31 -chttp://dsec.pku.edu.cn/BBC.. -o down.log &
  # 只怕从filelist读入要下载的公文列表
  wget -t 0 -w 31 -c -Bftp://dsec.pku.edu.cn/linu.. -i filelist.txt -o down.log &
  
  上边的代码还足以用来在互联网相比较空闲的时节进行下载。笔者的用法是:在mozilla大校不实惠那时候下载的UEnclaveL链接拷贝到内部存款和储蓄器中然后粘贴到文件filelist.txt中,在夜幕要出去系统前实行下边代码的第二条。
  
  使用代理下载
  wget -Y on -p -khttps://sourceforge.net/pr..
  
  代理能够在情状变量或wgetrc文件中设定
  # 在情形变量中设定代理
  export PROXY=
  # 在~/.wgetrc中设定代理
  http_proxy =http://proxy.yoyodyne.com:..
  ftp_proxy =http://proxy.yoyodyne.com:..
  
  wget各样选项分类列表
  启动
  -V, –version 显示wget的版本后脱离
  -h, –help 打字与印刷语法扶助
  -b, –background 运维后转入后台实行
  -e, –execute=COMMAND 执行`.wgetrc”格式的一声令下,wgetrc格式参见/etc/wgetrc或~/.wgetrc
  
  记录和输入文件
  -o, –output-file=FILE 把记录写到FILE文件中
  -a, –append-output=FILE 把记录追加到FILE文件中
  -d, –debug 打印调节和测验输出
  -q, –quiet 安静情势(未有出口)
  -v, –verbose 冗长格局(那是缺省设置)
  -nv, –non-verbose 关掉冗长格局,但不是宁静方式
  -i, –input-file=FILE 下载在FILE文件中冒出的U福睿斯Ls
  -F, –force-html 把输入文件作为HTML格式文件相比较
  -B, –base=URubiconL 将URubiconL作为在-F -i参数内定的公文中冒出的相持链接的前缀
  –sslcertfile=FILE 可选顾客端证书
  –sslcertkey=KEYFILE 可选客商端证书的KEYFILE
  –egd-file=FILE 钦定EGD socket的文本名
  
  下载
  –bind-address=ADDRESS 钦定地方利用地点(主机名或IP,当本地有三个IP或名字时行使)
  -t, –tries=NUMBE本田CR-V 设定最大尝试链接次数(0 代表无界定).
  -O –output-document=FILE 把文书档案写到FILE文件中
  -nc, –no-clobber 不要覆盖存在的公文或使用.#前缀
  -c, –continue 接着下载没下载完的文本
  –progress=TYPE 设定进程条标识
  -N, –timestamping 不要再度下载文件除非比地方文件新
  -S, –server-response 打字与印刷服务器的回应
  –spider 不下载任胡秋生西
  -T, –timeout=SECONDS 设定响应超时的秒数
  -w, –wait=SECONDS 两回尝试之间间距SECONDS秒
  –waitretry=SECONDS 在重复链接之间等待1…SECONDS秒
  –random-wait 在下载之间等待0…2*WAIT秒
  -Y, –proxy=on/off 张开或关闭代理
  -Q, –quota=NUMBE奇骏 设置下载的容积限制
  –limit-rate=RATE 限定下载输率
  
  目录
  -nd –no-directories 不创建目录
  -x, –force-directories 强制创建目录
  -nH, –no-host-directories 不创设主机目录
  -P, –directory-prefix=PREFIX 将文件保留到目录 PREFIX/…
  –cut-dirs=NUMBE牧马人 忽视 NUMBE劲顾客层远程目录
  
  HTTP 选项
  –http-user=USEEscort 设定HTTP客户名叫 USE劲客.
  –http-passwd=PASS 设定http密码为 PASS.
  -C, –cache=on/off 允许/不容许服务器端的数目缓存 (平常景观下同意).
  -E, –html-extension 将全体text/html文书档案以.html扩充名保存
  –ignore-length 忽略 `Content-Length”头域
  –header=ST奥德赛ING 在headers中插入字符串 STSportageING
  –proxy-user=USERAV4 设定代理的客户名称为 USE奥迪Q7
  –proxy-passwd=PASS 设定代理的密码为 PASS
  –referer=ULacrosseL 在HTTP央求中包涵 `Referer: URL”头
  -s, –save-headers 保存HTTP头到文件
  -U, –user-agent=AGENT 设定代理的名号为 AGENT而不是 Wget/VEQX56SION.
  –no-http-keep-alive 关闭 HTTP活动链接 (永久链接).
  –cookies=off 不使用 cookies.
  –load-cookies=FILE 在开端会话前从文件 FILE中加载cookie
  –save-cookies=FILE 在对话停止后将 cookies保存到 FILE文件中
  
  FTP 选项
  -nr, –dont-remove-listing 不移走 `.listing”文件
  -g, –glob=on/off 打开或关闭文件名的 globbing机制
  –passive-ftp 使用被动传输形式 (缺省值).
  –active-ftp 使用主动传输方式
  –retr-symlinks 在递归的时候,将链接指向文件(并不是目录)
  
  递归下载
  -r, –recursive 递归下载--慎用!
  -l, –level=NUMBEEvoque 最大递归深度 (inf 或 0 代表无穷).
  –delete-after 在现行反革命截止后有的删除文件
  -k, –convert-links 调换非相对链接为相对链接
  -K, –backup-converted 在更动文件X从前,将之备份为 X.orig
  -m, –mirror 等价于 -r -N -l inf -nr.
  -p, –page-requisites 下载彰显HTML文件的有着图片
  
  递归下载中的包蕴和不包罗(accept/reject)
  -A, –accept=LIST 分号分隔的被接受扩展名的列表
  -奥迪Q5, –reject=LIST 分号分隔的不被接受的扩张名的列表
  -D, –domains=LIST 分号分隔的被接受域的列表
  –exclude-domains=LIST 分号分隔的不被接受的域的列表
  –follow-ftp 追踪HTML文书档案中的FTP链接
  –follow-tags=LIST 分号分隔的被跟踪的HTML标签的列表
  -G, –ignore-tags=LIST 分号分隔的被忽视的HTML标签的列表
  -H, –span-hosts 当递归时转到外界主机
  -L, –relative 仅仅追踪相对链接
  -I, –include-directories=LIST 允许目录的列表
  -X, –exclude-directories=LIST 不被含有目录的列表
  -np, –no-parent 不要追溯到父目录
  
  问题
  在递归下载的时候,蒙受目录中有普通话的时候,wget创设的地头目录名会用UENCOREL编码准则处理。如”天网防火墙”会被存为”%CC%EC%CD%F8%B7%C0%BB%F0%C7%BD”,那致使阅读上的宏大不方便人民群众。

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章

网站地图xml地图