pycharm是常用的抓包工具吗

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pycharm是常用的抓包工具吗相关的知识,希望对你有一定的参考价值。

参考技术A 是。
所说的全局代理是针对pycharm来说的,当然更上一层的全局代理是在电脑操作系统层级做的了。pycharm默认提供有配置代理的选项。通过简单配置就可以使所有项目在发送HTTP请求时通过fiddler向外转发请求。具体配置:打开代理配置页:菜单File-settings,输入框输入http,找到Httpproxy。位置打勾,填写下边的Host,port,然后右下角点确定就好。这时如果是第一次配置,可能会弹出一个安装证书的窗口,点接受就OK了。
在使用pycharm开发一些需要访问网络资源的程序时,往往会因人或因物导致的一些配置,表面上看不出异常问题,但实质运行过程中并未如预期,最后就是产生一些莫名其妙的结果,即使检查了千万遍,可能也检查不出问题所在。为了保证我们发送的请求参数和目标网站收到的请求参数都是OK的,就需要有第三方的抓取工具来跟踪和对比,而fiddler主是比较好的抓包工具,通过配置代理实理完美抓取网络请求。

UNIX系统上的抓包工具tcpdump常用命令说明

tcpdump 介绍

tcpdump采用命令行方式对接口的数据包进行筛选抓取,其丰富特性表现在灵活的表达式上。

不带任何选项的tcpdump,默认会抓取第一个网络接口,且只有将tcpdump进程终止才会停止抓包。

例如:


tcpdump - dump traffic on a network

tcpdump是一个用于截取网络分组,并输出分组内容的工具。凭借强大的功能和灵活的截取策略,使其成为类UNIX系统下用于网络分析和问题排查的首选工具

tcpdump 支持针对网络层、协议、主机、网络或端口的过滤,并提供and、or、not等逻辑语句来帮助你去掉无用的信息

tcpdump安装

通常情况下,该工具默认是已经安装好,可以使用 tcpdump --version命令查看是否安装

  • 已经安装的话,可以查看版本信息

[root@localhost ~]# tcpdump --version

tcpdump version 4.9.2

libpcap version 1.5.3

OpenSSL 1.0.2k-fips 26 Jan 2017
  • 没有安装,则会提示命令没找到

[root@localhost ~]# tcpdump --version

-bash: tcpdump: command not found

yum安装


yum install tcpdump

源码安装


# flex   

yum -y install flex  



# bison  

yum -y install bison

wget http://www.tcpdump.org/release/libpcap-1.5.3.tar.gz    

wget http://www.tcpdump.org/release/tcpdump-4.5.1.tar.gz    

tar -zxvf libpcap-1.5.3.tar.gz    

cd libpcap-1.5.3    

./configure    

sudo make install    

cd .. / 

tar -zxvf tcpdump-4.5.1.tar.gz    

cd tcpdump-4.5.1    

./configure    

sudo make install   

tcpdump选项

使用tcpdump --help则可以查看它的命令格式

[root@localhost ~]# tcpdump --help

tcpdump version 4.9.2

libpcap version 1.5.3

OpenSSL 1.0.2k-fips  26 Jan 2017

Usage: tcpdump [-aAbdDefhHIJKlLnNOpqStuUvxX#] [ -B size ] [ -c count ]

                [ -C file_size ] [ -E algo:secret ] [ -F file ] [ -G seconds ]

                [ -i interface ] [ -j tstamptype ] [ -M secret ] [ --number ]

                [ -Q|-P in|out|inout ]

                [ -r file ] [ -s snaplen ] [ --time-stamp-precision precision ]

                [ --immediate-mode ] [ -T type ] [ --version ] [ -V file ]

                [ -w file ] [ -W filecount ] [ -y datalinktype ] [ -z postrotate-command ]

                [ -Z user ] [ expression ]

  • 抓包选项:

-c:指定要抓取的包数量。

-i interface:指定tcpdump需要监听的接口。默认会抓取第一个网络接口

-n:对地址以数字方式显式,否则显式为主机名,也就是说-n选项不做主机名解析。

-nn:除了-n的作用外,还把端口显示为数值,否则显示端口服务名。

-P:指定要抓取的包是流入还是流出的包。可以给定的值为"in"、"out"和"inout",默认为"inout"。

-s len:设置tcpdump的数据包抓取长度为len,如果不设置默认将会是65535字节。对于要抓取的数据包较大时,长度设置不够可能会产生包截断,若出现包截断,
:输出行中会出现"[|proto]"的标志(proto实际会显示为协议名)。但是抓取len越长,包的处理时间越长,并且会减少tcpdump可缓存的数据包的数量,
:从而会导致数据包的丢失,所以在能抓取我们想要的包的前提下,抓取长度越小越好。

  • 输出选项:

-e:输出的每行中都将包括数据链路层头部信息,例如源MAC和目标MAC。

-q:快速打印输出。即打印很少的协议相关信息,从而输出行都比较简短。

-X:输出包的头部数据,会以16进制和ASCII两种方式同时输出。

-XX:输出包的头部数据,会以16进制和ASCII两种方式同时输出,更详细。

-v:当分析和打印的时候,产生详细的输出。

-vv:产生比-v更详细的输出。
-vvv:产生比-vv更详细的输出。


[root@localhost ~]# tcpdump -i ens192 tcp -nn -X -c 10

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on ens192, link-type EN10MB (Ethernet), capture size 262144 bytes

08:54:56.494187 IP 10.15.247.72.22 > 10.10162.243.51546: Flags [P.], seq 1398502444:1398502620, ack 3022776686, win 908, length 176

        0x0000: 4510 00d8 22ed 4000 4006 68d5 0a0a f747 E...".@.@.h....G

        0x0010: 0a09 a2f3 0016 c95a 535b 742c b42b e96e .......ZS[t,.+.n

        0x0020: 5018 038c af18 0000 c9d9 0e04 1e69 3c46 P............i<F

        0x0030: 288a bb0a 30fc de9f 2f9b 4dfc bab3 b36f (...0.../.M....o

        0x0040: 21dc e594 7e26 7f65 4f1e e566 b323 252e !...~&.eO..f.#%.

        0x0050: b940 6703 19d6 7434 e641 2e44 31a2 f74d .@g...t4.A.D1..M

        0x0060: 70a8 219b d701 b578 7e85 7e05 481f d22a p.!....x~.~.H..*

        0x0070: 8b8f 1b43 9165 c728 3b36 462f f9c3 e889 ...C.e.(;6F/....

        0x0080: 0223 d841 05b2 447f 8438 d0b8 bbea 1195 .#.A..D..8......

        0x0090: ff1c 85b5 93c1 8e10 9f21 a45c f52f ca95 .........!../..

        0x00a0: 46c1 730a 9635 5df1 9018 c1f5 46d9 57cd F.s..5].....F.W.

        0x00b0: 3074 16a6 bde6 1661 c86f 61ff 72c7 15a0 0t.....a.oa.r...

        0x00c0: 62cc c8fc 6a30 353f e359 ce7c bbdb fecd b...j05?.Y.|....

        0x00d0: 352a 2766 6740 ef78 5*'fg@.x

08:54:56.494693 IP 10.10.247.71.22 > 10.9.162.243.51546: Flags [P.], seq 176:784, ack 1, win 908, length 608

        0x0000: 4510 0288 22ee 4000 4006 6724 0a0a f747 E...".@.@.g$...G

        0x0010: 0a09 a2f3 0016 c95a 535b 74dc b42b e96e .......ZS[t..+.n

        0x0020: 5018 038c b0c8 0000 89da aa2d 3d3b 491e P..........-=;I.

        0x0030: 2c5e e4a1 d07f b6bb 79e1 e8f2 83f5 6e08 ,^......y.....n.

        0x0040: cec3 8434 182d d17a 5c8d 121f e758 c982 ...4.-.z....X..

        0x0050: b6a9 4de1 a79a 18c0 c6ce 86ad 67a6 562c ..M.........g.V,

        0x0060: c982 b6bb e61a 9c1f 3c24 5866 b579 f710 ........<$Xf.y..

        0x0070: 4757 296b e2b3 51e1 6ecc 8a1f 6974 134e GW)k..Q.n...it.N

        0x0080: 2c3c 26f7 d081 2588 6f4c a523 a9c9 ce3f ,<&...%.oL.#...?

        0x0090: 4716 fa42 99d8 b91b c7b6 1bd2 fc08 7516 G..B..........u.

        0x00a0: 87a8 8114 fd73 6243 4526 6b6c c825 2d44 .....sbCE&kl.%-D

        0x00b0: c36e ee0f 7e0f a84d 62d4 03dc 5f1d 8a80 .n..~..Mb..._...

        0x00c0: c094 8c18 cd29 a7d9 7674 beaa 3397 f0f0 .....)..vt..3...

        0x00d0: dc6d e0b0 a56e a135 54a3 0d13 6cfb 8eb2 .m...n.5T...l...

        0x00e0: 4669 70ab 16e7 cbab 5d43 e9ab dac6 780d Fip.....]C....x.

        0x00f0: f68e 3b1b c7ed 1fb9 b043 e687 2f8e e09e ..;......C../...

        0x0100: 6c8e 9cab 8680 cebc 56bd 760a 9c35 0cf7 l.......V.v..5..

        0x0110: 20e1 47b1 8569 323f 6b4c 0220 6a0f de9e ..G..i2?kL..j...

...
  • 其他功能性选项:

-D:列出可用于抓包的接口。将会列出接口的数值编号和接口名,它们都可以用于"-i"后。

-F:从文件中读取抓包的表达式。若使用该选项,则命令行中给定的其他表达式都将失效。

-w:将抓包数据输出到文件中而不是标准输出。可以同时配合"-G

time"选项使得输出文件每time秒就自动切换到另一个文件。可通过"-r"选项载入这些文件以进行分析和打印。

-r:从给定的数据包文件中读取数据。使用"-"表示从标准输入中读取。

  • 所以常用的选项也就这几个:

tcpdump -D

tcpdump -c num -i int -nn -XX -vvv

tcpdump表达式

表达式用于筛选输出哪些类型的数据包,如果没有给定表达式,所有的数据包都将输出,否则只输出表达式为true的包。在表达式中出现的shell元字符建议使用单引号包围。

tcpdump的表达式由一个或多个"单元"组成,每个单元一般包含ID的修饰符和一个ID(数字或名称)。有三种修饰符:

  • .type:指定ID的类型

可以给定的值有host, net, port, portrange,默认的type为host

例如:host 192.168.73.128 , net 128.3, port 20, portrange 6000-6008‘

  • dir:指定ID的方向

可以给定的值包括src/dst/src or dst/src and dst,默认为src or dst。

例如,"src foo"表示源主机为foo的数据包,"dst net 128.3"表示目标网络为128.3的数据包,"src or dst port 22"表示源或目的端口为22的数据包。

  • proto:通过给定协议限定匹配的数据包类型

常用的协议有tcp/udp/arp/ip/ether/icmp等,若未给定协议类型,则匹配所有可能的类型。

例如"tcp port 21","udp portrange 7000-7009"。

所以,一个基本的表达式单元格式为"proto dir type ID"

表达式单元之间可以使用操作符" and / && / or / || / not / ! "进行连接,从而组成复杂的条件表达式

如"host foo and not port ftp and not port ftp-data",这表示筛选的数据包要满足"主机为foo且端口不是ftp(端口21)和ftp-data(端口20)的包",常用端口和名字的对应关系可在linux系统中的/etc/service文件中找到。

另外,同样的修饰符可省略,如"tcp dst port ftp or ftp-data or domain"与"tcp dst port ftp or tcp dst port ftp-data or tcp dst port domain"意义相同,都表示包的协议为tcp且目的端口为ftp或ftp-data或domain(端口53)。

使用括号"()"可以改变表达式的优先级,但需要注意的是括号会被shell解释,所以应该使用反斜线""转义为"()",在需要的时候,还需要包围在引号中。

tcpdump常用命令示例

注:tcpdump只能抓取流经本机的数据包

1. 默认启动,不加任何参数

tcpdump
默认情况下,直接启动tcpdump将监视第一个网络接口(非lo口)上所有流通的数据包。这样抓取的结果会非常多,滚动非常快。ctrl +c 退出

2 . 监视指定网络接口的数据包

tcpdump -i ens33

3. 监视指定主机的数据包,例如所有进入或离开node1的数据包(可以写主机名,也可以写ip)

tcpdump -i ens33  host node1

4. 通过网卡ens33来监听端口80发出去的host包到192.168.73.133的报文

tcpdump -i ens33 port 80 and dst host "192.168.73.133"

5. 打印node1与任何其他主机之间通信的IP数据包,但不包括与node4之间的数据包

tcpdump -i ens33 host node1 and not node4

6. 截获主机node1 发送的所有数据

tcpdump -i ens33 src host node1

7. 监视任意网卡目标是192.168.73.*的80端口的数据包

tcpdump any port 80 and dst host "192.168.73.*"

8. 监视指定主机和端口的数据包

tcpdump -i ens33 port 8080 and host node1

9. 监视指定网络的数据包,如本机与192.168网段通信的数据包,"-c 10"表示只抓取10个包

tcpdump -i ens33 -c 10 net 192.168

10. 打印所有通过网关snup的ftp数据包

tcpdump 'gateway snup and (port ftp or ftp-data)'

注意,表达式被单引号括起来了,这可以防止shell对其中的括号进行错误解析

11. 抓取ping包

tcpdump -c 5 -nn -i ens33 

==指定主机抓ping包==
tcpdump -c 5 -nn -i ens33 icmp and src 192.168.73.133

12. 抓取到本机22端口包

tcpdump -c 10 -nn -i ens33 tcp dst port 22

13. 解析包数据

[root@elk-master ~]# tcpdump -c 2 -q -XX -vvv -nn -i ens33 tcp dst port 22
tcpdump: listening on ens33, link-type EN10MB (Ethernet), capture size 262144 bytes
10:29:05.724783 IP (tos 0x0, ttl 64, id 2031, offset 0, flags [DF], proto TCP (6), length 40)
    192.168.73.1.61453 > 192.168.73.133.22: tcp 0
        0x0000:  000c 290b 9534 0050 56c0 0008 0800 4500  ..)..4.PV.....E.
        0x0010:  0028 07ef 4000 4006 1f0a c0a8 4901 c0a8  .(..@.@.....I...
        0x0020:  4985 f00d 0016 f675 9adb 7cab 7aa8 5010  I......u..|.z.P.
        0x0030:  1007 132d 0000 0000 0000 0000            ...-........
10:29:05.766565 IP (tos 0x0, ttl 64, id 2032, offset 0, flags [DF], proto TCP (6), length 40)
    192.168.73.1.61453 > 192.168.73.133.22: tcp 0
        0x0000:  000c 290b 9534 0050 56c0 0008 0800 4500  ..)..4.PV.....E.
        0x0010:  0028 07f0 4000 4006 1f09 c0a8 4901 c0a8  .(..@.@.....I...
        0x0020:  4985 f00d 0016 f675 9adb 7cab 7b48 5010  I......u..|.{HP.
        0x0030:  1006 128e 0000 0000 0000 0000            ............
2 packets captured
2 packets received by filter
0 packets dropped by kernel

14. 指定目录保存抓到的ens33网卡上的22端口包数据

tcpdump  -i ens33 tcp port 22 -w /tmp/22.pcap
注:保存目录为tmp下,名字为22.pcap,后缀名是固定格式,名字可以自定义,抓到的包可以使用wireshark工具打开进行分析

15. 后台滚动抓包

有的时候因为问题不是立马复现,需要后台进行抓包保存,但是如果都抓到一个包会导致数据量很大,不好分析,因此需要滚动保存包数据,以下命令就会后台执行抓包命令,并且按照时间对每个包进行命名,当不需要抓包的时候可以ps -ef|grep tcpdump 找到进程,kill掉即可

nohup tcpdump -i ens33 port 22 -s0 -G 3600 -Z root -w ssh22_%Y_%m%d_%H%M_%S.pcap &

16. 后台指定包的数量,然后滚动抓包,执行完指定数量自动结束

网卡,端口,和W参数后的包数量,还有包命名,可以根据需求自己修改,其他参数可以不用修改

nohup tcpdump -i ens33 port 22 -s0 -G 3600 -W 1 -Z root -w ssh22_%Y_%m%d_%H%M_%S.pcap &

以上是关于pycharm是常用的抓包工具吗的主要内容,如果未能解决你的问题,请参考以下文章

常用的抓包工具:fiddler 随笔

UNIX系统上的抓包工具tcpdump常用命令说明

UNIX系统上的抓包工具tcpdump常用命令说明

全网最全的抓包工具的综合对比

windows和linux下的抓包工具

全网最全fiddler使用教程和fiddler如何抓包