pycharm是常用的抓包工具吗

Posted 2023-05-10

参考技术A 是。
所说的全局代理是针对pycharm来说的，当然更上一层的全局代理是在电脑操作系统层级做的了。pycharm默认提供有配置代理的选项。通过简单配置就可以使所有项目在发送HTTP请求时通过fiddler向外转发请求。具体配置：打开代理配置页：菜单File-settings，输入框输入http，找到Httpproxy。位置打勾，填写下边的Host,port，然后右下角点确定就好。这时如果是第一次配置，可能会弹出一个安装证书的窗口，点接受就OK了。
在使用pycharm开发一些需要访问网络资源的程序时，往往会因人或因物导致的一些配置，表面上看不出异常问题，但实质运行过程中并未如预期，最后就是产生一些莫名其妙的结果，即使检查了千万遍，可能也检查不出问题所在。为了保证我们发送的请求参数和目标网站收到的请求参数都是OK的，就需要有第三方的抓取工具来跟踪和对比，而fiddler主是比较好的抓包工具，通过配置代理实理完美抓取网络请求。

UNIX系统上的抓包工具tcpdump常用命令说明

tcpdump 介绍

tcpdump采用命令行方式对接口的数据包进行筛选抓取，其丰富特性表现在灵活的表达式上。

不带任何选项的tcpdump，默认会抓取第一个网络接口，且只有将tcpdump进程终止才会停止抓包。

例如：

tcpdump - dump traffic on a network

tcpdump是一个用于截取网络分组，并输出分组内容的工具。凭借强大的功能和灵活的截取策略，使其成为类UNIX系统下用于网络分析和问题排查的首选工具

tcpdump 支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息

tcpdump安装

通常情况下，该工具默认是已经安装好，可以使用 tcpdump --version命令查看是否安装

• 已经安装的话，可以查看版本信息

[root@localhost ~]# tcpdump --version

tcpdump version 4.9.2

libpcap version 1.5.3

OpenSSL 1.0.2k-fips 26 Jan 2017

• 没有安装，则会提示命令没找到

[root@localhost ~]# tcpdump --version

-bash: tcpdump: command not found

yum安装

yum install tcpdump

源码安装

# flex   

yum -y install flex  



# bison  

yum -y install bison

wget http://www.tcpdump.org/release/libpcap-1.5.3.tar.gz    

wget http://www.tcpdump.org/release/tcpdump-4.5.1.tar.gz    

tar -zxvf libpcap-1.5.3.tar.gz    

cd libpcap-1.5.3    

./configure    

sudo make install    

cd .. / 

tar -zxvf tcpdump-4.5.1.tar.gz    

cd tcpdump-4.5.1    

./configure    

sudo make install   

tcpdump选项

使用tcpdump --help则可以查看它的命令格式

[root@localhost ~]# tcpdump --help

tcpdump version 4.9.2

libpcap version 1.5.3

OpenSSL 1.0.2k-fips  26 Jan 2017

Usage: tcpdump [-aAbdDefhHIJKlLnNOpqStuUvxX#] [ -B size ] [ -c count ]

                [ -C file_size ] [ -E algo:secret ] [ -F file ] [ -G seconds ]

                [ -i interface ] [ -j tstamptype ] [ -M secret ] [ --number ]

                [ -Q|-P in|out|inout ]

                [ -r file ] [ -s snaplen ] [ --time-stamp-precision precision ]

                [ --immediate-mode ] [ -T type ] [ --version ] [ -V file ]

                [ -w file ] [ -W filecount ] [ -y datalinktype ] [ -z postrotate-command ]

                [ -Z user ] [ expression ]

• 抓包选项：

-c：指定要抓取的包数量。

-i interface：指定tcpdump需要监听的接口。默认会抓取第一个网络接口

-n：对地址以数字方式显式，否则显式为主机名，也就是说-n选项不做主机名解析。

-nn：除了-n的作用外，还把端口显示为数值，否则显示端口服务名。

-P：指定要抓取的包是流入还是流出的包。可以给定的值为"in"、"out"和"inout"，默认为"inout"。

-s len：设置tcpdump的数据包抓取长度为len，如果不设置默认将会是65535字节。对于要抓取的数据包较大时，长度设置不够可能会产生包截断，若出现包截断，
：输出行中会出现"[|proto]"的标志(proto实际会显示为协议名)。但是抓取len越长，包的处理时间越长，并且会减少tcpdump可缓存的数据包的数量，
：从而会导致数据包的丢失，所以在能抓取我们想要的包的前提下，抓取长度越小越好。

• 输出选项：

-e：输出的每行中都将包括数据链路层头部信息，例如源MAC和目标MAC。

-q：快速打印输出。即打印很少的协议相关信息，从而输出行都比较简短。

-X：输出包的头部数据，会以16进制和ASCII两种方式同时输出。

-XX：输出包的头部数据，会以16进制和ASCII两种方式同时输出，更详细。

-v：当分析和打印的时候，产生详细的输出。

-vv：产生比-v更详细的输出。
-vvv：产生比-vv更详细的输出。

[root@localhost ~]# tcpdump -i ens192 tcp -nn -X -c 10

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on ens192, link-type EN10MB (Ethernet), capture size 262144 bytes

08:54:56.494187 IP 10.15.247.72.22 > 10.10162.243.51546: Flags [P.], seq 1398502444:1398502620, ack 3022776686, win 908, length 176

        0x0000: 4510 00d8 22ed 4000 4006 68d5 0a0a f747 E...".@.@.h....G

        0x0010: 0a09 a2f3 0016 c95a 535b 742c b42b e96e .......ZS[t,.+.n

        0x0020: 5018 038c af18 0000 c9d9 0e04 1e69 3c46 P............i<F

        0x0030: 288a bb0a 30fc de9f 2f9b 4dfc bab3 b36f (...0.../.M....o

        0x0040: 21dc e594 7e26 7f65 4f1e e566 b323 252e !...~&.eO..f.#%.

        0x0050: b940 6703 19d6 7434 e641 2e44 31a2 f74d .@g...t4.A.D1..M

        0x0060: 70a8 219b d701 b578 7e85 7e05 481f d22a p.!....x~.~.H..*

        0x0070: 8b8f 1b43 9165 c728 3b36 462f f9c3 e889 ...C.e.(;6F/....

        0x0080: 0223 d841 05b2 447f 8438 d0b8 bbea 1195 .#.A..D..8......

        0x0090: ff1c 85b5 93c1 8e10 9f21 a45c f52f ca95 .........!../..

        0x00a0: 46c1 730a 9635 5df1 9018 c1f5 46d9 57cd F.s..5].....F.W.

        0x00b0: 3074 16a6 bde6 1661 c86f 61ff 72c7 15a0 0t.....a.oa.r...

        0x00c0: 62cc c8fc 6a30 353f e359 ce7c bbdb fecd b...j05?.Y.|....

        0x00d0: 352a 2766 6740 ef78 5*'fg@.x

08:54:56.494693 IP 10.10.247.71.22 > 10.9.162.243.51546: Flags [P.], seq 176:784, ack 1, win 908, length 608

        0x0000: 4510 0288 22ee 4000 4006 6724 0a0a f747 E...".@.@.g$...G

        0x0010: 0a09 a2f3 0016 c95a 535b 74dc b42b e96e .......ZS[t..+.n

        0x0020: 5018 038c b0c8 0000 89da aa2d 3d3b 491e P..........-=;I.

        0x0030: 2c5e e4a1 d07f b6bb 79e1 e8f2 83f5 6e08 ,^......y.....n.

        0x0040: cec3 8434 182d d17a 5c8d 121f e758 c982 ...4.-.z....X..

        0x0050: b6a9 4de1 a79a 18c0 c6ce 86ad 67a6 562c ..M.........g.V,

        0x0060: c982 b6bb e61a 9c1f 3c24 5866 b579 f710 ........<$Xf.y..

        0x0070: 4757 296b e2b3 51e1 6ecc 8a1f 6974 134e GW)k..Q.n...it.N

        0x0080: 2c3c 26f7 d081 2588 6f4c a523 a9c9 ce3f ,<&...%.oL.#...?

        0x0090: 4716 fa42 99d8 b91b c7b6 1bd2 fc08 7516 G..B..........u.

        0x00a0: 87a8 8114 fd73 6243 4526 6b6c c825 2d44 .....sbCE&kl.%-D

        0x00b0: c36e ee0f 7e0f a84d 62d4 03dc 5f1d 8a80 .n..~..Mb..._...

        0x00c0: c094 8c18 cd29 a7d9 7674 beaa 3397 f0f0 .....)..vt..3...

        0x00d0: dc6d e0b0 a56e a135 54a3 0d13 6cfb 8eb2 .m...n.5T...l...

        0x00e0: 4669 70ab 16e7 cbab 5d43 e9ab dac6 780d Fip.....]C....x.

        0x00f0: f68e 3b1b c7ed 1fb9 b043 e687 2f8e e09e ..;......C../...

        0x0100: 6c8e 9cab 8680 cebc 56bd 760a 9c35 0cf7 l.......V.v..5..

        0x0110: 20e1 47b1 8569 323f 6b4c 0220 6a0f de9e ..G..i2?kL..j...

...

• 其他功能性选项：

-D：列出可用于抓包的接口。将会列出接口的数值编号和接口名，它们都可以用于"-i"后。

-F：从文件中读取抓包的表达式。若使用该选项，则命令行中给定的其他表达式都将失效。

-w：将抓包数据输出到文件中而不是标准输出。可以同时配合"-G

time"选项使得输出文件每time秒就自动切换到另一个文件。可通过"-r"选项载入这些文件以进行分析和打印。

-r：从给定的数据包文件中读取数据。使用"-"表示从标准输入中读取。

• 所以常用的选项也就这几个：

tcpdump -D

tcpdump -c num -i int -nn -XX -vvv

tcpdump表达式

表达式用于筛选输出哪些类型的数据包，如果没有给定表达式，所有的数据包都将输出，否则只输出表达式为true的包。在表达式中出现的shell元字符建议使用单引号包围。

tcpdump的表达式由一个或多个"单元"组成，每个单元一般包含ID的修饰符和一个ID(数字或名称)。有三种修饰符：

• .type：指定ID的类型

可以给定的值有host, net, port, portrange，默认的type为host

例如：host 192.168.73.128 , net 128.3, port 20, portrange 6000-6008‘

• dir：指定ID的方向

可以给定的值包括src/dst/src or dst/src and dst，默认为src or dst。

例如，"src foo"表示源主机为foo的数据包，"dst net 128.3"表示目标网络为128.3的数据包，"src or dst port 22"表示源或目的端口为22的数据包。

• proto：通过给定协议限定匹配的数据包类型

常用的协议有tcp/udp/arp/ip/ether/icmp等，若未给定协议类型，则匹配所有可能的类型。

例如"tcp port 21"，"udp portrange 7000-7009"。

所以，一个基本的表达式单元格式为"proto dir type ID"

表达式单元之间可以使用操作符" and / && / or / || / not / ! "进行连接，从而组成复杂的条件表达式

如"host foo and not port ftp and not port ftp-data"，这表示筛选的数据包要满足"主机为foo且端口不是ftp(端口21)和ftp-data(端口20)的包"，常用端口和名字的对应关系可在linux系统中的/etc/service文件中找到。

另外，同样的修饰符可省略，如"tcp dst port ftp or ftp-data or domain"与"tcp dst port ftp or tcp dst port ftp-data or tcp dst port domain"意义相同，都表示包的协议为tcp且目的端口为ftp或ftp-data或domain(端口53)。

使用括号"()"可以改变表达式的优先级，但需要注意的是括号会被shell解释，所以应该使用反斜线""转义为"()"，在需要的时候，还需要包围在引号中。

tcpdump常用命令示例

注：tcpdump只能抓取流经本机的数据包

1. 默认启动，不加任何参数

tcpdump
默认情况下，直接启动tcpdump将监视第一个网络接口(非lo口)上所有流通的数据包。这样抓取的结果会非常多，滚动非常快。ctrl +c 退出

2 . 监视指定网络接口的数据包

tcpdump -i ens33

3. 监视指定主机的数据包，例如所有进入或离开node1的数据包(可以写主机名，也可以写ip)

tcpdump -i ens33  host node1

4. 通过网卡ens33来监听端口80发出去的host包到192.168.73.133的报文

tcpdump -i ens33 port 80 and dst host "192.168.73.133"

5. 打印node1与任何其他主机之间通信的IP数据包,但不包括与node4之间的数据包

tcpdump -i ens33 host node1 and not node4

6. 截获主机node1 发送的所有数据

tcpdump -i ens33 src host node1

7. 监视任意网卡目标是192.168.73.*的80端口的数据包

tcpdump any port 80 and dst host "192.168.73.*"

8. 监视指定主机和端口的数据包

tcpdump -i ens33 port 8080 and host node1

9. 监视指定网络的数据包，如本机与192.168网段通信的数据包，"-c 10"表示只抓取10个包

tcpdump -i ens33 -c 10 net 192.168

10. 打印所有通过网关snup的ftp数据包

tcpdump 'gateway snup and (port ftp or ftp-data)'

注意,表达式被单引号括起来了,这可以防止shell对其中的括号进行错误解析

11. 抓取ping包

tcpdump -c 5 -nn -i ens33 

==指定主机抓ping包==
tcpdump -c 5 -nn -i ens33 icmp and src 192.168.73.133

12. 抓取到本机22端口包

tcpdump -c 10 -nn -i ens33 tcp dst port 22

13. 解析包数据

[root@elk-master ~]# tcpdump -c 2 -q -XX -vvv -nn -i ens33 tcp dst port 22
tcpdump: listening on ens33, link-type EN10MB (Ethernet), capture size 262144 bytes
10:29:05.724783 IP (tos 0x0, ttl 64, id 2031, offset 0, flags [DF], proto TCP (6), length 40)
    192.168.73.1.61453 > 192.168.73.133.22: tcp 0
        0x0000:  000c 290b 9534 0050 56c0 0008 0800 4500  ..)..4.PV.....E.
        0x0010:  0028 07ef 4000 4006 1f0a c0a8 4901 c0a8  .(..@.@.....I...
        0x0020:  4985 f00d 0016 f675 9adb 7cab 7aa8 5010  I......u..|.z.P.
        0x0030:  1007 132d 0000 0000 0000 0000            ...-........
10:29:05.766565 IP (tos 0x0, ttl 64, id 2032, offset 0, flags [DF], proto TCP (6), length 40)
    192.168.73.1.61453 > 192.168.73.133.22: tcp 0
        0x0000:  000c 290b 9534 0050 56c0 0008 0800 4500  ..)..4.PV.....E.
        0x0010:  0028 07f0 4000 4006 1f09 c0a8 4901 c0a8  .(..@.@.....I...
        0x0020:  4985 f00d 0016 f675 9adb 7cab 7b48 5010  I......u..|.{HP.
        0x0030:  1006 128e 0000 0000 0000 0000            ............
2 packets captured
2 packets received by filter
0 packets dropped by kernel

14. 指定目录保存抓到的ens33网卡上的22端口包数据

tcpdump  -i ens33 tcp port 22 -w /tmp/22.pcap
注：保存目录为tmp下，名字为22.pcap，后缀名是固定格式，名字可以自定义，抓到的包可以使用wireshark工具打开进行分析

15. 后台滚动抓包

有的时候因为问题不是立马复现，需要后台进行抓包保存，但是如果都抓到一个包会导致数据量很大，不好分析，因此需要滚动保存包数据,以下命令就会后台执行抓包命令，并且按照时间对每个包进行命名，当不需要抓包的时候可以ps -ef|grep tcpdump 找到进程，kill掉即可

nohup tcpdump -i ens33 port 22 -s0 -G 3600 -Z root -w ssh22_%Y_%m%d_%H%M_%S.pcap &

16. 后台指定包的数量，然后滚动抓包，执行完指定数量自动结束

网卡，端口，和W参数后的包数量，还有包命名，可以根据需求自己修改，其他参数可以不用修改

nohup tcpdump -i ens33 port 22 -s0 -G 3600 -W 1 -Z root -w ssh22_%Y_%m%d_%H%M_%S.pcap &