python爬虫 请教一下，python怎么连接websocket

Posted 2023-05-10

参考技术A urllib, urllib2, urlparse, BeautifulSoup, mechanize, cookielib 等等啦这些库的掌握并不难，网络爬虫难的是你要自己设计压力控制算法，还有你的解析算法，还有图的遍历算法等。

价值10W+的Python爬虫技术，我是如何学习的？

 Tips：Python免费课程报名中，点击文末“阅读原文”快速抢！

一个熟悉爬虫技术的人的独白！

不得不说，Python爬虫对于我来说真是个神器。之前在分析一些经济数据的时候，需要从网上抓取一些数据下来，想了很多方法，一开始是通过Excel,但是Excel只能爬下表格，局限性太大了。

之后问了学编程的朋友，他说JavaScrip也能实现，于是懵懵董董地就去学Java (我那朋友是学Java的，我当时问他用Java能不能实现，他说JavaScript好像可以，当时我什么都不懂，就把JavaScript理解成是Java下的一个分支，以为JavaScript只是ava其中-个包什么的，于是我便去学了一小会Java,无知惹的祸啊。。。)。

但整个Java体系也太庞大了 ,学起来力不从心，毕竟我只是要运用其中一部分功能而已，于是学没多久我就放弃了。就在我迷茫的时候，我发现了Python.....

废话说多了，说说自己的学习经历吧。也给想学Python,想写爬虫的人一个参考。

 一开始我是在网上自己找了个基础的视频来学，Python真是门简单的语言，之前懂一点Visual Basic,感觉Python也很适合给无编程基础的人学习。

入门视频到最后，就做出了我的第一个爬虫一百度贴吧图片爬虫 (相信很多的教程都是以百度贴吧爬虫为经典例子来说的。)

一开始代码很简单，只能爬取第一页的数据，于是我加了一一个循环，就能够爬取制定页数的图片了。并且图片是有按顺序排列的，非常方便。在筛选网址的时候用正则表达式就好了。

可是我不经常混贴吧啊，也很少有要下载贴吧图片的需求。回归初衷吧。我对投资有兴趣，学编程有一个原因也是为了投资服务。在7月股灾进行时的时候，我错过了一个明显的“捡钱”的机会，并非自身专业知识不够，而是当时在准备考试，很少去看股市，这让我心有不甘:要是有个东西能够帮我自动爬取数据分析并推送就好了，于是有了以下学习轨迹:

0 1

爬取数据

两个可以替代Python里urlib和re正则表达式的库,它们分别叫做requests和Ixml。

第一个库挺不错的，现在在获取网页源代码时，我都用这个库，大家如果有不懂的可以看看那个网站。https://blog.csdn.net/iloveyin/article/details/21444613  第二个库由于我是用3.4版本的Python,折腾了很久没折腾进去，于是我发现了另一个不错的库BeautifulSoup,详细教程参考: Python爬虫入门八之Beautiful Soup的用法

有了requests和Beautifulsoup,基本上可以实现我想要的很多功能了。我便做了一一个抓取分级基金数据的爬虫:

0 2

分析并推送

其实在此分析其实还谈不上，顶多算是筛选。(不过我相信随着 我数学能力提升会能有进一步的分析的，美好的祝愿。。。)筛选很简单，就是涨幅或收益率等等满足一定条件就保留下来，保留下来干嘛?推送啊! ! !

将保存下来的数据通过邮件发送到自己的邮箱，手机上下载个软件，一切就大功告成了!

至此当时学习Python的目的就达到了，当时鸡冻地要炸了! ! !

不过....那么好玩的东西，怎么能这么快就结束了?再折腾吧!

03

简单的界面

等等! Python好像不能直接弄成exe可执行文件，不能每次运行都开Python的窗口啊!强迫症怎么能忍! 1上网搜搜发现有诸如py2exe的包可以转换，可是老子是3.4版本啊! 折腾半天没搞定，算了!我不是会点VB吗，用那个吧。于是连界面都有了

刚好会点PS，做做低级的界面也不错。

0 4

云服务器

做完界面我以为就结束了，我还是too young啊。用了几天发现，我总不能天天开着电脑让它就运行那么几个程序吧?总得有个地方能我24小时运行这些程序。本来想跟朋友的电脑轮流运行，还是太麻烦。偶然的机会我发现了云服务器这个东西。了解后砸下重金买下服务器(其实一个月30而......）

折腾一番linux系统的操作， 实现了24小时的实时推送。

而到这里，我已经深陷到Python里了，我觉得我应该继续学习这门强大简单的语言，在知乎上看到了一个问题: Quant应该学习哪些Python知识? 虽然说的是Quant但也为我指引了-一些方向。目前正准备学习numpy,pandas,matplotlib这些库， 以实现未来对金融、经济数据的可视化和分析。相关的内容有一本书写得还不错， 叫《利用Python进行数据分析》，有兴趣学习可以读- -读。

如果你也想入门高薪Python人工智能行业，欢迎你来到达内学习。

Python人工智能免费试听课，2月21-24日免费训练营，2月25日正式开课！10年经验资深工程师授课，全国45个城市200个校区就近试听，也可在线试听。点击页面底部「阅读原文」报名，更多问题请加QQ2105684008咨询达妹

相关推荐

现在人工智能爆发，Python是一门脚本语言，它更适合去做人工智能这个领域，在人工智能上使用Python比其他编程语言有更大的优势。

学习一门python语言的前景越来越好，如果想在IT领域发展的话，可以报名达内Python+人工智能课程，点击页面底部“阅读原文”预约免费课程。

回复「课程」查看Python课程详情

更多问题请加QQ 2105684008咨询达妹

▼点击“阅读原文”报名Python免费训练营