想学软件开发有啥建议吗？？？

Posted 2023-05-02

建议如下：

一、多读书，多思考。

这里的书是指课外读物，想读什么就读什么。你头脑里的知识体系和世界观、方法论、思考方式，就在这个时候建立起来。往往很多大学生毕业了，只读专业书籍，没有自己的 世界观、方法论、思考方式，走一步算一步，未来没有方向，也不知道自己喜欢什么样的工作。

二、学好英语。

不解释。

三、加强编程实践。

学习编程的方法和路径是：学习基础语法和知识，看别人优秀的代码，自己写代码，debug，写代码，debug。。。

当然其中要多总结和写文档。

学生在校期间，基础课比较多，如果是读了研，光是研究论文的就很辛苦了，但是我还是主张多加强编程实践。

方式有很多种。

1、找份兼职工作。

没有想法，不知道如何开始编程，那就找一份兼职的软件开发工作。随着工作的展开，你涉及的技术会越来越多，慢慢的形成自己的认知和技术方向。

2、加入开源项目。

相当于要到网上领取开发任务，没有钱赚，但是可以提升知名度，并且任务会推着你去写代码，提升编程经验。

3、开发自己的app。

现在android很火，可以试试去开发自己的app放到各种store去看看，也会还会有额外收入。

4、学生大都会经常访问技术论坛，看看技术贴，这很好，但是这种提升编程技术很慢。通过上面的实践后，你可以多谢谢自己的博客。

学习软件开发，推荐去北京尚学堂，我就是在那里学习的，完备的教学资源能够帮助你在学习道路上越走越远。

参考技术A 我发一个我这边的学习路线
阶段一：Python开发基础
Python全栈开发与人工智能之Python开发基础知识学习内容包括：Python基础语法、数据类型、字符编码、文件操作、函数、装饰器、迭代器、内置方法、常用模块等。
阶段二：Python高级编程和数据库开发
Python全栈开发与人工智能之Python高级编程和数据库开发知识学习内容包括：面向对象开发、Socket网络编程、线程、进程、队列、IO多路模型、mysql数据库开发等。
阶段三：前端开发
Python全栈开发与人工智能之前端开发知识学习内容包括：html、CSS、javascript开发、Jquery&bootstrap开发、前端框架VUE开发等。
阶段四：WEB框架开发
Python全栈开发与人工智能之WEB框架开发学习内容包括：Django框架基础、Django框架进阶、BBS+Blog实战项目开发、缓存和队列中间件、Flask框架学习、Tornado框架学习、Restful API等。
阶段五：爬虫开发
Python全栈开发与人工智能之爬虫开发学习内容包括：爬虫开发实战。
阶段六：全栈项目实战
Python全栈开发与人工智能之全栈项目实战学习内容包括：企业应用工具学习、CRM客户关系管理系统开发等。
阶段七：算法&设计模式
阶段八：数据分析
Python全栈开发与人工智能之数据分析学习内容包括：金融量化分析。
阶段九：机器学习、图像识别、NLP自然语言处理
Python全栈开发与人工智能之人工智能学习内容包括：机器学习、图形识别、人工智能玩具开发等。
阶段十：Linux系统&百万级并发架构解决方案
阶段十一：高并发语言GO开发
Python全栈开发与人工智能之高并发语言GO开发学习内容包括：GO语言基础、数据类型与文件IO操作、函数和面向对象、并发编程等。 参考技术B 我发一个我这边的学习路线
阶段一：Python开发基础
Python全栈开发与人工智能之Python开发基础知识学习内容包括：Python基础语法、数据类型、字符编码、文件操作、函数、装饰器、迭代器、内置方法、常用模块等。
阶段二：Python高级编程和数据库开发
Python全栈开发与人工智能之Python高级编程和数据库开发知识学习内容包括：面向对象开发、Socket网络编程、线程、进程、队列、IO多路模型、Mysql数据库开发等。
阶段三：前端开发
Python全栈开发与人工智能之前端开发知识学习内容包括：Html、CSS、JavaScript开发、Jquery&bootstrap开发、前端框架VUE开发等。
阶段四：WEB框架开发
Python全栈开发与人工智能之WEB框架开发学习内容包括：Django框架基础、Django框架进阶、BBS+Blog实战项目开发、缓存和队列中间件、Flask框架学习、Tornado框架学习、Restful API等。
阶段五：爬虫开发
Python全栈开发与人工智能之爬虫开发学习内容包括：爬虫开发实战。
阶段六：全栈项目实战
Python全栈开发与人工智能之全栈项目实战学习内容包括：企业应用工具学习、CRM客户关系管理系统开发等。
阶段七：算法&设计模式
阶段八：数据分析
Python全栈开发与人工智能之数据分析学习内容包括：金融量化分析。
阶段九：机器学习、图像识别、NLP自然语言处理
Python全栈开发与人工智能之人工智能学习内容包括：机器学习、图形识别、人工智能玩具开发等。
阶段十：Linux系统&百万级并发架构解决方案
阶段十一：高并发语言GO开发
Python全栈开发与人工智能之高并发语言GO开发学习内容包括：GO语言基础、数据类型与文件IO操作、函数和面向对象、并发编程等 参考技术C 人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。可以说几乎是自然科学和社会科学的所有学科，其范围已远远超出了计算机科学的范畴，人工智能与思维科学的关系是实践和理论的关系，人工智能是处于思维科学的技术应用层次，是它的一个应用分支。从思维观点看，人工智能不仅限于逻辑思维，要考虑形象思维、灵感思维才能促进人工智能的突破性的发展，数学常被认为是多种学科的基础科学，数学也进入语言、思维领域，人工智能学科也必须借用数学工具，数学不仅在标准逻辑、模糊数学等范围发挥作用，数学进入人工智能学科，它们将互相促进而更快地发展。 参考技术D 软件前景还是很不错的。我国进入新时代了，对第三产业，服务业需求日益增多，大家花在手机上的时间也越来越多这些都需要软件提供服务，不断发展的文化产业对软件需要也很多，如动漫设计，片头片尾设计，虚拟现实等。前景好，还要个人业务过硬，毕竟软件行业技术更新快，需要不断学习的。

需要使用“显示更多”按钮从网页中抓取信息，有啥建议吗？

【中文标题】需要使用“显示更多”按钮从网页中抓取信息，有啥建议吗？

【英文标题】：Need to scrape information from a webpage with a "show more" button, any recommendations?需要使用“显示更多”按钮从网页中抓取信息，有什么建议吗？

【发布时间】：2015-11-21 16:17:29

【问题描述】：

目前出于教育原因正在开发“爬虫”，

一切正常，我可以提取 url 和信息并将其保存在 json 文件中，一切都很好而且花花公子......除了

该页面有一个“加载更多”按钮，我需要与之交互，以便爬虫继续寻找更多网址。

这就是我可以使用你们这些了不起的男人和女孩的地方！

关于如何做到这一点的任何建议？

我想与“加载更多”按钮进行交互，并将 HTML 信息重新发送到我的爬虫。

非常感谢你们提供的任何帮助！

网址：http://virali.se/photo/gallery/

一些用于查找公司名称的示例代码：

def base_spider(self, max_pages, max_CIDS):
    url = "http://virali.se/photo/gallery/photog/"  # Input URL

    for pages in range(0, max_pages):
        source_code = requests.get(url)  # gets the source_code from the URL
        plain_text = source_code.text  # Pure text transform for BeautifulSoup
        soup = BeautifulSoup(plain_text, "html.parser")  # Use HTML parser to read the plain_text var
    for article in soup.find_all("article"):
            business_name_pattern = re.compile(r"<h1>(.*?)</?h1>")
            business_name_raw = str(re.findall(business_name_pattern, str(article)))
            business_name_clean = re.sub("[\[\]\'\"]", "", business_name_raw)
            self.myprint(business_name_clean)  # custom print function for weird chars

此代码仅查找商家名称，但当然，如果 url 上的“显示更多结果”按钮未交互，它将用完商家名称来搜索。

【问题讨论】：

PS：“Scrapy”框架不是一个选项，我目前正在使用 Beautifulsoup、正则表达式和请求

也许您可以向我们展示您正在抓取的网站以及到目前为止您尝试过的内容（代码）？

在与页面交互方面没有尝试太多，只是一些基本的 BeautifulSoup 和正则表达式，恐怕代码在这里没有帮助：p

您需要向我们展示您正在与之交互的网站和您的代码，否则我们无法为您提供帮助，因为我们不是神奇的读心者。特别是，“加载更多”按钮的工作方式可能会影响我们的答案。

很抱歉给您带来不便，让我的问题更加清晰。

【参考方案1】：

如果您使用开发人员工具（我使用 Chrome）查看该网站，那么您会看到当您单击“显示更多结果”按钮时会触发 XHR 发布请求。

在这种情况下，您可以模拟此请求来收集数据：

with requests.Session() as session:
    response = session.post("http://virali.se/photo/gallery/search", data='start':0)
    print(response.content)

“魔法”在session.post 的data 参数中：它是从该偏移量加载图像的必需参数。在上面的示例中，0 是您在网站上默认看到的第一组图片。

你可以用 BeautifulSoup 解析response.content。

我希望这可以帮助您入门，虽然该示例使用 Python 3，但也可以使用 Python 2 以相同的方式解决（不使用 with 构造）。

【讨论】：

非常有趣的方法我的朋友！我现在使用 selenium 来完成所有的 javascript 交互，我现在只是在页面上执行脚本：p

好吧，如果您不想使用 Selenium，这就是该操作，因为它也有问题。我喜欢这种方式不仅仅是模拟浏览器的额外工具，因为有时它无法按我的意愿工作:)