笨功夫

Posted 2021-05-25 herongweiV

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了笨功夫相关的知识，希望对你有一定的参考价值。

大家周末好，我是小贺。

每个周末晚上，你会不会有一种「明天要重新做人」的冲动？

这周的工作比较充实，新接手了一个工作，需要用到 Python 爬虫相关的知识。

新需求，代表着新机会，也有压力，问题随之而来。意味着不仅仅要处理自己日常的需求，还要尽快熟悉交接的新业务。

Python 爬虫之前接触的不是很多，虽然大学简单学了点，但距离公司业务的要求还是有很大差距的。

新业务来了，也不可能像在学校一样系统性的，全面性的学习相关的知识。

工作了就是这样，公司不会给你大把时间去学习的，需求都是有时间节点的，也就是 deadline。

事情安排到你这了，不管你会不会，必须要把它在规定时间前完成，不会怎么办？尽快学，要尽快上手，利用空余时间尽快学。

在互联网公司，快速学习的能力是程序员的基本职业素养：

你在大厂里面经常需要几天甚至几个小时的时间内快速的看懂项目，上手一个崭新的框架，短时间内疯狂的学习新技术，想出解决方案，脑力的消耗是相当大的，所以也是相当费头发的。。。

如果一个东西是你必须学会的，你早晚都要下功夫把它学会，就算是笨功夫也得学会。

之前偷懒没学到的后面一定会加倍努力补回来，所以该学什么东西的时候一定要好好学会。

知识只能靠自己掌握，学会了就是你的，学不会谁也帮不了你。

工作量饱和了，肚子也饿的快，吃的也多，最近这几天中午不到 12 点，肚子就呱呱叫了，去食堂能吃两碗米饭。

前几天完成了数据提取，解析的工作，现在到最终的入库阶段了，慢慢的有感觉了，对于整个网页搜索流程也有个大概的认知了。

在负责这个需求的过程中，也碰到两个问题，纠结了一段时间，不过还好后面都解决了。

在此记录一下，以为后人踩坑。

1、Python 消费 kafka 数据的时候注意 auto.offset.reset 三个参数的解释。

其中 earliest 表示当各分区下有已提交的 offset 时，从提交的 offset 开始消费；无提交的 offset 时，从头开始消费。

2、学到了一个动态加载的问题，简单的来说，如果一个网页本身嵌套了有动态加载的 javascript，网页本身展示给用户的，其实是调用其他的API生产的数据，如果用 Python 的 Xpath 或 soupbeautifu 解析是提取不了数据的。

3、mysql 5.8 版本，插入中文数据乱码的问题，注意保证代码文件，插入数据和数据库编码设置是否保持一致。MySQL的默认编码是 Latin1，不支持中文，要支持中午需要把数据库的默认编码修改为 gbk 或者 utf8。通过以下命令查看 show variables like 'char%';

MySQL 在 Linux 环境下，修改编码有两种方案：

方案 1：修改 /etc/my.cnf 配置文件；

方案2：直接在数据库中，运行命令 set character_set_database =utf8; 等命令，但是这种方案，在 MySQL 重启后失效，所以还是建议大家使用第一种方案。

好了，其实写代码，做需求都是必须要经历的过程，在这个过程中，每天都要和 Bug 相爱相杀。

网上有人说：程序员的日常三件事：写 Bug、改 Bug、背锅。

调侃程序员时，就经常会说：“哟，又在写Bug。”。

写代码，遇到问题，解决问题，也是一个修炼自己耐心的过程。

不过一想想又学到了之前不会的东西，感觉脑容量又变大了呢，没有比这更开心了。

不是吗？

好了，本周的唠嗑就到这里了。

大家周末愉快。