技巧总结-2018-06

Posted 2020-12-21

技巧总结-2018-06

2018.05

---

grep持续监控Log：

tail -f file | grep --line-buffered my_pattern

列表和deque的区别：

• 根据index读list，时间复杂度为O(1)但deque是O(n)
• 在两头插入数据，deque的时间复杂度为O(1), list为O(n)
• deque是一个双向链表，所以操作头尾非常简单。
• 随机往中间插入数据，deque与list的时间复杂度都是O(n)
  2018.04

---

MongoDB的聚合查询中，$substr只能匹配ASCII的数据，对于中文要使用$substrCP

Flask的上下文对象current_app只能在请求线程里存在，因此它的生命周期也是在应用上下文里，离开了应用上下文也就无法使用。

app = Flask(‘__name__‘)
print(current_app.name)

会报错：

RuntimeError: working outside of application context

此时可以手动创建应用上下文：

with app.app_context():
    print(current_app.name)

扩展AWS的磁盘空间：

点击修改卷增加磁盘配额，SSH进入服务器，输入以下代码：

lsblk  #这条命令用来确定当前可用的磁盘空间小于磁盘配额

sudo growpart /dev/xvda 1

sudo resize2fs /dev/xvda1

再次执行df -h可以看到已经使用了新的空间

2018.03

---

在Docker查看正在运行的容器是通过什么命令启动的：

docker ps -a --no-trunc

在全新的Ubuntu中安装pip：

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install python3-pip
sudo apt-get install build-essential libssl-dev libffi-dev python3-dev

tar压缩文件的时候排除特定文件和文件夹：

tar --exclude=‘./folder‘ --exclude=‘./upload/folder2‘ -zcvf /backup/filename.tgz .

2018.02

---

在MongoDB使用自带的mongodump备份数据的时候，如果数据库设置了密码，那么在指定mongodump的--password 密码参数的同时，还必须指定--authenticationDatabase admin

2018.01

---

使用grep持续监控Log：

tail -f file | grep --line-buffered my_pattern

使用rsync通过SSH从服务器拉取数据：

rsync -avzP [e-mail]:Projects/sample.csv ~/sample.csv

如果有SSH Key的话，使用下面的命令：

rsync -avzP -e "ssh -i ~/sshkey.pem" [e-mail]:Projects/sample.csv ~/sample.csv

在Ubuntu中修改时区：

sudo timedatectl set-timezone Asia/Shanghai

使用XPath获取名称包含特定字符的属性的属性值：

//span/img/@*[contains(name(), "src")]

AWS在一年免费期间内，换机房不用给钱。先在老的实例生成AMI，再把AMI复制到新的城市，再从新城市的AMI创建实例。然后把老城市的实例彻底终结，取消老城市和新城市的AMI。全程不收费。

在Python中执行Shell命令并获取返回结果：

import subprocess
shell_result = subprocess.check_output(‘ps -ef | grep 进程名 | grep -v grep‘, shell=True).decode().strip().split(‘
)

如果命令本身没有返回，则会抛出一个subprocess.CalledProcessError

在Shell中判断一个进程是否存在：

if ps -ef | grep 进程名 | grep -v grep > /dev/null
then
    echo "进程存在"
else
    echo "进程不存在"
fi

2017.12

---

firewalld对特定IP开放特定端口：

firewall-cmd --permanent --zone=public --add-rich-rule=‘rule family="ipv4" source address="特定IP" port protocol="tcp" port="特定端口" accept‘

生成文件树并过滤特定文件或文件夹：

tree -I ‘__pycache__|pyc|Logs‘

统计代码行数：

find . -name "*.py" | xargs wc -l

为pip设置代理：

pip3.6 --proxy http://代理IP:端口 install -r requirements.txt

为Git设置代理：

RUN git config --global http.proxy http://代理IP:端口
RUN git config --global http.sslverify "false"

为Ubuntu的apt-get设置代理：

vim /etc/apt/apt.conf.d/01turnkey

在里面插入一行：
Acquire::http::Proxy "http://your.proxy.here:port/";
保存以后，下一次执行apt-get命令就会使用代理了。

2017.11

---

修改Elasticsearch默认的数据文件地址到/mnt/es文件夹，需要首先创建这个文件夹，然后为elasticsearch这个用户添加这个文件夹的权限:

Chown -R elasticsearch:elasticsearch /mnt/es/

然后再修改elasticsearch的配置文件。

在postgres中，占位符是$1, $2而不是mysql中的？

2017.10

---

使用urlpare从URL中获取Host：

>>> from urllib.parse import urlparse
>>> url = ‘https://nanjirenlk.tmall.com/shop/view_shop.htm‘
>>> x = urlparse(url)>>> x.netloc‘nanjirenlk.tmall.com‘

解压tar.gz压缩文件：

tar zxvf 文件名

根据进程名字在Linux里杀进程。

ps -ef | grep "进程关键字" | grep -v grep | awk ‘{print $2}‘ | xargs kill -9

在Python 的try ... except Exception ...中显示tracebook:

import traceback
try:
    1 + ‘a‘
except Exception as e:
    tb = traceback.format_exc()
    print(tb)

输出如下：

Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
TypeError: unsupported operand type(s) for +: ‘int‘ and ‘str‘

这个功能在多层try ... except Exception ... 嵌套的时候特别有用。