深度学习：bert embedding用法详解

Posted 2022-08-13 -柚子皮-

 

环境配置

下载bert已训练好的模型

如BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters

解压到目录/.../chinese_L-12_H-768_A-12/，其中...为你自己的某个目录。

[https://github.com/google-research/bert#pre-trained-models]

安装bert-as-service

bert-as-service uses BERT as a sentence encoder and hosts it as a service via ZeroMQ, allowing you to map sentences into fixed-length representations in just two lines of code.

pip3 install bert-serving-server # server 

pip3 install bert-serving-client # client, independent of `bert-serving-server`

Note: 要求Python >= 3.5 及 Tensorflow >= 1.10（pip3 install tf-nightly）。

-柚子皮-

开启bert服务

如果只是想获取句子的embedding

bert-serving-start -model_dir /Users/youzipi/files/mine/data/chinese_L-12_H-768_A-12/ -num_worker=4 -max_seq_len=4 &

Note: 相当于将句子中的词的embedding取均值输出。

如果想获取句子中单个词的embedding

nohup bert-serving-start -pooling_strategy NONE -model_dir /home/piting.pt/data/chinese_L-12_H-768_A-12/ -num_worker=2 -max_seq_len=4 -port=5557 -port_out=5558 >> ../../log.txt 2>& 1 &
sleep 240

成功提示：... I:WORKER-3:[__i:gen:322]: ready and listening! 

如果出错：1 zmq.error.ZMQError: Address already in use. 可能是别人已经开启，直接用别人开启的服务也可以，如果和别人开启的服务器版本对不上也会出错，这时可以在上面的bert-serving-start 命令中间添加 -port=5557 -port_out=5558；且代码中调用时也使用相同port接口：bc = BertClient(show_server_config=False, port=5557, port_out=5558)。

2 shutting down... terminated!。可能是因为已经在运行，但是如果关了port的话也没关系。jobs查看后台运行。

停止bert服务

老版本不支持，只能手动crtl+c或者kill，更新版本可以使用命令停止。

pip install -U bert-serving-server bert-serving-client

bert-serving-terminate -port ***

开启的服务有这些：

 93771.+  20   0  120820   1920    808 S   0.0  0.0   0:00.02 sshd                          

 93772.+  20   0  116576   3404   1800 S   0.0  0.0   0:00.09 bash                          

 98198.+  20   0 1631412 201932  77316 T   0.0  0.1   0:01.72 bert-serving-st               

 99737.+  20   0 1631252 126112   1896 T   0.0  0.0   0:00.00 ZMQbg/3                       

...                 

 99751.+  20   0 25.379g 1.272g 215688 T   0.0  0.5   3:46.51 ZMQbg/3 

获取bert embedding

获取句子的embedding

from bert_serving.client import BertClient

bc = BertClient(show_server_config=False)
bert_embed = bc.encode(['价格比比较不错的酒店。', 'then do it right', 'then do it better'])
print(bert_embed)

获取句子中单个词的embedding

from bert_serving.client import BertClient

bc = BertClient(show_server_config=False)
bert_embed = bc.encode(['我'])[0][1]
print(bert_embed)

Note：可以从请求后的输出看到进度。如I:SINK:[__i:_ru:342]:send back size: 1 job id: b'd3dc7ea7-8018-488f-9980-98cabde69021#2083'表示已处理完2083条请求。

一些需要说明的示例

（使用pooling_strategy = NONE及max_seq_len = 25）

# max_seq_len = 25
# pooling_strategy = NONE

bc = BertClient(show_server_config=False)vec = bc.encode(['hey you', 'whats up?'])

vec  # [2, 25, 768]
vec[0]  # [1, 25, 768], sentence embeddings for `hey you`
vec[0][0]  # [1, 1, 768], word embedding for `[CLS]`
vec[0][1]  # [1, 1, 768], word embedding for `hey`
vec[0][2]  # [1, 1, 768], word embedding for `you`
vec[0][3]  # [1, 1, 768], word embedding for `[SEP]`
vec[0][4]  # [1, 1, 768], word embedding for padding symbol
vec[0][25]  # error, out of index!

如果使用pooling_strategy = NONE则可以看到cls, sep都编码了，我们只取需要的，所以max_seq_len大小至少为str长度+2，即‘我’+cls+sep至少为3。另外pad的embedding为0不需要考虑。

如果是在map-reduce中使用bert_encode()，可以并行开多个bert client，类似：

num_parallel_calls = 4
num_concurrent_clients = num_parallel_calls * 2
bc_clients = [BertClient(show_server_config=False) for _ in range(num_concurrent_clients)]


def bert_encode(word):
    bc = bc_clients.pop()
    vocb_bert = bc.encode([word])[0][1]
    bc_clients.append(bc)
    return vocb_bert

[example can be found example4.py]

[bert-as-service]

from: https://blog.csdn.net/pipisorry

ref: