Python爬虫开发第1篇机器视觉及Tesseract
Posted Nice1949
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫开发第1篇机器视觉及Tesseract相关的知识,希望对你有一定的参考价值。
ORC库概述
在读取和处理图像、图像相关的机器学习以及创建图像等任务中,Python 一直都是非常出色的语言。虽然有很多库可以进行图像处理,但在这里我们只重点介绍:Tesseract
1.Tesseract
Tesseract 是一个 OCR 库,目前由 Google 赞助(Google 也是一家以 OCR 和机器学习技术闻名于世的公司)。Tesseract 是目前公认最优秀、最精确的开源 OCR 系统。 除了极高的精确度,Tesseract 也具有很高的灵活性。它可以通过训练识别出任何字体,也可以识别出任何 Unicode 字符。
2.Tesseract安装
Windows 系统
下载可执行安装文件https://code.google.com/p/tesseract-ocr/downloads/list安装。
要使用 Tesseract 的功能,需先在系统中设置一 个新的环境变量 $TESSDATA_PREFIX
,让 Tesseract 知道训练的数据文件存储在哪里,然后搞一份tessdata数据文件,放到Tesseract目录下。
-
在 Windows 系统上也类似,你可以通过下面这行命令设置环境变量:
#setx TESSDATA_PREFIX C:\\Program Files\\Tesseract OCR\\Tesseract
3.pytesseract安装
Tesseract 是一个 Python 的命令行工具,不是通过 import 语句导入的库。安装后,要用 tesseract 命令在 Python 的外面运行,但我们可以通过 pip 安装支持Python 版本的 Tesseract库:pip install pytesseract
通过下面的命令运行 Tesseract,读取文件并把结果写到一个文本文件中: `tesseract test.jpg text
Python代码
import pytesseract from PIL import Image image = Image.open(\'test.jpg\') text = pytesseract.image_to_string(image) print text 运行结果: This is some text, written in Arial, that will be read by Tesseract. Here are some symbols: !@#$%"&*()
对图片进行阈值过滤和降噪处理
遇到图片难以识别的问题,可用 Python 脚本对图片进行清理。利用 Pillow 库,可创建一个 阈值过滤器来去掉渐变的背景色,只把文字留下来,从而让图片更加清晰,便于 Tesseract 读取:
from PIL import Image import subprocess def cleanFile(filePath, newFilePath): image = Image.open(filePath) # 对图片进行阈值过滤,然后保存 image = image.point(lambda x: 0 if x<143 else 255) image.save(newFilePath) # 调用系统的tesseract命令对图片进行OCR识别 subprocess.call(["tesseract", newFilePath, "output"]) # 打开文件读取结果 file = open("output.txt", \'r\') print(file.read()) file.close() cleanFile("text2.jpg", "text2clean.png")
从网站图片中抓取文字
用 Tesseract 读取硬盘里图片上的文字,但当我们把它和网络爬虫组合使用时,就能成为一个强大的工具。
从网站图片中抓取文字步骤:
1. 打开阅读器,
2.收集图片的 URL 链接,
3.下载图片,
4.识别图片,
5.最后打印每个图片的文 字。
import time from urllib.request import urlretrieve import subprocess from selenium import webdriver #创建新的Selenium driver driver = webdriver.PhantomJS() # 用Selenium试试Firefox浏览器: # driver = webdriver.Firefox() driver.get("http://www.amazon.com/War-Peace-Leo-Nikolayevich-Tolstoy/dp/1427030200") # 单击图书预览按钮 driver.find_element_by_id("sitbLogoImg").click() imageList = set() # 等待页面加载完成 time.sleep(5) # 当向右箭头可以点击时,开始翻页 while "pointer" in driver.find_element_by_id("sitbReaderRightPageTurner").get_attribute("style"): driver.find_element_by_id("sitbReaderRightPageTurner").click() time.sleep(2) # 获取已加载的新页面(一次可以加载多个页面,但是重复的页面不能加载到集合中) pages = driver.find_elements_by_xpath("//div[@class=\'pageImage\']/div/img") for page in pages: image = page.get_attribute("src") imageList.add(image) driver.quit() # 用Tesseract处理我们收集的图片URL链接 for image in sorted(imageList): # 保存图片 urlretrieve(image, "page.jpg") p = subprocess.Popen(["tesseract", "page.jpg", "page"], stdout=subprocess.PIPE,stderr=subprocess.PIPE) f = open("page.txt", "r") p.wait() print(f.read())
知乎验证码处理案例:
网站生成的验证码图片通常具有以下属性:
- 它们是服务器端的程序动态生成的图片。验证码图片的 src 属性可能和普通图片不太一 样,比如
<img src="WebForm.aspx?id=8AP85CQKE9TJ">
,但是可以和其他图片一样进行 下载和处理。 - 图片的答案存储在服务器端的数据库里。
- 很多验证码都有时间限制,如果你太长时间没解决就会失效。
验证码处理方法:
1.首先把验证码图片下载到硬盘里,清理干净,
2.然后用 Tesseract 处理 图片,
3.最后返回符合网站要求的识别结果。
#!/usr/bin/env python # -*- coding:utf-8 -*- import requests import time import pytesseract from PIL import Image from bs4 import BeautifulSoup def captcha(data): with open(\'captcha.jpg\',\'wb\') as fp: fp.write(data) time.sleep(1) image = Image.open("captcha.jpg") text = pytesseract.image_to_string(image) print "机器识别后的验证码为:" + text command = raw_input("请输入Y表示同意使用,按其他键自行重新输入:") if (command == "Y" or command == "y"): return text else: return raw_input(\'输入验证码:\') def zhihuLogin(username,password): # 构建一个保存Cookie值的session对象 sessiona = requests.Session() headers = {\'User-Agent\':\'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0\'} # 先获取页面信息,找到需要POST的数据(并且已记录当前页面的Cookie) html = sessiona.get(\'https://www.zhihu.com/#signin\', headers=headers).content # 找到 name 属性值为 _xsrf 的input标签,取出value里的值 _xsrf = BeautifulSoup(html ,\'lxml\').find(\'input\', attrs={\'name\':\'_xsrf\'}).get(\'value\') # 取出验证码,r后面的值是Unix时间戳,time.time() captcha_url = \'https://www.zhihu.com/captcha.gif?r=%d&type=login\' % (time.time() * 1000) response = sessiona.get(captcha_url, headers = headers) data = { "_xsrf":_xsrf, "email":username, "password":password, "remember_me":True, "captcha": captcha(response.content) } response = sessiona.post(\'https://www.zhihu.com/login/email\', data = data, headers=headers) print response.text response = sessiona.get(\'https://www.zhihu.com/people/maozhaojun/activities\', headers=headers) print response.text if __name__ == "__main__": #username = raw_input("username") #password = raw_input("password") zhihuLogin(\'xxxx@qq.com\',\'ALAxxxxIME\')
有两种异常情况会导致这个程序运行失败。
第一种情况是,如果 Tesseract 从验证码图片中识别的结果不是四个字符(因为训练样本中验证码的所有有效答案都必须 是四个字符),结果不会被提交,程序失败。
第二种情况是虽然识别的结果是四个字符, 被提交到了表单,但是服务器对结果不认可,程序仍然失败。
在实际运行过程中,
第一种 情况发生的可能性大约为 50%,发生时程序不会向表单提交,程序直接结束并提示验证码 识别错误。
第二种异常情况发生的概率约为 20%,四个字符都对的概率约是 30%(每个字 母的识别正确率大约是 80%,如果是五个字符都识别,正确的总概率是 32.8%)。
训练Tesseract
流行的 PHP 内容管理系统 Drupal 有一个著 名的验证码模块(https://www.drupal.org/project/captcha,可生成不同难度的验证码。
要训练 Tesseract 识别一种文字,需向 Tesseract 提供每个字符不同形式的样本。
Tesseract 的文档:https://github.com/tesseract-ocr/tesseract/wiki
以上是关于Python爬虫开发第1篇机器视觉及Tesseract的主要内容,如果未能解决你的问题,请参考以下文章