python写一个双色球计算器

Posted 咻_python

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python写一个双色球计算器相关的知识,希望对你有一定的参考价值。

首先声明,赌博一定不是什么好事,也完全没有意义,不要指望用彩票发财。之所以写这个,其实是用来练手的,可以参考这个来预测一些其他的东西,意在抛砖引玉。

啰嗦完了,马上开始,先上伪代码

打开网址

  读取内容
内容解析

  根据源码得到需爬取内容

  1、开奖日期:2018年8月26日

  2、红球

                                <li class="ball_red">03</li>

                                <li class="ball_red">07</li>

                                <li class="ball_red">08</li>

                                <li class="ball_red">14</li>

                                <li class="ball_red">25</li>

                                <li class="ball_red">32</li>

  3、篮球

                                    <li class="ball_blue">06</li>

打开数据库连接

  爬取内容写入数据库

    共3个字段

    1、开奖日期

    2、红球,红球使用分号“;”分隔,方便调用和导出

    3、篮球

在写脚本前,建议先写伪代码,伪代码格式不是固定的,随自己喜好,主要就是在思维及算法落地前,把整个轮廓理清,可以有效降低都快写完了,发现前面有错误,结果导致整个脚本全部更新一遍这种事

的发生概率

伪代码解读:

    共分为两个功能块

        一就是抓取彩票数据,这个使用爬虫实现,分别抓取开奖日期、红球区、篮球区,因为考虑双色球的数据量比较庞大,所以这次使用数据库进行存储,选用的是免费又好用的mysql数据库,数据库接口文件使用MySQLdb,这个我以后会单独写一个说明,当然你也可以用文档存储,或者选择别的数据库比如oracle或者nosql的mangodb

        二是用来分析彩票的,即使用彩票数据进行下一期的彩票预测,本次选用的是二项分布,这个在之前的算法里面有,就不重复说明了

下面先上脚本,再对脚本进行说明

#!/usr/bin/python
# coding: UTF-8

\'\'\'
打开网址
  读取内容
内容解析
  根据源码得到需爬取内容
  1、开奖日期:2018年8月26日
  2、红球
                                <li class="ball_red">03</li>
                                <li class="ball_red">07</li>
                                <li class="ball_red">08</li>
                                <li class="ball_red">14</li>
                                <li class="ball_red">25</li>
                                <li class="ball_red">32</li>
  3、篮球
                                <li class="ball_blue">06</li>
打开数据库连接
  爬取内容写入数据库
    共3个字段
    1、开奖日期
    2、红球,红球使用分号“;”分隔,方便调用和导出
    3、篮球
create table tow_color_ball(open_date varchar(10),red_n varchar(20),blue_n varchar(2))
\'\'\'

import urllib
import urllib2
import re
import numpy as np
import operator
import MySQLdb

# 连接mysql
def conn_db():
  db = \'pythondb\'
  host = \'localhost\'
  iuser = \'xxx\'
  passwd = \'xxxxxx\'
  conn = MySQLdb.connect(db = db, host = host, user = iuser, passwd = passwd)
  cursor = conn.cursor()
  return cursor

# 处理网页获取页面源码
def get_html_values(url):
  url_open = urllib.urlopen(url)
  url_read = url_open.read()
  return url_read

# 处理源码,获取日期、红球、篮球
def manage_html(html_values):
  red_no_re = re.compile(\'(?<=\\<li class\\=\\"ball_red\\"\\>)[0-9]+(?=\\<\\/li\\>)\')
  blue_no_re = re.compile(\'(?<=\\<li class\\=\\"ball_blue\\"\\>)[0-9]+(?=\\<\\/li\\>)\')
  date_re = re.compile(\'(?<=开奖日期:)[0-9]+年[0-9]+月[0-9]+日\')
  red_no_list = re.findall(red_no_re,html_values)
  red_numbers = \';\'.join(red_no_list)
  blue_number = re.search(blue_no_re,html_values)
  blue_number = blue_number.group()
  date_value = re.search(date_re,html_values)
  date_value = date_value.group()
  return date_value, red_numbers, blue_number

# 可恶的日期,竟然是YYYY年MM月DD日,需要改成YYYY-MM-DD
def manage_date(date_value):
  date_value = date_value.replace(\'\',\'-\').replace(\'\',\'-\').replace(\'\',\'\')
  return date_value

# 处理页面编号,每次编号-1,也就是说end_page要小于url中的页码
def get_page(url,end_page):
  url_num = re.search(\'(?<=\\/)[0-9]+(?=\\.)\',url)
  url_num = url_num.group()
  if int(end_page) > int(url_num):
    return \'end\'
  url_num_1 = int(url_num) - 1
  url = url.replace(url_num,str(url_num_1))
  return url

# 查看库中是否已存在开奖日期,防止重复写入
def check_open_date(open_date):
  conn = conn_db()
  check_sql = \'select 1 from tow_color_ball where open_date = %r\' %open_date
  conn.execute(check_sql)
  excur = conn.fetchall()
  conn.close()
  #如过未查到excur == ()
  return excur

# 写入数据库
def write_db(date_value, red_numbers, blue_number):
  conn = conn_db()
  in_sql = "insert into tow_color_ball(open_date,red_n,blue_n) values(%r,%r,%r)" %(date_value, red_numbers, blue_number)
  conn.execute(in_sql)
  conn.execute(\'commit\')
  conn.close()

# 彩票主程序,用来爬取彩票号码
def ball_main(url,end_page):
  while True:
    html_values = get_html_values(url)
    date_value, red_numbers, blue_number = manage_html(html_values)
    date_value = manage_date(date_value)
    data_check = check_open_date(date_value)
    if data_check == ():
      write_db(date_value, red_numbers, blue_number)
    url = get_page(url,end_page)
    if url == \'end\':
      print \'url_page已到达end_page,获取完成\'
      return 0

# 二项分布算法
class binomial_class(object):
  def __init__(self,case_count,real_count,p):
    self.case_count = case_count
    self.real_count = real_count
    self.p = p

  def multiply_fun(self,xlist):
    n = 1
    for x in xlist:
      n *= x
    return n
 
  def fact_fun(self,n):
    if n == 0:
      return 1
    n += 1
    fact_list = [i for i in range(1,n)]
    fact_num = self.multiply_fun(fact_list)
    return fact_num

  def c_n_x(self):
    fact_n = self.fact_fun(self.case_count)
    fact_x = self.fact_fun(self.real_count)
    fact_n_x = self.fact_fun(self.case_count - self.real_count)
    c_n_x_num = float(fact_n) / (fact_x * fact_n_x)
    return c_n_x_num

  def binomial_fun(self):
    c_n_k_num = self.c_n_x()
    pi = (self.p ** self.real_count) * ((1 - self.p) ** (self.case_count - self.real_count))
    binomial_num = c_n_k_num * pi
    return binomial_num

# 从库里获取彩票信息
def get_ball_infomation(start_dt,end_dt):
  conn = conn_db()
  sql = "select red_n,blue_n from tow_color_ball where date_format(open_date,\'%%Y-%%m-%%d\') >= %r and date_format(open_date,\'%%Y-%%m-%%d\') <= %r" %(start_dt,end_dt)
  conn.execute(sql)
  excur = conn.fetchall()
  conn.close()
  case_array = np.array(excur)
  row_count = case_array.shape[0]
  col_count = case_array.shape[1]
  red_ball_array = case_array[:,0]
  blue_ball_array = case_array[:,1]
  return red_ball_array,blue_ball_array,row_count,col_count

# 统计每个号码球的出现次数,这个应该在数据库里做,先放这,以后改
def every_ball_count(ball_array):
  ball_list = []
  for ball_char in ball_array:
    ball_list += ball_char.split(\';\')
  ball_count = {}
  for ball_num in ball_list:
    if ball_num in ball_count:
      ball_count[ball_num] += 1
    else:
      ball_count[ball_num] = ball_count.get(ball_num,0) + 1
  return ball_count

# 数据分析主函数,样本量必须大于等于7,否则不进行处理
def analysis_main(start_dt,end_dt):
  red_ball_array,blue_ball_array,row_count,col_count = get_ball_infomation(start_dt,end_dt)
  if row_count < 7:
    print \'样本量不足以支持分析\'
    return 1
  red_count_dict = every_ball_count(red_ball_array)
  blue_count_dict = every_ball_count(blue_ball_array)
  for red_case in red_count_dict:
    red_rate = binomial_class((red_count_dict[red_case] + 1),(row_count + 1),0.5)
    red_count_dict[red_case] = red_rate.binomial_fun()
  for blue_case in blue_count_dict:
    blue_rate = binomial_class((blue_count_dict[blue_case] + 1),(row_count + 1),0.5)
    blue_count_dict[blue_case] = blue_rate.binomial_fun()
  sorted_red_count = sorted(red_count_dict.iteritems(),key=operator.itemgetter(1),reverse=True)
  sorted_blue_count = sorted(blue_count_dict.iteritems(),key=operator.itemgetter(1),reverse=True)
  print sorted_blue_count[0]
  print \'选择红球是:\'
  n = 1
  for key,value in sorted_red_count:
    if n == 7:
      break
    print \'%s,%s\' %(key,str(value))
    n += 1
  print \'选择蓝球是\'
  print \'%s,%s\' %(sorted_blue_count[0][0],str(sorted_blue_count[0][1]))

if __name__ == \'__main__\':
  n = \'\'
  while n != \'1\' or n != \'2\':
    input_n = raw_input(\'\'\'
请选择需要进行的功能
1、爬取页面的球号
2、进行球号分析
输入quit退出
请选择: \'\'\')
    if input_n == \'1\':
      url = raw_input(\'\'\'
请输入需要爬取的地址(此为开始地址,因此建议选择页码较大的地址)
输入: \'\'\')
      end_page = raw_input(\'\'\'
输入结束页码
(注意:如果结束页码大于输入地址的页码,则不会爬取任何页面)
输入: \'\'\')
      ball_main(url,end_page)
    elif input_n == \'2\':
      analysis_main(\'2018-08-15\',\'2018-09-09\')
    elif input_n == \'quit\':
      exit(0)

脚本共分两个功能块,一个是爬虫,用来爬取双色球号码,另一个是分析,使用二项分布对已抓取数据进行概率计算

先说说爬虫,依然是先观察页面

看过之前初级爬虫的同学应该对这个很熟悉,要爬的是1的地方,观察位置2和位置3,不难看出,每期占用一个页面,那么只要利用翻页,每次页码-1即可,下面看看1位置的源代码

在源码中搜索开奖号码,找到红圈位置,这个和伪代码中写的一样,现在看爬取正则

red_no_re = re.compile(\'(?<=\\<li class\\=\\"ball_red\\"\\>)[0-9]+(?=\\<\\/li\\>)\')

blue_no_re = re.compile(\'(?<=\\<li class\\=\\"ball_blue\\"\\>)[0-9]+(?=\\<\\/li\\>)\')

date_re = re.compile(\'(?<=开奖日期:)[0-9]+年[0-9]+月[0-9]+日\')
分别爬取红球,篮球,日期
下面的事就好办了,将爬好的数据存入数据库,连接mysql,包含4个参数

  db = \'pythondb\'
  host = \'localhost\'
  iuser = \'xxx\'
  passwd = \'xxxxxx\'

分别是连接数据库、连接地址、用户名、密码

因为在每期开奖之后都需要爬一次新的号码,所以我没有把这个做成一次性的,用户需要输入开始爬取页面,以及结束页面编号,当爬取到结束编号页面后则停止

为防止重复爬入数据,导致数据库数据重复,因此在数据入库前需要对库数据进行验证需要入库数据是否已存在,详见check_open_date函数

最后需要注意的是,在写入完毕后应关闭数据库连接,因为mysql默认自动commit,因此我这个没有单独commit的sql,如果是oracle不要忘记加这个

接下来是分析模块,二项分布为方便管理,单独写了个类,以后也可以单独调用,这个用法我之前的文里面有说明,就不再说了。这里有几个功能说明下

1、与爬虫一样,分析也是需要写入开始日期和结束日期的,且从库中获取case必须大于7个,否则考虑样本不足,无法分析

2、将每个号码在时间段的出现频次进行统计并+1,即二项分布的成功k次数

3、获取时间段内的期数并+1,即二项分布的实验次数

4、因为每个号码只有两种可能,要么出现,要么不出现,因此事件的成功率是0.5

结果是这样,看到概率最高的是2.34863516114e-08,这是一个科学技术法,大约是0.00000002349,也就是1/5000万,因此这个概率没有任何意义,当然你也可以尝试买2块钱的,买不中别赖我啊,哈哈

细心的同学可能注意到了,算出来的最后两个红球概率是一样的,举个例子C(5,2)其实和C(5,3)的组合数是一样的,那么二项分布的概率当然也一样,这样就需要用到泊松分布,加入历史平均值的计算,因为这个需要在库中单独建表,还没有时间做这个事,因此没有加入这项计算,如果各位有兴趣可以自己尝试把这块加上,等我有时间了,我也会把这个写出来完善下的

以上是关于python写一个双色球计算器的主要内容,如果未能解决你的问题,请参考以下文章

python3 - 写一个生成双色球号码的一个程序,生成的号码写到文件里面

随机生成双色球号码和商品管理python程序

python-随机生成N条双色球

原创python基于大数据现实双色球预测

使用Python生成双色球号码

python生成双色球程序