数据交换运行状况检查

Posted 2020-10-02

      我手上有关数据交换的项目比较多,而且比较分散. 最新业务量大到一定程度,我需要知道每个事项任务每天数据量交换的情况, 有一部分是用SSIS包执行的,有一部分是通过xml数据交换的,

还有一部分, 是通过pdf文件上传做交换的,还有ftp文件下载等等,总之就是很杂.

      我想写一个工具, 把这些交换的东西全部整合一下,做一下统计,然后每天出一个报告. 我就开始准备我的程序.  

      我想要实现的功能包括如下几个方面:

     1.多数据库连接 ,各个系统都在不同的数据库里面

     2.要将结果生成到Excel里面

     3.为了转发方便, 我需要生成邮件,然后群发,这样就可以共享了.

 

    首先我使用 EntityFrameWork 作为数据底层, 这样也是为了方便操作数据库, 然后 我希望对各表进行读取,有一些复杂的查询语句,我希望能够直接执行,

因为要时常统计多个数据库中的表信息,所以我做了如下的封装.  (我只希望有查询的功能)

 public class SqlDBHelper<T> where T : class
    {

        DbContext context = null;
        

        public SqlDBHelper()
        {
            context = new DbContext("defaultDBEntity");
        }
        public SqlDBHelper(string dbEntityName)
        {
            context = new DbContext(dbEntityName);
        }

        /// <summary>
        /// 按条件查询
        /// </summary>
        /// <param name="where"></param>
        /// <returns></returns>
        public IQueryable<T> FindList(Expression<Func<T, bool>> where)
        {
            var temp = context.Set<T>().Where(where);
            return temp;
        }
        /// <summary>
        /// 按条件查询，排序
        /// </summary>
        /// <typeparam name="S"><peparam>
        /// <param name="where"></param>
        /// <param name="orderBy"></param>
        /// <param name="isAsc"></param>
        /// <returns></returns>
        public IQueryable<T> FindList<S>(Expression<Func<T, bool>> where, Expression<Func<T, S>> orderBy, bool isAsc)
        {

            var list = context.Set<T>().Where(where);
            if (isAsc)
                list = list.OrderBy<T, S>(orderBy);
            else
                list = list.OrderByDescending<T, S>(orderBy);
            return list;
        }
        /// <summary>
        /// 按条件查询，分页
        /// </summary>
        /// <param name="pageIndex"></param>
        /// <param name="pageSize"></param>
        /// <param name="rowCount"></param>
        /// <param name="where"></param>
        /// <returns></returns>
        public IQueryable<T> FindPagedList(int pageIndex, int pageSize, out int rowCount, Expression<Func<T, bool>> where)
        {
            var list = context.Set<T>().Where(where);
            rowCount = list.Count();
            list = list.Skip(pageSize * (pageIndex - 1)).Take(pageSize);
            return list;
        }
        /// <summary>
        /// 按条件查询，分页，排序
        /// </summary>
        /// <typeparam name="S"><peparam>
        /// <param name="pageIndex"></param>
        /// <param name="pageSize"></param>
        /// <param name="rowCount"></param>
        /// <param name="where"></param>
        /// <param name="orderBy"></param>
        /// <param name="isAsc"></param>
        /// <returns></returns>
        public IQueryable<T> FindPagedList<S>(int pageIndex, int pageSize, out int rowCount, Expression<Func<T, bool>> where, Expression<Func<T, S>> orderBy, bool isAsc)
        {
            var list = context.Set<T>().Where(where);
            rowCount = list.Count();
            if (isAsc)
                list = list.OrderBy<T, S>(orderBy).Skip(pageSize * (pageIndex - 1)).Take(pageSize);
            else
                list = list.OrderByDescending<T, S>(orderBy).Skip(pageSize * (pageIndex - 1)).Take(pageSize);
            return list;
        }

        public IQueryable<T> ExecuteQuery(string sql)
        {
            //"select Name,Count(*) Count from T_Persons where Id>{0} and CreateDateTime<={1} group by Name"
            var q1 = context.Database.SqlQuery<T>(sql).AsQueryable();
            return q1;
        }


    }

 

 如果希望有 增删改, 可以补上以下代码. (统计,由于是正式库,应该只赋予只读的数据权限)

 

        /// <summary>
        /// 新增一个实体
        /// </summary>
        /// <param name="entity"></param>
        /// <returns></returns>
        public int Add(T entity)
        {
            context.Entry<T>(entity).State = System.Data.Entity.EntityState.Added;
            return context.SaveChanges();
        }
        /// <summary>
        /// 删除一个实体
        /// </summary>
        /// <param name="entity"></param>
        /// <returns></returns>
        public int Remove(T entity)
        {
            context.Entry<T>(entity).State = System.Data.Entity.EntityState.Deleted;
            return context.SaveChanges();
        }
        /// <summary>
        /// 修改一个实体
        /// </summary>
        /// <param name="entity"></param>
        /// <returns></returns>
        public int Update(T entity)
        {
            context.Entry<T>(entity).State = System.Data.Entity.EntityState.Modified;
            return context.SaveChanges();
        }
        /// <summary>
        /// 批量新增实体
        /// </summary>
        /// <param name="dbContext"></param>
        /// <returns></returns>
        public int AddList(params T[] entities)
        {
            int result = 0;
            for (int i = 0; i < entities.Count(); i++)
            {
                if (entities[i] == null)
                    continue;
                context.Entry<T>(entities[i]).State = System.Data.Entity.EntityState.Added;
                if (i != 0 && i % 20 == 0)
                {
                    result += context.SaveChanges();
                }
            }
            if (entities.Count() > 0)
                result += context.SaveChanges();
            return result;
        }
        /// <summary>
        /// 批量删除实体
        /// </summary>
        /// <param name="where"></param>
        /// <returns></returns>
        public int RemoveList(Expression<Func<T, bool>> where)
        {
            var temp = context.Set<T>().Where(where);
            foreach (var item in temp)
            {
                context.Entry<T>(item).State = System.Data.Entity.EntityState.Deleted;
            }
            return context.SaveChanges();
        }

 

 具体使用的时候, 指定数据库实体,然后设置 实体表对象,进行查询

       const string objEntName = "DBTest3Entities";

        public List<CheckDataModel> GetDataUploadDZ()
        {

            DBHelper<DataUploadDZ> helper1 = new DBHelper<DataUploadDZ>(objEntName);
            DataUploadDZ uploadDz = helper1.FindList(c => c.Id > 0).OrderByDescending(c => c.CreateTime).Take(1).FirstOrDefault();
            //省略 逻辑处理,以及 return 语句
        }

 

  最后从 各个数据库里面,查询出对应的信息, 整理成统一的格式, 进行 生成Excel 以及发送html 邮件

 

          List<CheckDataModel> list12 = new List<CheckDataModel>();
            //省略逻辑处理
            list1.RemoveAll(c => c.LogicName == null || c.LogicName == "");

            for (int i = 0; i < list1.Count; i++)
            {
                list1[i].Xh = (i + 1).ToString();
            }
            //然后将数据List 写入表格, 以及导出Excel

            //数据有了, 现在开始生成 Html页面, 以及Excel附件

          

            DataTable table = TableListHelper.ToDataTable<CheckDataModel>(list1);
            DataRow newRow = table.NewRow();
            newRow[0] = " 序号 ";
            newRow[1] = "  运行时间设定  ";
            newRow[2] = "  业务名称  ";
            newRow[3] = "  业务简称代码  ";
            newRow[4] = "  最后一次运行时间  ";
            newRow[5] = "  运行状态  ";
            newRow[6] = "  错误信息  ";

            //序号</th><th>运行时间设定</th><th>业务名称</th><th>业务简称代码</th><th>最后一次运行时间</th><th>运行状态</th><th>错误信息</th>

            table.Rows.InsertAt(newRow, 0);

            string filePath = @"E:\ApplicationRun\CheckDataExcel\" + "每日数据交换运行状况检查" + DateTime.Now.ToString("yyyy-MM-dd") + ".xlsx";
            if (File.Exists(filePath))
            {
                FileInfo fi = new FileInfo(filePath);
                if (fi.Length < 1024)
                {
                    fi.Delete(); //如果文件小于1kb, 删除该文件
                }
            }
            if (!File.Exists(filePath))
            {
                //如果文件不存在,就生成excel,并且发送邮件
                NpoiExcelHelper.CreateExcel(table, filePath);
            }
            string htmlContent = GetHtmlContent(list1);
            SendEmail(htmlContent, filePath);

 

首先将List转换成 DataTable

public static DataTable ToDataTable<T>(IEnumerable<T> collection)
        {
            var props = typeof(T).GetProperties();
            var dt = new DataTable();
            dt.Columns.AddRange(props.Select(p => new DataColumn(p.Name, p.PropertyType)).ToArray());
            if (collection.Count() > 0)
            {
                for (int i = 0; i < collection.Count(); i++)
                {
                    ArrayList tempList = new ArrayList();
                    foreach (PropertyInfo pi in props)
                    {
                        object obj = pi.GetValue(collection.ElementAt(i), null);
                        tempList.Add(obj);
                    }
                    object[] array = tempList.ToArray();
                    dt.LoadDataRow(array, true);
                }
            }
            return dt;
        }

 

然后生成Html代码,这里生成一个Html,带表格的页面 

        private string GetHtmlContent(List<CheckDataModel> listData)
        {
            StringBuilder sb = new StringBuilder(256);

            sb.Append("<!DOCTYPE html>");
            sb.Append("<html lang=\"en\" xmlns=\"http://www.w3.org/1999/xhtml\">");
            sb.Append("<head> <meta charset=\"utf-8\" /> <title></title></head>");

            sb.Append("<style>").AppendLine();

            sb.Append("table { border-left: 1px solid black;border-top: 1px solid black;}").AppendLine();
            sb.Append("td { border-right: 1px solid black; border-bottom: 1px solid black;padding:0px 5px;}").AppendLine();
            sb.Append("th { border-right: 1px solid black; border-bottom: 1px solid black;padding:0px 5px;}").AppendLine();
            sb.Append("</style>").AppendLine();

            sb.Append("<html><body>").AppendLine();
            sb.Append("<table cellspacing=\"0\" cellpadding=\"0\">").AppendLine(); ;
            sb.Append(string.Format("<th>序号</th><th>运行时间设定</th><th>业务名称</th><th>业务简称代码</th><th>最后一次运行时间</th><th>运行状态</th><th>错误信息</th>"));

            for (int i = 0; i < listData.Count; i++)
            {

                sb.Append(string.Format("<tr><td>{0}</td><td>{1}</td><td>{2}</td><td>{3}</td><td>{4}</td><td>{5}</td><td>{6}</td></tr>",
                    listData[i].Xh, listData[i].RunTimeSD, listData[i].LogicName, listData[i].LogicCode, listData[i].LastRunTime, listData[i].RunStatus, 
                     (string.IsNullOrEmpty(listData[i].Remark) ? "&nbsp;" : listData[i].Remark)));

            }
            sb.Append("</table>").AppendLine();
            sb.Append("</body></html>");
            string result = sb.ToString();
            return result;
        }

 

发邮件,使用QQ的 STMP3 ,这里特别说一下, QQ现在不是直接使用邮箱密码,而是要发送短信去生成一个 code,用这种方式可以保护邮箱密码不被泄露

private void SendEmail(string htmlContent, string filePath)
        {
            try
            {
                var reciver = ConfigurationManager.AppSettings["EmailAddress"].ToString();
                 
                string mailfrom = "[email protected]";

                string mailPwd = "********";
                //mcyabgovpiuebbfd
                // var content = rtxt_Content.Text;
                MailMessage message = new MailMessage();
                //设置发件人,发件人需要与设置的邮件发送服务器的邮箱一致
                MailAddress fromAddr = new MailAddress(mailfrom);
                message.From = fromAddr;
                //设置收件人,可添加多个,添加方法与下面的一样
                message.To.Add(reciver);
                //设置抄送人
                // message.CC.Add("[email protected]");
                //设置邮件标题
                message.Subject = "每日运行数据检查" + DateTime.Now.ToString("yyyy-MM-dd");

                if (filePath != "")
                {
                    //如果有附件,添加附件
                    Attachment data = new Attachment(filePath, MediaTypeNames.Application.Octet);
                   
                    ContentDisposition disposition = data.ContentDisposition;
                    disposition.CreationDate = System.IO.File.GetCreationTime(filePath);
                    disposition.ModificationDate = System.IO.File.GetLastWriteTime(filePath);
                    disposition.ReadDate = System.IO.File.GetLastAccessTime(filePath);

                    message.Attachments.Add(data);
                    System.Net.Mime.ContentType ctype = new System.Net.Mime.ContentType();
                }

                message.IsBodyHtml = true; //是否为html格式
                //设置邮件内容
                message.Body = htmlContent;
                //设置邮件发送服务器,服务器根据你使用的邮箱而不同,可以到相应的 邮箱管理后台查看,下面是QQ的
                SmtpClient client = new SmtpClient("smtp.qq.com");
                //设置发送人的邮箱账号和密码
                client.Credentials = new NetworkCredential(mailfrom, mailPwd);
                //启用ssl,也就是安全发送
                client.EnableSsl = true;
                //发送邮件
                client.Send(message);

            }
            catch (Exception ex)
            {

                throw ex;
            }

        }

 

 邮件内容,并且带上附件Excel, 这里生成Excel的方式, 我比较喜欢用 NPOI组件,这个不仅生成Excel 快速,而且可以不用安装Office组件,依耐性低.

 NPOI 组件, 是第三方 开源的, 可以到它的服务器上,去下载源代码,这里我只是简单介绍下使用方式.

public class NpoiExcelHelper
    {
        public static void CreateExcel(DataTable table,string path)
        {
          
            XSSFWorkbook workbook2007 = new XSSFWorkbook();  //新建xlsx工作簿  
           
            ISheet sheet = workbook2007.CreateSheet("Sheet1");

            for (int i = 0; i < table.Rows.Count; i++)
            {
                IRow row = sheet.CreateRow(i); //i表示了创建行的索引，从0开始
                //创建单元格
                for (int j = 0; j < table.Columns.Count; j++)
                {
                    ICell cell = row.CreateCell(j);  //同时这个函数还有第二个重载，可以指定单元格存放数据的类型
                    cell.SetCellValue(table.Rows[i][j].ToString());
                }
            }
            FileStream file2007 = new FileStream(path, FileMode.Create);
            workbook2007.Write(file2007);
            file2007.Close();
            workbook2007.Close();  
        }
    }

这里生成出来的是 xlsx的文件格式, 也就是 2007及以上版本. 

嗯,好了,整个过程就是这样了. 下面总结一下流程.

1.设置多个数据库的Entity

2.进行查询,封装成统一的List<T>,显示结果

3.为了友好的显示,要生成Excel, 先将List<T>转换成DataTable,再写入Excel

4.根据DataTable,生成Html内容,然后作为邮件内容,发送出去.

5.邮件中顺带,将excel作为附件,一起发送. 

6.按自己喜欢的方式, 我这里是是配置成Windows计划任务,这样我每天上班打开电脑就能知道昨天的运行情况了.(一天检查1次到2次)

 

说明: 不方便提供下载,所以进行了加密.

源代码下载:  ConDataCheck 下载  解压密码: 本机电脑PIN