目录
前言
在一年前,我写过一篇关于NLog入门文章《NLog日志框架使用探究-1》,文章简单的介绍了Nlog的基本使用以及如何使用Log4View2工具配合统一收集日志查看。本篇文章会记录一些NLog常用的用法。
自定义参数
有时候我们需要根据我们的业务特征自定义一些参数。比如有个唯一的Id。这时候我们可以自定义参数,将Id提取出来,而不是放到日志内容中,这样可以方便检索。
在EventProperties Layout Renderer文档中,支持自定义EventPropertie动态的渲染到Layout中。
Nlog已经有一些自定义的参数了,如${counter}
、${longdate}
、${message:format=message}
等。
自定义的参数使用格式为${event-properties:item=String:culture=String:format=String}
。
官方示例如下,代码中定义了四种Property
...
Logger logger = LogManager.GetCurrentClassLogger();
LogEventInfo theEvent = new LogEventInfo(LogLevel.Debug, "", "Pass my custom value");
theEvent.Properties["MyValue"] = "My custom string";
theEvent.Properties["MyDateTimeValue"] = new DateTime(2015, 08, 30, 11, 26, 50);
theEvent.Properties["MyDateTimeValueWithCulture"] = new DateTime(2015, 08, 30, 11, 26, 50);
theEvent.Properties["MyDateTimeValueWithCultureAndFormat"] = new DateTime(2015, 08, 30, 11, 26, 50);
logger.Log(theEvent);
...
在配置文件中可以通过${event-properties:item=String:culture=String:format=String}
获取到
${event-properties:item=MyValue} -- renders "My custom string"
${event-properties:MyDateTimeValue:format=yyyy-M-dd}"; -- renders "2015-8-30"
${event-properties:MyDateTimeValueWithCulture:culture=en-US} -- renders "8/30/2015 11:26:50 AM"
${event-properties:MyDateTimeValueWithCultureAndFormat:format=yyyy-M-dd HH:mm:ss:culture=en-US} -- renders "2015-8-30 11:26:50"
从上可以看出,若我们需要自定义参数,我们需要创建LogEventInfo
对象,并通过Log()
方法记录LogEventInfo对象
。
调用
Info()
等方法内部实际也是创建了LogEventInfo
对象,最终还是调用Log()
方法。
下面我们可以自己的代码测试一下。
修改上面的Json输出的配置,由于Memo参含有中文,因此需要将encode
设置为false
,防止被编码为Unicode。以下为Nlog相关源码
protected override void RenderInnerAndTransform(LogEventInfo logEvent, StringBuilder builder, int orgLength)
{
Inner.RenderAppendBuilder(logEvent, builder);
if (JsonEncode && builder.Length > orgLength)
{
if (RequiresJsonEncode(builder, orgLength))
{
var str = builder.ToString(orgLength, builder.Length - orgLength);
builder.Length = orgLength;
Targets.DefaultJsonSerializer.AppendStringEscape(builder, str, EscapeUnicode);
}
}
}
private bool RequiresJsonEncode(StringBuilder target, int startPos = 0)
{
for (int i = startPos; i < target.Length; ++i)
{
if (Targets.DefaultJsonSerializer.RequiresJsonEscape(target[i], EscapeUnicode))
{
return true;
}
}
return false;
}
在上一篇文章中有同学提问,当encode
设置为false时,输出的内容不会有双引号。查阅了下一源码,确实如此。具体为什么这样设计不是很理解,有知道的同学可以说明一下。
public class JsonAttribute
{
...
public bool Encode
{
get => LayoutWrapper.JsonEncode;
set => LayoutWrapper.JsonEncode = value;
}
...
}
private bool RenderAppendJsonPropertyValue(JsonAttribute attrib, LogEventInfo logEvent, StringBuilder sb, bool beginJsonMessage)
{
BeginJsonProperty(sb, attrib.Name, beginJsonMessage);
if (attrib.Encode)
{
// ""{0}":{1}"{2}""
sb.Append(‘"‘);
}
...
if (attrib.Encode)
{
sb.Append(‘"‘);
}
return true;
}
接下来在nlog.Config的target配置中添加以下配置
<layout xsi:type="JsonLayout" >
<attribute name="counter" layout="${counter}" />
<attribute name="time" layout="${longdate}" />
<attribute name="level" layout="${level:upperCase=true}"/>
<attribute name="message" layout="${message:format=message}" encode="false" />
<attribute name="Id" layout="${event-properties:item=Id}" />
<attribute name="No" layout="${event-properties:item=No}" />
<attribute name="Memo" layout="${event-properties:item=Memo}" encode="false" />
</layout>
代码对应的Properites
LogEventInfo theEvent = new LogEventInfo(LogLevel.Debug, "", "自定义动态参数");
theEvent.Properties["Id"] = Guid.NewGuid();
theEvent.Properties["No"] = "1";
theEvent.Properties["Memo"] = "备注";
logger.Log(theEvent);
输出如下图
需要注意若我们自定义参数,使用json格式写入到文件,则代码中的Properties的Key必须和配置文件的
${event-properties:item=key}
中的key大小写一致。
日志输出方式
文件
当我们日志需要以文件存放时,通常情况需要根据服务名、模块名等区分日志目录,同样可以通过自定义参数输出。
假设我们需要将日志按服务分目录,同时日志文件名含有我们指定的内容前缀,在每一条日志中需要记录一个唯一的编号。日志配置如下
...
<targets>
<target xsi:type="File"
name="InfoFile"
fileName="${basedir}/logs/${event-properties:item=ServiceName}/${logger:shortName=true}/${shortdate}/${event-properties:item=LogPrefix}_log.txt"
encoding="utf-8">
<layout xsi:type="JsonLayout" >
<attribute name="counter" layout="${counter}" />
<attribute name="time" layout="${longdate}" />
<attribute name="level" layout="${level:upperCase=true}"/>
<attribute name="UniqueNo" layout="${event-properties:item=UniqueNo}" />
<attribute name="Message" layout="${message:format=message}" encode="false" />
</layout>
</target>
</targets>
<rules>
<logger name="*" maxlevel="Info" writeTo="InfoFile" />
</rules>
先看下记录下来的日志,圈出来的都是我们自定义生成的值。
${basedir}
是程序的运行目录${logger:shortName=true}
是代码中指定的程序名名称,在代码中可以通过NLog.LogManager.GetLogger("test")
指定日志名或NLog.LogManager.GetCurrentClassLogger()
指向当前类的全名(包括命名空间)。${shortdate}
是短日期格式,Nlog也内置了${date}
获取完整的时间,前面我们说过了可以通过${event-properties:item=String:culture=String:format=String}
自定义格式,这里也可以通过${date:format=String}
自定义日期格式,比如${date:format=yyyyMMdd}
输出的就是如20191201
的日期格式。
网络传输
上一章我们提到,日志通过网络发送到Log4View2等工具统一汇总。
<targets async="true">
<target xsi:type="Network" address="udp://127.0.0.1:878" name="network" newLine="false" maxMessageSize="65000" encoding="gbk" layout="${log4jxmlevent:includeCallSite=true:includeNLogData=true}"/>
</targets>
<rules>
<logger name="*" minlevel="Info" writeTo="network" />
...
</rules>
Nlog支持tcp或udp协议进行网络传输。
- 通过
xsi:type="Network"
指定网络传输 - 通过
address="协议://ip:端口"
指定协议和地址。 - 通过
layout="${log4jxmlevent:includeCallSite=true:includeNLogData=true}
序列化为XML传输,当然我们也可以传输自定义的格式或Json格式。只要在目标端使用对应的格式解析即可。
下面还是通过Xml序列化传输到Log4View2为例。当我们代码中自定义的字段序列化成Xml发送到对端。我们可以在Log4View2界面上的列右键选择Show Column Chooser
项选择哪些字段显示,非常方便。
还支持筛选列,方便我们查找。
数据库
一般情况下日志也不需要实时查看,通常都是排查问题的时候需要看,因此有时候我们可以希望先将日志统一汇总后在做日志分析等工作。Nlog支持将数据插入数据库,比如我将日志入库到Oracle数据库中,使用Oracle.ManagedDataAccess
。我们可以通过nuget安装库包Install-Package Oracle.ManagedDataAccess
<target xsi:type="Database"
name="DB45"
dbProvider="Oracle.ManagedDataAccess.Client.OracleConnection, Oracle.ManagedDataAccess"
keepConnection="true" optimizeBufferReuse="true"
connectionString="Data Source=10.60.45.239/devdb;user id=fgmain10001;password=test1"
commandText="insert into NETWORKLAYERLOG (TIME, LOGLEVEL, APPID, LOGGER,IDENTITY, REQUESTID, MESSAGE,EXCEPTION)
values (to_timestamp(:TIME,‘YYYY-MM-DD HH24:MI:SS.FF‘), :LOGLEVEL, :APPID, :LOGGER,:IDENTITY, :REQUESTID, :MESSAGE,:EXCEPTION)">
<parameter name=":TIME" layout="${longdate}" />
<parameter name=":LOGLEVEL" layout="${level}" />
<parameter name=":APPID" layout="${event-properties:item=AppId}" />
<parameter name=":LOGGER" layout="${logger}" />
<parameter name=":IDENTITYID" layout="${event-properties:item=IdentityId}" />
<parameter name=":REQUESTID" layout="${event-properties:item=RequestId}" />
<parameter name=":MESSAGE" layout="${message}" />
<parameter name=":EXCEPTION" layout="${exception:format=toString,Data}" />
</target>
dbProvider
:首先配置dbProvider。keepConnection
:表示是否需要保持连接。optimizeBufferReuse
:表示是否是否使用连接池。connectionString
:入库的语句。connectionString
:连接字符串。commandText
:sql语句,sql语句支持参数化。<parameter name="ColumnName" layout="Value" />
:参数,name为参数名,layout为参数值。
在Log4View2可以将数据源指向日志所在的表。选择数据库接收器。
填写相关配置后,选择表。
选择表的时候需要选择一个Key,但并不是所有Key都是可选的。
从Log4View2源码看,Key需要满足是id结尾时类型是数值或时间类型或者列设置了自增。
this.IsKey = ((this.Name.ToLowerInvariant().EndsWith("id") && DbMessageKey.IsValidKeyType(this.Type)) || column.AutoIncrement);
public static bool IsValidKeyType(Type type)
{
return type == typeof(int) || type == typeof(uint) || type == typeof(long) || type == typeof(ulong) || type == typeof(decimal) || type == typeof(DateTime);
}
这个key是用于时间筛选的。在日志配置中也可以设置获取指定的日志等级,或者,我们可以指定一个列作为时间筛选条件。
看下Log4View2的源码,在DBReceiver初始化的时候会把我们选择的Key传入赋值给_dbMessageKey
public DbReceiver(IReceiverFactory factory, ReceiverConfig recRow) : base(factory, recRow)
{
...
this._columns = new DbColumns(dbReceiverConfig.DbColumns);
this._dbMessageKey = this._columns.Key;
...
}
在初始化查询sql的时候就会用到该值
private DbCommand CreateReadQuery()
{
...
DbCommand dbCommand = this._database.CreateCommand();
dbCommand.CommandTimeout = this._commandTimeout;
string parameterName = this._database.GetParameterName(0);
string arg = this._dbMessageKey.IsUnique ? ">" : ">=";
string text = this._database.QuoteName(this._dbMessageKey.Name);
string tableName = this._database.QuoteName(this._tableName);
DbParameter dbParameter = dbCommand.CreateParameter();
dbParameter.ParameterName = parameterName;
dbParameter.DbType = this._dbMessageKey.DbType;
dbParameter.Value = this._dbMessageKey.ParameterValue;
dbCommand.Parameters.Add(dbParameter);
string text2 = string.Format("WHERE ({0} {2} {1})", text, parameterName, arg);
...
return dbCommand;
}
科学使用
Log4View2工具首次安装使用有30天的试用期,试用期过了一些功能就会被限制。下一章我会讲解如何是使用反编译工具科(po)学(jie)使用Log4View2。