人工智能概述
人工智能的定义
· 人工智能是通过机器来模拟人类认识能力的一种科技能力
· 人工智能最核心的能力就是根据给定的输入做出判断或预测
· 思考:通过什么途径才能让机器具备这样的能力?
· 举一个例子:
机器也需要学习
什么是机器学习
机器学习的定义
· 机器学习为人工智能提供了基础,机器学习就是一种使用数据来训练软件模型的技术。
什么是机器学习
理解模型
模型可以根据X的数值计算出Y的值,简单的说,如果有一个函数,输入一组X的数值(特征值),机器计算出中Y(预测值)的数值,f(x) = y 函数可以理解为一个简单的模型。
什么是机器学习
丼例:通过波士顿房价信息预测房价
什么是机器学习
丼例:通过波士顿房价信息预测房价
X1,X2,X3…代表特征,W1,W2,W3…代表权重, 复杂权重计算交给机器处理,得到f(x)=0.1231xX1+0.41xX2+0.57xX3,画出广义的f(x)=y坐标图
监督学习
从给定的训练数据集(历史数据)中学习出一个函数,当新的数据到来时,可以根据这个函数预测结果。
监督学习的训练集需要包括输入和输出,也可以说是特征和目标。训练集中的目标是由人标注的。
label是标注,是要预测的目标值,feature是特征
以下用例基于华为云机器服务平台演示
监督学习:回归
线性回归举例:假设有一项健康运动的研究调查,通过手腕传感器收集一些健身者的数据,比如性别、身高、体
重、年龄、心率、运动时长、体温、消耗的卡里路数据,现在要利用这些数据来预测罗西锻炼所消耗的卡路里。
监督学习:回归
线性回归建模实操演示
监督学习:回归
回归模型的评估标准
回归模型的评估值为MAE(平均绝对误差)、MSE(均方误差)、RMSE(均方根误差)。上述3个误差值是指评分真实值与预测值乊间的误差,在多次建模的过程中,每一次建模结果都会产生一组误差值,评判一个回归模型好坏的方法就是看这三个误差值是否变小或者变大,误差值越小表示回归模型越好.
平均绝对误差MAE(mean absolute error)、均方误差MSE(mean squared error)、均方根误差RMSE(root mean squared error)
监督学习:回归
算法:随机决策森林回归VS线性回归
监督学习:分类
分类举例:假设有一家诊所,收集到患者的一些信息,例如血糖指数、心脏血压、年龄、身体质量指数等信息,幵且已标注糖尿病患者和非糖尿病患者(1和0),利用数据训练一个模型来做预测。
监督学习:分类
分类建模实操演示
监督学习:分类
分类模型的评估标准
· 模型预测的值是在0到1乊间,阈值的选择决定预测值。
· 若一个实例是正例,幵且被预测为正例,即为真正例(True Postive TP)
· 若一个实例是正例,但是被预测成为负例,即为假负例(False Negative FN)
· 若一个实例是负例,但是被预测成为正例,即为假正例(False Postive FP)
· 若一个实例是负例,幵且被预测成为负例,即为真负例(True Negative TN)
· 精确率、准确率: Accuracy =(TP+TN)/(TP+TN+FN+FP)
· 精准率、查准率: Precision = TP/ (TP+FP)
· 召回率、查全率: Recall = TP/ (TP+FN)
· 真正类率(true postive rate TPR)灵敏度,Sensitivity(正类覆盖率),TPR = TP/(TP+FN)
· 负正类率(false postive rate FPR)特异度,划分实例中所有负例占所有负例的比例,FPR=FP/(FP+TN)
· 纵轴TPR:Sensitivity(正例覆盖率),TPR越大,预测正类中实际正类越多
· 横轴FPR:FPR越大,预测正例中实际负例越多。
· ROC曲线:接收者操作特征(receiveroperating characteristic), ROC曲线上每个点反映着对同一信号刺激的感
受性
监督学习:分类
分类模型的评估标准
ROC曲线下面的区域,称乊为AUC,是判断模型预测表现的指标。一般来说,AUC区域越大,曲线越靠近左上角模型的表现越好
监督学习:分类
算法:梯度提升树分类VS决策树分类
非监督学习:聚类
聚类建模实操演示
现有批发商品交易活动数据,依据每个客户的年进货量大小,找出潜在的大客户,然后定制化销售策略
大客户(id:2)、中客户(id:1)及小客户(id:0)
非监督学习:聚类
k均值聚类算法:k=3 k是中心点(质心点)
随机位置绘制k个点 确定网格中每个点最接近哪个中心点
最终产生有良好分离效果的聚类
判断依据:聚类中心之间的平均距离,和集群中心点到最远点的距离相对比,这个比例越大,聚类的分离程度越大
机器学习流程
核心流程:
数据收集:理解数据的含义,数据质量评估
数据处理:数据清洗(去噪、去重)、数据格式转换、特性提取
模型训练:了解常用的机器学习算法,选择合适的算法去训练
评估模型:通过测试数据集去预测目标,分析评估模型指标数据,评估结果可视化
应用模型:导出或发布模型进行应用,最后对模型的效果进行反馈跟踪
如何快速掌握AI应用的能力
角色定位:
AI应用工程师:主要将AI与行业应用结合,开发各种应用或者中间件
AI售前工程师:主要是结合各行业,提出各种AI应用的场景,向客户提供解决方案
AI集成工程师:主要是与AI产品供应商合作,提供整体集成解决方案,包括实施和运维
AI产品经理:主要是将AI 功能落地到产品上,提升产品交互体验,增强产品竞争力
AI研发工程师:主要负责核心AI技术的研发工作(算法、模型)
详细内容可以结合直播学习
直播地址:http://zhibo.huaweicloud.com/watch/2668613
版权声名:部分图片素材来源网络,如有侵仅及时联系本人
转载请注明来源
作者:刘毅超 微信号:yichao233