网站首页 > 技术文章 正文
我们都知道协方差 可以用来评判多因素间是否具有一相关性,相关相关性的度量也就是皮尔逊系数,皮尔逊系数:
皮尔逊相关性是两个变量之间的协方差与标准差的商, 那怎么去理解呢?
通过公式我们来理解一下,是去中心化后的数学期望标准差的商, 分母非负,我们主要关注分子部分就好了,每个点与组内平均值的差就是归一化的思想,所以我们就是看最后的数学期望对应的向量是不是为正,就可以判断两个变量是不是正相关,为了呈现这个过程,我们来看一个例子。
tdf = pd.read_csv('../data/tips.csv')
tdf
这是一组数据,total_bill代表消费者就餐账单总额,tip为 小费,一般理解,就餐费用越高的消费者会提供更多的小费给服务员,因此账单总额和小费应该是正相关的,我们按照上面的理解来推演一下:
bill = tdf['total_bill'].values # 消费者就餐账单总额
tip = tdf['tip'].values # 消费者给服务员的小费
x_mean = list(map(lambda x: x - np.mean(bill), bill)) ### 去中心化
y_mean = list(map(lambda x: x - np.mean(tip), tip)) ### 去中心化
xy_mean = [x_mean[i] * y_mean[i] for i in range(len(x_mean))] ### 点坐标相乘
plt.figure(figsize=(10,6))
plt.subplot(131), plt.scatter(bill, tip, c='r'), plt.title("总账单分布")
plt.subplot(132), plt.scatter(x_mean, y_mean, c='r'), plt.title("总账 去中心化结果 ")
plt.subplot(133), plt.scatter(xy_mean, [0]*len(xy_mean), c='r'), plt.title("总账 去中心化 x*y ")
r = np.corrcoef(bill)
rr = np.mean(xy_mean) ### 大于零 说明X, Y为正相关(基于公式的理解)
print(f" 点相乘结果:{rr}, 皮尔逊相关性:{r}")
我们看到 xy_mean 的平均值为 8.29 ,是大于0的,根据猜想应该是正相关,而我们计算的皮尔逊相关系数为 1.0,为强正相关,和猜想一致。通过下面的拟合我们可以很清楚的发现,整体上 total_bill 与 tip是正相关的。
import seaborn as sns
sns.regplot(x='total_bill', y='tip', data=tdf)
当然,我们还可以计算sperman相关性,但是基本都一致规律。
猜你喜欢
- 2024-09-25 果断收藏!python数据分析入门学习笔记(下)
- 2024-09-25 「机器学习」支持向量机分类 支持向量机 知乎
- 2024-09-25 数据可视化之箱线图详细介绍 箱线图绘制步骤
- 2024-09-25 简单的统计学:如何用Python计算扑克概率
- 2024-09-25 Python进行数据预处理 python如何做数据处理
- 2024-09-25 Distribution is all you need:这里有12种做ML不可不知的分布
- 2024-09-25 如何使用 Qdrant DB 创建基于向量的电影推荐系统?
- 2024-09-25 如何可视化卷积网络分类图像时关注的焦点
- 2024-09-25 感知机:教程,实现和可视示例 感知机定义
- 2024-09-25 数据处理中的“归一化”到底是什么?Talk is cheap,show me the code
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- oraclesql优化 (66)
- 类的加载机制 (75)
- feignclient (62)
- 一致性hash算法 (71)
- dockfile (66)
- 锁机制 (57)
- javaresponse (60)
- 查看hive版本 (59)
- phpworkerman (57)
- spark算子 (58)
- vue双向绑定的原理 (68)
- springbootget请求 (58)
- docker网络三种模式 (67)
- spring控制反转 (71)
- data:image/jpeg (69)
- base64 (69)
- java分页 (64)
- kibanadocker (60)
- qabstracttablemodel (62)
- java生成pdf文件 (69)
- deletelater (62)
- com.aspose.words (58)
- android.mk (62)
- qopengl (73)
- epoch_millis (61)
本文暂时没有评论,来添加一个吧(●'◡'●)