数据，来自现实世界，是现实世界在某一维度的映射
想要通过数据去找现实世界的一些规律，就得数据量足够大，
这样得到的结论更客观，具有普遍意义，具有统计学意义

通过以往各种实验，发现这么一个现象，现实世界的事物通常符合这样一个分布：

将一个事物按某个指标从低到高划分成不同的范围，一件事发生用一个点表示在图上，

指标低的范围内，其发生事件很少，图形上这一分部比较零散
指标高的范围内，其发生事件也很少，图形上这一分部也比较零散
大部分 集中在中间 ，图形上显得比较密集

这样的图在统计学中称为 概率密度图，
这样的分布在统计学中称为 正态分布

均值：
从这里可以看出，正态分布具有一定的对称性，因为两边零散，中间密集
引入坐标系，将y轴作为对称的中心，一半正值一半负值 ，其均值为0

差的标准：
针对数据密集与离散程度，使用标准差来衡量，
密集与离散程度也是数字，比如，1,2,3,4 ...
以1为标准，2是1的两倍，3是1是三倍，1就是衡量密集与离散程度的标准，

世界数据的分布，基本是/大概率是/几乎全是 正态分布

正态分布的数据，大致上有一个密度大的，数据集中的中心，该中心使用均值来描述

数据分散/集中 的程度，也就是数据之间的 集中/密集/离散 程度，使用标准差来衡量

所谓的集中/密集/离散，或者说密度，在数学上指数据之间的距离，
将数据投影到几何空间中，数据之间距离越大就越散，距离越小就越密集，

如果计算数据两两之间的距离，个人认为没什么问题，
就是，一个数据分布之间的距离=所有相邻数据之间距离的和
但数据量大时，计算量指数级增加，

折中一下，计算每个数据与该数据集均值之间的距离，
用该距离来反映数据集的离散程序，也能解决很多实际问题，
这就是标准差的概念

数据分布落地计算

世间数据皆正态，是一种理论，
落地的时候，真的要把所有数据当成正态分布来看吗？

就像大家知道所有星球基本是球形，转换到二维，就是基本是圆，
但问题是，那有个前提的，要数据量大，足够大，

我如果只是在站地一个星球的表面，我的眼光没那么全面，
看不到整个星球什么样，
我只知道我看到的是直线，是直的，是平的

相当于，我不知道整体数据集是个什么样，
我只知道我拿到的这部分数据集一眼看过来，不像正态分布啊，
你还要让我把它当正态分布数据处理吗？？？

答案是，还是要把它当 正态分布数据来处理
如果你无法接受，就再增加数据量，大到一定程序，就认为是正态的
别问我什么，现在行业就这么处理的，因此这么做解决了实际问题

0-1分布（Bernoulli Distribution）

定义：0-1分布，也称为两点分布，是一种只取两个值（0和1）的离散型随机变量。
分布律：P(X=1) = p，P(X=0) = 1-p。
例子：虽然numpy没有直接生成0-1分布的函数，但可以通过生成0和1的随机数来模拟。
例如，使用numpy.random.randint(0, 2, size=n)生成n个0或1的随机数。

二项分布（Binomial Distribution）

定义：二项分布是描述n重贝努利试验中事件A出现的次数的概率分布。
模型：X表示事件A出现的次数，n为试验次数，p为事件A发生的概率。
性质：期望E(X) = np，方差Var(X) = np(1-p)。
例子：使用numpy.random.binomial(n, p, size=m)生成m个服从参数为n和p的二项分布的随机数。例如，生成1000个服从参数为10和0.5的二项分布的随机数：


import numpy as np
binomial_samples = np.random.binomial(10, 0.5, 1000)

泊松分布（Poisson Distribution）

定义：泊松分布描述了在固定时间或空间内事件发生的次数。
模型：λ为事件的平均发生率。
性质：期望E(X) = λ，方差Var(X) = λ。
例子：使用numpy.random.poisson(lam, size=m)生成m个服从参数为λ的泊松分布的随机数。
例如，生成1000个服从参数为3的泊松分布的随机数：

import numpy as np
poisson_samples = np.random.poisson(3, 1000)

均匀分布（Uniform Distribution）

定义：均匀分布是指在给定区间内所有取值的可能性相同。
模型：f(x) = 1/(b-a)，其中a和b为区间的上下限。
例子：使用numpy.random.uniform(a, b, size=m)生成m个服从[a, b]区间内均匀分布的随机数。
例如，生成1000个服从[2, 8]区间内均匀分布的随机数：

import numpy as np
uniform_samples = np.random.uniform(2, 8, 1000)

正态分布（Normal Distribution）

定义：正态分布是一种连续型随机变量的概率分布，其概率密度函数呈钟形。
模型：f(x) = 1/sqrt(2πσ^2) * exp(-(x-μ)^2 / (2σ^2))，其中μ为均值，σ为标准差。
性质：期望E(X) = μ，方差Var(X) = σ^2。
例子：使用numpy.random.normal(mu, sigma, size=m)生成m个服从参数为μ和σ的正态分布的随机数。
例如，生成1000个服从均值为0、标准差为1的正态分布的随机数：

import numpy as np
normal_samples = np.random.normal(0, 1, 1000)

指数分布（Exponential Distribution）

定义：指数分布描述了随机变量在给定时间后发生事件的概率。
模型：λ为事件的平均发生率。
性质：期望E(X) = 1/λ，方差Var(X) = 1/λ^2。
例子：使用numpy.random.exponential(scale, size=m)
生成m个服从参数为scale（λ的倒数）的指数分布的随机数。
例如，生成1000个服从参数为1的指数分布的随机数（即λ=1）：

import numpy as np
exponential_samples = np.random.exponential(1, 1000)

将均值为0标准差为1的分布 定为 标准正态分布

标准正态分布的定义并不是什么偶然因素，
0与1这两个数字本身也极其特殊，

或者说，让你来定义，
若标准正态分布均值不为0,那应该为几？
若标准正态分布标准差不为1,那应该为几？

这意味着，不管是什么人，当研究到这一地步，都会得到标准正态分布均值为0,标准差为1的结论，
跟人没有关系，是客观世界有此规律，故而有此定义

正态分布转标准正态分布

如果数据X的分布中心是mean,方差是var,标准差是std，那么
(X-mean)/std
则是一个均值为0，标准差为1的分布，这也叫标准正态分布

归一

 
自然界的分布多为正态分布，
将正态分布拉到标准，是为了统一纲量，方便比较 


这并不表示两个不同的正态分布，拉到标准正态后，分布就是一样 

这只是在离散程度这个维度上做了归一化 

分布的数据本是不同的，除以自身分布的平均离散程度之后，归一，各个元素之间仍是不同的
只是量纲统一了 
    

 
import numpy as np
a = np.random.normal(0, 7, 1000)
b = np.random.normal(0, 3, 2000)

a1=a/a.std()
b1=b/b.std()
a1.std(),b1.std()  # (1.0, 1.0)

 
a1[:3],b1[:3]
(array([-0.35349833,  0.79721059,  0.35091055]),
 array([-0.6037465 , -2.28159128, -0.6028374 ]))

在机器学习特征工程中，
十分位数（Decile）是一种用于将数据分成十个相等部分（或尽可能相等部分）的统计量。

十分位数是一种分位数的形式，分位数是将数据按升序排列后，
将数据分为指定数量部分（如四分位数将数据分为四部分）的统计量。

具体来说，十分位数将数据分为以下10个区间：

第1十分位数（D1）：使得至少有10%的数据小于或等于该值，至少有90%的数据大于或等于该值。
第2十分位数（D2）：使得至少有20%的数据小于或等于该值，至少有80%的数据大于或等于该值。
...
第9十分位数（D9）：使得至少有90%的数据小于或等于该值，至少有10%的数据大于或等于该值。
第10十分位数（D10）：即最大值，使得所有数据都小于或等于该值。

计算十分位数有助于理解数据的分布情况，特别是在处理偏斜数据或异常值时。
它们可以揭示数据中的极端值和中间值，并帮助检测数据中的潜在模式或异常。

在特征工程中，十分位数可以用于：

数据预处理：通过了解数据的分布情况，可以对数据进行标准化、归一化或分箱处理。
特征生成：将十分位数作为新的特征，例如，可以将某个数值特征落在哪个十分位数区间作为一个分类特征。
异常检测：通过检测数据点是否落在预期的十分位数区间外，来识别潜在的异常值。

总之，十分位数是特征工程中一种有用的统计工具，可以帮助我们更好地理解和处理数据。