数据变换
# 数据变换
# 1、作用
数据变换是将数据准换成更适合数据分析的形式。其中 Box-Cox 变换的目的是为了让数据满足线性模型的基本假定。而小波变换和傅里叶变换能有效地提取相关的数据进行:小波变换可以同时提取时域信息和频域信息,而傅里叶变换只能提取频域信息。
# 2、输入输出描述
输入:一项定量。
输出:变换后的新序列。
# 3、案例示例
案例:对于非正态数据,使用 Box-Cox 变换从而使得数据分布服从正态分布。而对于噪声数据,使用小波变换对数据进行降噪。
# 4、案例数据
数据变换案例数据
# 5、案例操作
Step1:在“数据处理”模块新建处理;
Step2:上传文件;
Step3:选择对应数据打开后进行预览,确认无误后点击开始处理;
step4:选择【数据变换】;
step5:查看对应的数据数据格式,【数据变换】要求变量为定量变量,且至少有一项;
step6:确认参数,存在 box-cox 变换和小波变换。
step7:点击【开始处理】,完成全部操作。
# 6、输出结果分析
这里以 box-cox 变换为例,可以看到,变换前的数据不满足正态分布;变换后的数据满足正态分布。
# 7、注意事项
- 数据变换不支持对存在空值的变量进行处理,需要提前处理空值。
# 8、模型理论
(1)傅里叶变换
傅里叶变换是一种将函数展开成三角函数的和或者积分的变换分析方法。其常用于信号分析等领域,傅里叶变换只能提取频域信息,傅里叶变换对信号去噪的基本思想是对含噪声进行傅里叶变换后得到频域图,使用低通或带通滤波器滤除噪声频率,然后用傅里叶变换恢复信号,它的变换结果是一个复数,这个复数的模可以提取频域信息。
(2)傅里叶逆变换
将傅里叶变换后的数据还原回去,可以在数据经过降噪或其他处理后使用。
(3)Box-cox 变换
Box-cox 变换是一种广义幂变换方法,用于定量变量不满足正态分布的情况。Box-cox 变换的目的是为了让数据满足线性模型的基本假定,即线性、正态性及方差齐性。Box-cox 变换需要数据为非负数,当数据不满足条件时,可以将数据平移一固定值从而确保数据全为非负。变换后的序列
(4)Box-cox 逆变换
Box-cox 的逆变换,在使用 Box-cox 变换后的数据建立模型后,将使用模型进行预测的预测值逆变换可以得到原先分布的结果。其中 Lambda 值需要与先前使用 Box-cox 的 Lambda 值一致。
(5)连续小波变换
小波变换是一种将函数展开成一系列的小波函数的叠加的变换分析方法,它具有多分辨分析的特点,克服了傅里叶变换难以表征信号局部特征的缺陷。当前支持一级小波分解,可以直接得到降噪后的变换序列。
(6)离散小波变换
为了更好利用计算机计算,就必须进行离散化处理,得到离散小波变换,离散小波变换对尺度和平移因子使用离散值。只能提取频域信息。当前支持一级小波分解,可以直接得到降噪后的变换序列。
# 9、参考文献
[1] Scientific Platform Serving for Statistics Professional 2021. SPSSPRO. (Version 1.0.11)[Online Application Software]. Retrieved from https://www.spsspro.com.