网站首页 > 技术文章 正文
这是我的第283篇原创文章。
一、引言
当数据集有明显的周期性时,LSTM模型往往效果不如统计学模型比如SARIMA,这篇文章通过组合SARIMA+LSTM,用SARIMA做预测,再将预测的残差输入到LSTM模型去预测残差,将两者的预测结果之和作为最终的预测结果。
二、实现过程
1、准备数据
# 读取数据集
data = pd.read_csv('data.csv')
# 将日期列转换为日期时间类型
data['Month'] = pd.to_datetime(data['Month'])
# 将日期列设置为索引
data.set_index('Month', inplace=True)
data = data['Passengers'].values
2、拆分数据集
# 拆分数据集为训练集和测试集
train_size = int(len(data) * 0.8)
train_data = data[:train_size]
test_data = data[train_size:]
print(train_data, len(train_data))
训练集115,测试集29。
3、训练过程:
3.1 SARIMA模型训练
输入到SARIMA模型进行训练,得到预测结果(线性预测结果):
# 拟合 SARIMA 模型并提取残差
sarima_model = SARIMAX(train_data, order=(1, 1, 1), seasonal_order=(1, 1, 1, 12))
sarima_model_fit = sarima_model.fit()
sarima_predictions = sarima_model_fit.predict(start=0, end=train_size-1)
print(sarima_predictions, len(sarima_predictions))
SARIMA模型中差分项(I)会导致第一个差分值无法准确预测,预测的是0。而自回归项(AR)和移动平均项(MA)可以用于预测第一个观测值。因此,如果使用了差分项(I),第一个预测值为0可能是由于差分操作导致的。因此需要做些处理。
3.2 获取残差序列
根据预测结果和实际结果得到残差序列:
# 计算残差序列
residuals = train_data - sarima_predictions
print(residuals)
3.3 预测残差(非线性预测值)
将残差序列输入到LSTM模型进行训练,得到残差的预测结果(非线性预测值):
lstm_model = Sequential()
lstm_model.add(LSTM(4, input_shape=(look_back, 1)))
lstm_model.add(Dense(1))
lstm_model.compile(loss='mean_squared_error', optimizer='adam')
lstm_model.fit(train_X, train_Y, epochs=100, batch_size=1, verbose=0)
# LSTM模型预测整个训练集的残差值
lstm_residuals = lstm_model.predict(train_X)
lstm_residuals = scaler.inverse_transform(lstm_residuals)
print(lstm_residuals, len(lstm_residuals))
3.4 获取训练集最终的预测结果
SARMIA的预测值和LSTM的预测值的和为训练集最终的预测结果:
train_predictions = sarima_train_predictions[1:] + lstm_train_residuals.flatten()
print("最终训练集的预测值:", train_predictions)
# 绘制训练集预测结果的折线图
plt.figure(figsize=(10, 6))
plt.plot(train_predictions, label='Predicted')
plt.plot(train_data[1:], label='Actual')
plt.xlabel('Month')
plt.ylabel('Passengers')
plt.title('Actual vs Predicted')
plt.legend()
plt.show()
结果:
4、推理过程:
4.1 SARIMA预测
sarima_test_predictions = sarima_model_fit.predict(start=len(train_data), end=len(train_data) + len(test_data) - 1)
print(sarima_test_predictions, len(sarima_test_predictions))
4.2 构造残差数据集
# 计算残差序列
sarima_test_residuals = test_data - sarima_test_predictions
# 归一化残差序列
scaled_test_residuals = scaler.transform(sarima_test_residuals.reshape(-1, 1))
# 构造残差数据集
test_X, test_Y = create_dataset(scaled_test_residuals, look_back)
4.3 LSTM模型预测残差
lstm_test_residuals = lstm_model.predict(test_X)
lstm_test_residuals = scaler.inverse_transform(lstm_test_residuals)
print(lstm_test_residuals, len(lstm_test_residuals))
4.4 获取测试集最终预测结果
# SARIMA模型预测值与LSTM模型预测残差值相加得到最终测试集的预测值
test_predictions = sarima_test_predictions[1:] + lstm_test_residuals.flatten()
print("最终测试集的预测值:", test_predictions)
# 绘制测试集预测结果的折线图
plt.figure(figsize=(10, 6))
plt.plot(test_predictions, label='Predicted')
plt.plot(test_data[1:], label='Actual')
plt.xlabel('Month')
plt.ylabel('Passengers')
plt.title('Actual vs Predicted')
plt.legend()
plt.show()
结果:
作者简介: 读研期间发表6篇SCI数据算法相关论文,目前在某研究院从事数据算法相关研究工作,结合自身科研实践经历持续分享关于Python、数据分析、特征工程、机器学习、深度学习、人工智能系列基础知识与案例。关注gzh:数据杂坛,获取数据和源码学习更多内容。
原文链接:
猜你喜欢
- 2024-10-15 【Python时序预测系列】基于多层LSTM实现单变量时间序列预测
- 2024-10-15 「深度学习」深度学习之LSTM 基于深度学习 lstm 的情感分析 京东商城数据
- 2024-10-15 使用2D卷积技术进行时间序列预测 卷积二维
- 2024-10-15 基于LSTM的双色球预测(二) 双色球预测系统分析
- 2024-10-15 【Python时序预测系列】粒子群算法优化LSTM实现单变量时序预测
- 2024-10-15 【Python时序预测系列】一文搞明白时序数据输入到LSTM模型的格式
- 2024-10-15 用AI预测北京雾霾?有Keras在手,LSTM可分分钟解决
- 2024-10-15 基于Keras的LSTM多变量时间序列预测
- 2024-10-15 人工智能深度学习-TensorFlow基于LSTM的预测实例
- 2024-10-15 分享丨“LSTM之父”新作:一种新方法,迈向自我修正的神经网络
你 发表评论:
欢迎- 最近发表
-
- 在 Spring Boot 项目中使用 activiti
- 开箱即用-activiti流程引擎(active 流程引擎)
- 在springBoot项目中整合使用activiti
- activiti中的网关是干什么的?(activiti包含网关)
- SpringBoot集成工作流Activiti(完整源码和配套文档)
- Activiti工作流介绍及使用(activiti工作流会签)
- SpringBoot集成工作流Activiti(实际项目演示)
- activiti工作流引擎(activiti工作流引擎怎么用)
- 工作流Activiti初体验及在数据库中生成的表
- Activiti工作流浅析(activiti6.0工作流引擎深度解析)
- 标签列表
-
- oraclesql优化 (66)
- 类的加载机制 (75)
- feignclient (62)
- 一致性hash算法 (71)
- dockfile (66)
- 锁机制 (57)
- javaresponse (60)
- 查看hive版本 (59)
- phpworkerman (57)
- spark算子 (58)
- vue双向绑定的原理 (68)
- springbootget请求 (58)
- docker网络三种模式 (67)
- spring控制反转 (71)
- data:image/jpeg (69)
- base64 (69)
- java分页 (64)
- kibanadocker (60)
- qabstracttablemodel (62)
- java生成pdf文件 (69)
- deletelater (62)
- com.aspose.words (58)
- android.mk (62)
- qopengl (73)
- epoch_millis (61)
本文暂时没有评论,来添加一个吧(●'◡'●)