Datawhale AI 夏令营机器学习笔记

电力预测赛道赛题思考Baseline尝试Task2尝试优化方向进阶尝试Task3终极尝试感悟参考

电力预测赛道

耶耶！第一期AI夏令营结束，收获了很多，所以报名了第二期继续学习。

这是我第一次做时间序列的数据预测，又可以学习新知识喽！

当然还有其他赛道，有余力的同学就同时报名好几个赛道，我就先只报一个赛道学习啦！学新知识总是令人无比地兴奋！

如果有想参加的可以私信我报名

有什么疑问可以评论区互相交流讨论呀，share你的最佳分数！

赛题思考

阅读赛题要求

核心：给定多个房屋对应电力消耗历史N天的相关序列数据，预测房屋对应电力的消耗，以MSE作为衡量标准。下载数据

查看数据

<code>train = pd.read_csv('./data/data283474/train.csv')

test = pd.read_csv('./data/data283474/test.csv')

submit = pd.read_csv('./data/data283474/sample_submit.csv')

print(train)

print(test)

print(submit)

输出

观察数据

可以发现是做连续值预测

提交文件格式也很清楚

然后我们在具体看看train数据一些值

从id这列数据，可以发现，不同id有不一样长度的时间序列数据

总5832个样本，大部分id是496条数据，最多是506条

其他列包括test数据也可以稍微通过这种统计去观察数据形式

3. 先套个机器学习方法跑一下

<code># 1. 导入需要用到的相关库

import pandas as pd

from lightgbm import LGBMRegressor

# 2. 读取训练集和测试集

train = pd.read_csv('./data/data283474/train.csv')

test = pd.read_csv('./data/data283474/test.csv')

# 3. 检查数据

for col in train.columns[:-1]:

if train[col].dtype == object or test[col].dtype == object:

train[col] = train[col].isnull()

test[col] = test[col].isnull()

# 4. 加载决策树模型进行训练

model = LGBMRegressor(verbosity=-1)

model.fit(train.iloc[:, :-1].values, train['target'])

pred = model.predict(test.values)

# 5. 保存结果文件到本地

pd.DataFrame(

{

'id': test['id'],

'dt': test['dt'],

'target': pred

}

).to_csv('LGBMRegressor.csv', index=None)

提交后七百多分哈哈哈哈

但不知道为什么跑出来是同一个房屋的预测值是一样的

既然如此那还不如直接取均值呢

所以就取均值看看

<code>import pandas as pd

# 读取数据

train = pd.read_csv('./data/data283474/train.csv')

test = pd.read_csv('./data/data283474/test.csv')

# 计算train中每个id对应的target的平均值

id_to_mean_target = train.groupby("id")["target"].mean().reset_index()

# 将平均值与test数据集合并

test_with_pred = test.merge(id_to_mean_target, on="id", suffixes=("", "_pred"))code>

# 以指定格式保存预测结果到CSV文件

result = pd.DataFrame({

'id': test_with_pred['id'],

'dt': test_with_pred['dt'],

'target': test_with_pred['target']

})

result.to_csv('clq_mean.csv', index=False)

提交上去后分数确实也有所提升

后续又改了一些别的方法，XGB什么的，效果不行

所以觉得应该用时序特征一些处理方法

import pandas as pd

import numpy as np

from sklearn.metrics import mean_squared_error

from lightgbm import LGBMRegressor

import lightgbm as lgb

import matplotlib.pyplot as plt

from prophet import Prophet

# 读取数据

train = pd.read_csv('./data/data283474/train.csv')

test = pd.read_csv('./data/data283474/test.csv')

# 数据预处理

train['dt'] = pd.to_datetime(train['dt'], format='%Y%m%d')code>

train = train.sort_values('dt')

# 特征工程

def feature_engineering(df):

df['year'] = df['dt'].dt.year

df['month'] = df['dt'].dt.month

df['day'] = df['dt'].dt.day

df['weekday'] = df['dt'].dt.weekday

return df

train = feature_engineering(train)

test = feature_engineering(test)

# 使用Prophet提取特征

def extract_prophet_features(df):

df = df[['dt', 'target']]

df.columns = ['ds', 'y']

model = Prophet()

model.fit(df)

future = model.make_future_dataframe(periods=0, freq='D')code>

forecast = model.predict(future)

return forecast[['ds', 'yhat', 'yhat_lower', 'yhat_upper']].tail()

train_prophet_features = extract_prophet_features(train)

test_prophet_features = extract_prophet_features(test)

# 合并特征

train = pd.merge(train, train_prophet_features, left_on='dt', right_on='ds', how='left')code>

train = train.drop(columns=['ds'])

test = pd.merge(test, test_prophet_features, left_on='dt', right_on='ds', how='left')code>

test = test.drop(columns=['ds'])

# 训练LightGBM模型

lgbm = LGBMRegressor()

lgbm.fit(train.drop(columns=['target', 'id', 'type']), train['target'])

# 预测

predictions = lgbm.predict(test.drop(columns=['id', 'type']))

# 计算MSE

mse = mean_squared_error(test['target'], predictions)

print('MSE:', mse)

由于不了解这个方法，还有不清楚时序特征一般怎么处理

我就先放着了，坐等官方baseline学习学习

Baseline尝试