如何卖菜！Python的LSTM递归神经网络算法

Myth丶恋晨 2024-04-17 05:39 120阅读 0赞

### 研究目的 ###

进行预测餐饮中每天菜品的销量，提前制定好采购计划，减小库存，提高预算。

### 分析思路 ###

1.销量异常日展示

2.最冷款慢销菜品展示（可降价） 目的：提升销量

3.最优畅销菜涨价名称展示（可涨价） 目的：提升利润

4.菜品套餐营销组合价格策略（畅销菜涨价+滞销菜降价）\*0.95% 目的：促销量

5.菜品偏好相关展示（目的：推送。由于买A菜的人，买了B菜，还买了C菜。推荐下一个有买A菜的人，也尝试C菜）

以一周的销量为主，对每周的销售总量进行预测，对菜在这一周的总销量进行拆解，均分到每一天，了解每一天菜的销量。

### 实施过程 ###

部分数据如下：  
![在这里插入图片描述][20190823095013595.png]  
分析程序算法如下：

import matplotlib  
import pandas as pd  
from sklearn import preprocessing  
import numpy as np  
from sklearn.preprocessing import Imputer  
import matplotlib.pyplot as plt  
import warnings  
from datetime import datetime  
import xlrd

import time  
warnings.filterwarnings(“ignore”)  
matplotlib.rcParams\[‘font.sans-serif’\] = \[‘FangSong’\] \# 指定默认字体  
matplotlib.rcParams\[‘axes.unicode\_minus’\] = False \# 解决保存图像是负号’-'显示为方块的问题

data=pd.read\_csv(’/Users/wang/PycharmProjects/untitled2/15650711345953342991000.csv’)\#读取数据  
df=data\[\[‘fshopday’,‘ffoodname’,‘fsubsaleqty’\]\]\#去除无关信息  
foodname\_set=df\[‘ffoodname’\].unique().tolist()\#探寻食品种类  
len(foodname\_set)\#食物种类数量

group\_obj = df.groupby(‘ffoodname’)\#通过ffoodname键分组  
dis\_data=group\_obj.size()\#查看每种食品的非空项数量  
dis\_data.describe()\#非空数量统计  
dis\_data.name=‘ffoodname\_box’  
dis\_data=dis\_data/138 \#计算1-缺失率，即非空率  
dis\_data.plot.box()\#非空率箱型图  
\#通过访问分组信息，按照时间为索引，连接数据  
new\_cols = pd.DataFrame()  
count = 0  
for name, group in group\_obj:  
group = group\[\[‘fshopday’, ‘fsubsaleqty’\]\]  
group.rename(inplace=True, columns=\{“fsubsaleqty”: name\})\#重命名

count += 1
    if count == 1:
        new_cols = group
    else:
        new_cols = pd.merge(new_cols, group, how='outer', on='fshopday')#连接新的一天数据与之前的
    
        print('正在拼接第{}个，总共178个'.format(count))

new\_cols\[‘fshopday’\] = pd.to\_datetime(new\_cols\[‘fshopday’\])\#时间转为datetime  
new\_cols.index = new\_cols\[‘fshopday’\]\#时间变成索引  
del new\_cols\[‘fshopday’\]\#删除这列  
new\_cols=new\_cols.sort\_index()\#根据时间排序

copy\_cols=new\_cols.copy()

\#观察缺失值分布图  
def get\_miss\_info(data):  
m,n=data.shape  
miss\_data=np.zeros((m,n))  
row\_list=\[\]  
col\_list=\[\]  
indexs=list(data.index)  
columns=list(data.columns)  
null\_data=data.isnull()  
for i in range(m):  
for j in range(n):  
if(null\_data.iloc\[i,j\]==True):  
miss\_data\[i,j\]=1  
row\_list.append(i)  
col\_list.append(j)  
\#plt.figure(figsize=(20, 18))  
\#plt.scatter(col\_list,row\_list)  
\#plt.show()

\#get\_miss\_info(new\_cols)  
\#plt.savefig(‘all\_miss.png’)

isnull\_rate=new\_cols.apply(lambda col:sum(col.isnull())/col.size)\#得到缺失率数据

cut\_rate=0.5\#只保留缺失值小于cut\_rate的列名  
delete\_col\_names=list(isnull\_rate\[isnull\_rate>cut\_rate\].index)\#得到缺失率高的列名

new\_cols.drop(columns=delete\_col\_names,inplace=True)\#去掉缺失高的列

get\_miss\_info(new\_cols)

\#去掉近期的缺失值  
isnull\_rate=new\_cols.iloc\[-20:\].apply(lambda col:sum(col.isnull())/col.size)\#得到缺失率数据

cut\_rate=0.3\#只保留缺失值小于cut\_rate的列名  
delete\_col\_names=list(isnull\_rate\[isnull\_rate>cut\_rate\].index)\#得到缺失率高的列名

new\_cols.drop(columns=delete\_col\_names,inplace=True)\#去掉缺失高的列

get\_miss\_info(new\_cols)

\#填充缺失值,因为数据是时间序列，采用插值填充，使用前面数据填充后面的，剩下的最前面的缺失值，使用中值填充  
\#new\_cols.fillna(method=‘time’,inplace=True)\#先向前填充  
col\_names=new\_cols.columns  
for col\_name in col\_names:  
new\_cols\[col\_name\]= new\_cols\[col\_name\].interpolate(method=‘linear’)  
new\_cols.fillna(new\_cols.median(),inplace=True)\#再中位数填充

\#最后七天的真实值  
true\_cols=new\_cols.iloc\[-7:,:\].copy()

\#处理异常值  
\#异常值判断标准x > Q3 + k(Q3 - Q1) OR  
\#x < Q1 - k(Q3 - Q1)  
\#k是自己定义的参数  
k=5  
m=5\#使用前m个数进行移动平均

def get\_outlier():  
describe = new\_cols.describe()  
count=0  
for row in range(new\_cols.shape\[0\]):  
for col in range(new\_cols.shape\[1\]):  
if (new\_cols.iloc\[row, col\] > (  
describe.iloc\[6, col\] + k \* (describe.iloc\[6, col\] - describe.iloc\[4, col\]))):\#若数太小  
print(‘异常值为\{\}日\{\}菜种，异常数量\{\}’.format(new\_cols.index\[row\],new\_cols.columns\[col\],new\_cols.iloc\[row,col\]))  
if(row>=m):\#若数据不在开头m行和  
temp=0  
for j in range(1,m+1):\#滑动到前几个数据，取平均  
temp=temp+new\_cols.iloc\[row-m,col\]  
new\_cols.iloc\[row,col\]=temp/m  
else:  
new\_cols.iloc\[row,col\]=new\_cols.iloc\[row-1,col\]  
count=count+1  
if( new\_cols.iloc\[row, col\] < (  
describe.iloc\[4, col\] - k \* (describe.iloc\[6, col\] - describe.iloc\[4, col\]))):  
print(‘异常值为\{\}日\{\}菜种，异常数量\{\}’.format(new\_cols.index\[row\],new\_cols.columns\[col\],new\_cols.iloc\[row,col\]))  
if( row>=m):\#若数据不在开头m行和  
temp=0  
for j in range(1,m+1):\#滑动到前几个数据，取平均  
temp=temp+new\_cols.iloc\[row-m,col\]  
new\_cols.iloc\[row,col\]=temp/m  
else:  
new\_cols.iloc\[row,col\]=new\_cols.iloc\[row-1,col\]  
count=count+1  
return count  
print(‘异常值数量：\{\}’.format(get\_outlier()))

\#作图分析，探究时间与分布的关系  
names=\[‘一鸡两吃’,‘下饭姜爆鸡’,‘下饭扑四脆’,‘鲜啤500ml’\]  
new\_cols\[names\].plot()  
\#plt.savefig(‘dis.png’)

def is\_weenkend(data):  
temp=data.weekday()\#获得一周第几天，0代表周一，6代表星期天  
if(temp>=5):  
weekend=1  
else:  
weekend=0  
return weekend  
rest\_holiday=\[  
‘2018-12-31’,  
‘2019-01-01’,‘2019-02-04’,‘2019-02-05’,‘2019-02-06’,‘2019-02-07’,‘2019-02-08’,  
‘2019-04-05’,‘2019-04-29’,‘2019-04-30’,‘2019-05-01’,‘2019-06-07’,‘2019-09-13’,  
‘2019-10-01’,‘2019-10-02’,‘2019-10-03’,‘2019-10-04’,‘2019-10-07’,‘2019-12-30’,  
‘2019-12-31’,  
‘2020-01-01’,‘2020-01-24’,‘2020-01-27’,‘2020-01-28’,‘2020-01-29’,‘2020-01-30’,  
‘2020-04-06’,‘2020-05-01’,‘2020-06-25’,‘2020-06-26’,‘2020-10-01’,‘2020-10-02’,  
‘2020-10-05’,‘2020-10-06’,‘2020-10-07’,‘2020-10-08’,  
‘2021-01-01’,  
\]  
def is\_holiday(data):\#获得节假日  
set\_date\_str=data.strftime(’%Y-%m-%d’)  
if set\_date\_str in rest\_holiday:  
is\_holiday=1  
else:  
is\_holiday=0  
return is\_holiday  
def get\_month(data):\#获得月份  
month=data.month  
if(month==8):  
month=7  
return str(month)  
def get\_searon(data):  
month=data.month  
if(month in \[2\]):  
label=‘1’  
elif(month in \[3,4,5\]):  
label=‘2’  
else:  
label=‘3’  
return label  
def get\_weekday(data):  
temp=data.weekday()  
return str(temp)

\#gghj

def delete\_week(text):  
temp=\[\]  
for a in text:  
if( a.isdigit() or a in \[’-’\]):  
temp.append(a)  
text=’’.join(temp)  
return text  
def get\_wendu(text):  
return int(text\[:-1\])  
def get\_weather(text):  
w=\[\]  
for a in text:  
if(a in \[‘雨’\]):  
w.append(0)  
elif(a in \[‘阴’\]):  
w.append(1)  
else:  
w.append(2)  
if(len(w)0):  
return ‘2’  
else:  
return str(min(w))  
def get\_wind(text):  
return str(int(text\[-2\]))  
def get\_poution(text):  
if(text\[-1\]‘优’):  
return ‘0’  
elif(text\[-1\]==‘良’):  
return ‘1’  
else:  
return ‘2’  
weather=pd.read\_excel(’/Users/wang/PycharmProjects/untitled2/weather.xlsx’)  
weather\[‘日期’\]=weather\[‘日期’\].map(delete\_week)  
weather\[‘日期’\] = pd.to\_datetime(weather\[‘日期’\])\#时间转为datetime  
weather.index = weather\[‘日期’\]\#时间变成索引  
weather.index.name=‘date’  
new\_cols=pd.merge(new\_cols, weather, how=‘inner’, left\_on=‘fshopday’,right\_on=‘日期’)

new\_cols.index = new\_cols\[‘日期’\]\#时间变成索引  
del new\_cols\[‘日期’\]\#删除这列  
new\_cols=new\_cols.sort\_index()\#根据时间排序  
new\_cols.head()

new\_cols\[‘is\_weekend’\]=0  
new\_cols\[‘is\_holiday’\]=0  
new\_cols\[‘month’\]=‘a’  
new\_cols\[‘seaon’\]=‘a’  
new\_cols\[‘weekday’\]=‘a’  
\#将是否周末，月份，节假日作为特征，写入dataframe  
for row in new\_cols.index:  
new\_cols.loc\[row,‘is\_weekend’\]=is\_weenkend(row)\#得到周末特征  
new\_cols.loc\[row,‘is\_holiday’\]=is\_holiday(row)\#得到节假日特征  
new\_cols.loc\[row,‘month’\]=get\_month(row)\#得到月份特征  
new\_cols.loc\[row,‘seaon’\]=get\_searon(row)  
new\_cols.loc\[row,‘weekday’\]=get\_weekday(row)  
new\_cols\[‘天气’\]=new\_cols\[‘天气’\].map(get\_weather)  
new\_cols\[‘风力’\]=new\_cols\[‘风力’\].map(get\_wind)  
new\_cols\[‘高温’\]=new\_cols\[‘高温’\].map(get\_wendu)  
new\_cols\[‘低温’\]=new\_cols\[‘低温’\].map(get\_wendu)  
new\_cols\[‘污染指数’\]=new\_cols\[‘污染指数’\].map(get\_poution)

new\_cols=pd.get\_dummies(new\_cols)\#对月份进行one-hot编码

dummies\_num=26

new\_cols.head()

\#对数据进行归一化  
from sklearn.preprocessing import MinMaxScaler,StandardScaler,RobustScaler  
scale=MinMaxScaler()\#最大最小归一化  
feature\_1=scale.fit\_transform(new\_cols.iloc\[:,:-dummies\_num\])\#除了周末，节假日，月份，其他特征进行缩放

all\_features=np.hstack((feature\_1,new\_cols.iloc\[:,-dummies\_num:\].values))\#连接所有特征

\#制作训练集  
day\_num=7  
split\_num=80  
\#train\_data=np.zeros((split\_num,day\_num,all\_features.shape\[1\]))\#训练集数据，可以理解为前7天数据  
test\_data=np.zeros((split\_num,day\_num,all\_features.shape\[1\]))  
test\_label=np.zeros((split\_num,7,all\_features.shape\[1\]-dummies\_num-2))  
\#train\_label=np.zeros((split\_num,7,all\_features.shape\[1\]-dummies\_num-2))\#训练集标签，可以理解为未来7天数据  
train\_data=np.zeros((feature\_1.shape\[0\]-day\_num-split\_num-7-7,day\_num,all\_features.shape\[1\]))\#测试集数据  
train\_label=np.zeros((feature\_1.shape\[0\]-day\_num-split\_num-7-7,7,all\_features.shape\[1\]-dummies\_num-2))\#测试集标签  
for i in range(split\_num-20,split\_num):\#遍历all\_features前100行，用i:i+7作为训练数据，i+7:i+14预测  
test\_data\[i,:,:\]=all\_features\[i:i+day\_num,:\]  
test\_label\[i,:,:\]=all\_features\[i+7:i+14,:(-dummies\_num-2)\]  
test\_data\[0,:,:\]=all\_features\[-7-day\_num:-7,:\]  
test\_label\[0,:,:\]=all\_features\[-7:?-dummies\_num-2)\]  
for i in range(split\_num,(new\_cols.shape\[0\]-7-day\_num-7)):\#遍历all\_features80行以后的，用i:i+7作为训练数据，i+7:i+14预测。-7为了不用最后7天数据  
train\_data\[i-split\_num,:,:\]=all\_features\[i:i+day\_num,:\]  
train\_label\[i-split\_num,:,:\]=all\_features\[i+7:i+14,:(-dummies\_num-2)\]

\#搭建lstm模型  
from keras.layers import LSTM,Dense,RepeatVector,TimeDistributed  
from keras.models import Sequential,load\_model  
from keras.callbacks import ModelCheckpoint

from numpy.random import seed  
seed(1)  
n\_steps\_in, n\_steps\_out = day\_num, 7\#输入时间轴7天，输出也是7天  
n\_features = all\_features.shape\[1\]\# 此例中 n features = 特征数量，  
\#搭建一个两层的lstm网络  
model = Sequential()  
model.add(LSTM(32, activation=‘relu’, input\_shape=(n\_steps\_in, n\_features)))\#第一层lstm网络  
model.add(RepeatVector(n\_steps\_out))\#  
model.add(LSTM(16, activation=‘relu’, return\_sequences=True))\#第二层lstm网络  
model.add(TimeDistributed(Dense(n\_features-dummies\_num-2)))\#输出特征数量  
model.compile(optimizer=‘adam’, loss=‘mse’)\#损失函数使用mse，均值损失。优化器使用adam。  
‘’’  
model = Sequential()  
model.add(LSTM(32, activation=‘relu’, input\_shape=(n\_steps\_in, n\_features),return\_sequences=True))\#第一层lstm网络  
model.add(LSTM(n\_features-dummies\_num-2, activation=‘relu’, return\_sequences=True))\#第二层lstm网络  
model.compile(optimizer=‘adam’, loss=‘mse’)  
‘’’  
filepath = “best\_weights.h5”  
checkpoint = ModelCheckpoint(filepath, monitor=‘val\_loss’, verbose=0, save\_best\_only=True, mode=‘min’)  
callbacks\_list = \[checkpoint\]

model.summary()\#模型结构，每一层的输出数量。参数数量  
samples=np.zeros((train\_data.shape\[0\],))

\#模型权重  
temp=0.1  
for i in range(samples.shape\[0\]):  
temp=temp+0.1  
samples\[i\]=0.1+temp

history=model.fit(train\_data,train\_label,epochs=100,batch\_size=8,validation\_data=(test\_data,test\_label),sample\_weight=samples,callbacks=callbacks\_list)\#模型训练过程

\#画出模型训练和测试孙树图像  
\#plt.clf()  
\#plt.plot(history.history\[‘val\_loss’\])  
\#plt.plot(history.history\[‘loss’\])  
\#plt.legend(\[‘val\_loss’, ‘loss’\], loc=‘upper left’)  
\#plt.savefig(‘plot\_loss.png’)

model=load\_model(‘best\_weights.h5’)

\#取出最后7天数据，预测未来7天  
laster\_7days=all\_features\[-(7+day\_num):-7\]\#取出数据  
laster\_7days=laster\_7days.reshape((1,day\_num,-1))\#转换数据格式  
future\_7days=model.predict(laster\_7days)\#预测未来7天  
temp=future\_7days\[0\]  
future\_7days=np.hstack((temp,np.ones((7,2))))  
pre\_no\_scare=scale.inverse\_transform(future\_7days)  
\#pre\_no\_scare=scale.inverse\_transform(future\_7days\[0\]\[:,:-7\])\#将数据还原为缩放前  
pre=pre\_no\_scare\[:,:-2\]  
pre=pre.round()\#四舍五入结果  
\#将结果写入dataframe，并且存储结果到csv

dates=\[datetime(2019,8,8),datetime(2019,8,9),datetime(2019,8,10),  
datetime(2019,8,11),datetime(2019,8,12),datetime(2019,8,13),datetime(2019,8,14)\]

data\_pre=pd.DataFrame(pre,columns=new\_cols.columns\[?-dummies\_num-2)\],index=dates)

data\_pre.index,name

cols\_list=list(new\_cols.columns\[?-dummies\_num-2)\])  
data\_pre.index.name=‘time’  
new\_cols.index.name=‘time’

data\_out=pd.concat(\[new\_cols\[cols\_list\],data\_pre\])

print(data\_out)  
data\_out.to\_csv(’/Users/wang/PycharmProjects/untitled2/data\_out.csv’)

[20190823095013595.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/8e39ddc07fa54e59a2b48a103e7affa9.png