Dự báo chuỗi thời gian (time series forecasting) là giữa những nền tảng chính của sản phẩm học (machine learning).
Có một số phương thức để triển khai điều này như Autoregressive Integrated Moving Average (ARIMA), Seasonal Autoregressive Integrated Moving-Average (SARIMA), Vector Autoregression (VAR)...
Bạn đang xem: Phát triển mô hình dự đoán dữ liệu (Data Prediction Model Development)
Trong bài viết này, họ sẽ tập trung vào phương thức Long Short-term Memory (LSTM), một cách thức phổ biến nếu bạn sử dụng Deep Learning. Họ sẽ sử dụng Keras trong dự án của mình để triển khai LSTM.
Cuối cùng, dự kiến được doanh số bán hàng trong tương lai sẽ có lại tiện ích gì đối với việc sale của chúng ta?
Trước hết, nó là một trong những benchmark. Bạn có thể sử dụng nó như công việc kinh doanh sẽ đã có được nếu không biến đổi chiến lược. Rộng nữa, chúng ta cũng có thể tính toán giá bán trị gia tăng của các hành động mới trên benchmark này.
Tiếp đến, nó có thể được áp dụng để lập kế hoạch. Bạn có thể lập kế hoạch chuyển động cung và mong của mình bằng cách xem những dự báo.
Cuối cùng, nó là 1 trong những hướng dẫn để bạn cũng có thể lập ra kế hoạch giá thành và mục tiêu.
Bây giờ đã tới khi bắt tay vào viết code và xây dựng quy mô học sâu đầu tiên. Việc triển khai quy mô gồm 3 bước:
Sắp xếp tài liệu (Data Wrangling)Chuyển thay đổi dữ liệu nhằm nó cố định và thắt chặt và được tính toán Xây dựng mô hình LSTM và tấn công giáSắp xếp dữ liệu (Data Wrangling)
Trong lấy ví dụ này, chúng ta sử dụng tập dữ liệu từ hội thi Kaggle. Nó thể hiện doanh thu hàng ngày của từng cửa hàng và mặt hàng.
Giống như hồ hết khi, chúng ta bắt đầu với vấn đề nhập những thư viện bắt buộc và nhập tài liệu của họ từ CSV:
from datetime import datetime, timedelta,dateimport pandas as pd%matplotlib inlineimport matplotlib.pyplot as pltimport numpy as npfrom __future__ import divisionimport warningswarnings.filterwarnings("ignore")import plotly.plotly as pyimport plotly.offline as pyoffimport plotly.graph_objs as go#import Kerasimport kerasfrom keras.layers import Densefrom keras.models import Sequentialfrom keras.optimizers import Adam from keras.callbacks import Early
Stoppingfrom keras.utils import np_utilsfrom keras.layers import LSTMfrom sklearn.model_selection import KFold, cross_val_score, train_test_split#initiate plotlypyoff.init_notebook_mode()#read the data in csvdf_sales = pd.read_csv("sales_data.csv")#convert date field from string khổng lồ datetimedf_sales<"date"> = pd.to_datetime(df_sales<"da
Dữ liệu của họ giống như sau:
Nhiệm vụ của chúng ta là dự kiến tổng doanh thu hàng tháng. Bọn họ cần tổng hợp dữ liệu của bản thân mình ở lever hàng tháng cùng tổng hợp cột sales.
#represent month in date field as its first daydf_sales<"date"> = df_sales<"date">.dt.year.astype("str") + "-" + df_sales<"date">.dt.month.astype("str") + "-01"df_sales<"date"> = pd.to_datetime(df_sales<"date">)#groupby date and sum the salesdf_sales = df_sales.groupby("date").sales.sum().reset_index()Sau khi áp dụng đoạn code trên, df_sales hiển thị tổng doanh thu mà họ cần:
Chuyển thay đổi dữ liệu
Để lập quy mô dự báo dễ ợt và đúng chuẩn hơn, chúng ta sẽ thực hiện các đổi khác bên dưới:
Chúng ta sẽ chuyển dữ liệu sang cố định và thắt chặt (nếu nó không chũm định)Chuyển thay đổi từ chuỗi thời hạn sang được giám sát để có bộ kỹ năng của mô hình LSTMScale dữ liệuTrước hết, làm bí quyết nào nhằm kiểm tra tài liệu có thắt chặt và cố định hay không? Hãy vẽ biểu đồ cùng xem xét:
#plot monthly salesplot_data = < go.Scatter( x=df_sales<"date">, y=df_sales<"sales">, )>plot_layout = go.Layout( title="Montly Sales" )fig = go.Figure(data=plot_data, layout=plot_layout)pyoff.iplot(fig)Biểu đồ doanh số hàng tháng
Nó ví dụ không đứng yên cơ mà có xu hướng tăng dần qua những tháng. Một cách thức là xây dựng quy mô dựa trên sự chênh lệch doanh số bán hàng tháng này đối với tháng trước.
#create a new dataframe to model the differencedf_diff = df_sales.copy()#add previous sales to the next rowdf_diff<"prev_sales"> = df_diff<"sales">.shift(1)#drop the null values & calculate the differencedf_diff = df_diff.dropna()df_diff<"diff"> = (df_diff<"sales"> - df_diff<"prev_sales">)df_diff.head(10)Bây giờ bọn họ có dataframe cần thiết nhằm lập quy mô cho sự không giống biệt:
Hãy vẽ biểu vật và bình chọn nó có thắt chặt và cố định hay không:
#plot sales diffplot_data = < go.Scatter( x=df_diff<"date">, y=df_diff<"diff">, )>plot_layout = go.Layout( title="Montly Sales Diff" )fig = go.Figure(data=plot_data, layout=plot_layout)pyoff.iplot(fig)
Bây giờ chúng ta có thể bắt đầu tạo ra bộ nhân kiệt của mình. Họ cần sử dụng dữ liệu bán hàng hằng mon trước để tham dự đoán phần nhiều đợt tiếp theo. Khoảng thời gian nhìn lại hoàn toàn có thể khác nhau đối với mọi tế bào hình. Lấy một ví dụ này của bọn họ sẽ là 12.
Vì vậy, mọi gì họ cần làm là tạo những cột từ lag_1 mang lại lag_12 cùng gán giá chỉ trị bằng cách sử dụng cách thức shift():
#create dataframe for transformation from time series to superviseddf_supervised = df_diff.drop(<"prev_sales">,axis=1)#adding lagsfor inch in range(1,13): field_name = "lag_" + str(inc) df_supervised
Hiện tại họ có cỗ tính năng.
Vậy các tính năng dự đoán của bọn chúng ta hữu ích như nắm nào?
Adjusted R-squared là câu trả lời. Nó mang đến ta biết những tính năng phân tích và lý giải sự thay đổi trong nhãn như vậy nào.
Hãy xem ví dụ như sau:
# Import statsmodels.formula.apiimport statsmodels.formula.api as smf# Define the regression formulamodel = smf.ols(formula="diff ~ lag_1", data=df_supervised)# Fit the regressionmodel_fit = model.fit()# Extract the adjusted r-squaredregression_adj_rsq = model_fit.rsquared_adjprint(regression_adj_rsq)Vậy điều gì đã xẩy ra ở trên?
Về cơ bản, họ fit với mô hình hồi quy đường tính (OLS — Ordinary Least Squares) và tính toán Adjusted R-squared. Đối cùng với ví dụ ở trên, họ chỉ sử dụng lag_1 giúp xem nó lý giải mức độ trở nên thiên/dao đụng (variation) vào cột diff. Hiệu quả đầu ra của khối mã này là:
lag_1 lý giải 3% của sự biến thiên/dao rượu cồn (variation). Hãy kiểm tra các cái khác:
Thêm bốn nhân tài nữa đã tiếp tục tăng số điểm trường đoản cú 3% lên 44%.
Điểm thế nào nếu bọn họ sử dụng tất cả bộ tính năng:
Kết quả rất tuyệt hảo với số điểm là 98%. Tiếng đây, chúng ta có thể tự tin kiến tạo mô hình của mình sau khi scale dữ liệu. Tuy vậy còn một cách nữa trước khi scale.
Chúng ta đề nghị chia dữ liệu của chính mình thành các tập tài liệu kiểm demo (test set) và tập dữ liệu huấn luyện (train set). Đối cùng với tập tài liệu kiểm thử, họ đã lựa chọn doanh số bán hàng trong 6 tháng qua.
#import Min
Max
Scaler & create a new dataframe for LSTM modelfrom sklearn.preprocessing import Min
Max
Scalerdf_model = df_supervised.drop(<"sales","date">,axis=1)#split train và test settrain_set, test_set = df_model<0:-6>.values, df_model<-6:>.values
Là scaler, chúng ta sẽ thực hiện Min
Max
Scaler:
#apply Min Max Scalerscaler = Min
Max
Scaler(feature_range=(-1, 1))scaler = scaler.fit(train_set)# reshape training settrain_set = train_set.reshape(train_set.shape<0>, train_set.shape<1>)train_set_scaled = scaler.transform(train_set)# reshape kiểm tra settest_set = test_set.reshape(test_set.shape<0>, test_set.shape<1>)test_set_scaled = scaler.transform(test_set)
Xây dựng mô hình LSTM
Mọi thứ đã chuẩn bị để xây dựng mô hình học sâu đầu tiên. Hãy tạo những bộ nhãn và công dụng từ scaled datasets:X_train, y_train = train_set_scaled<:, 1:>, train_set_scaled<:, 0:1>X_train = X_train.reshape(X_train.shape<0>, 1, X_train.shape<1>)X_test, y_test = test_set_scaled<:, 1:>, test_set_scaled<:, 0:1>X_test = X_test.reshape(X_test.shape<0>, 1, X_test.shape<1>)Hãy fit với mô hình LSTM:
model = Sequential()model.add(LSTM(4, batch_input_shape=(1, X_train.shape<1>, X_train.shape<2>), stateful=True))model.add(Dense(1))model.compile(loss="mean_squared_error", optimizer="adam")model.fit(X_train, y_train, nb_epoch=100, batch_size=1, verbose=1, shuffle=False)Khối mã sinh sống trên print ra cách quy mô tự nâng cấp và giảm lỗi trong những giai đoạn:
Hãy thử dự đoán và xem hiệu quả như thay nào nhé.
y_pred = model.predict(X_test,batch_size=1)#for multistep prediction, you need to lớn replace X_test values with the predictions coming from t-1
Đầu tiên, họ cần triển khai phép thay đổi nghịch đảo (inverse transformation) để scale:
#reshape y_predy_pred = y_pred.reshape(y_pred.shape<0>, 1, y_pred.shape<1>)#rebuild demo set for inverse transformpred_test_set = <>for index in range(0,len(y_pred)): print np.concatenate(
#create dataframe that shows the predicted salesresult_list = <>sales_dates = list(df_sales<-7:>.date)act_sales = list(df_sales<-7:>.sales)for index in range(0,len(pred_test_set_inverted)): result_dict = result_dict<"pred_value"> = int(pred_test_set_inverted
Frame(result_list)#for multistep prediction, replace act_sales with the predicted sales
Output:
Thật tuyệt! chúng ta đã dự đoán được doanh số bán sản phẩm trong sáu tháng tới. Hãy kiểm tra quy mô của họ trong sơ thiết bị nhé.
#merge with actual sales dataframedf_sales_pred = pd.merge(df_sales,df_result,on="date",how="left")#plot actual và predictedplot_data = < go.Scatter( x=df_sales_pred<"date">, y=df_sales_pred<"sales">, name="actual" ), go.Scatter( x=df_sales_pred<"date">, y=df_sales_pred<"pred_value">, name="predicted" ) >plot_layout = go.Layout( title="Sales Prediction" )fig = go.Figure(data=plot_data, layout=plot_layout)pyoff.iplot(fig)Thực tế đối với dự đoán:
Nhìn vào sơ đồ, ta có thể thấy mô hình thực tế so với dự đoán không khác biệt mấy. Không tính ra, bạn có thể cải thiện tế bào hình bằng phương pháp thêm ngày lễ, thời hạn nghỉ ngơi với hiệu ứng theo mùa khác như tính năng mới.
What is predictive modeling?
Predictive modeling is a mathematical process used lớn predict future events or outcomes by analyzing patterns in a given set of input đầu vào data. It is a crucial component of predictive analytics, a type of data analytics which uses current và historical data lớn forecast activity, behavior và trends.
Examples of predictive modeling include estimating the chất lượng of a sales lead, the likelihood of spam or the probability someone will click a links or buy a product. These capabilities are often baked into various business applications, so it is worth understanding the mechanics of predictive modeling khổng lồ troubleshoot and improve performance.
Although predictive modeling implies a focus on forecasting the future, it can also predict outcomes (e.g., the probability a transaction is fraudulent). In this case, the event has already happened (fraud committed). The goal here is khổng lồ predict whether future analysis will find the transaction is fraudulent. Predictive modeling can also forecast future requirements or facilitate what-if analysis.
"Predictive modeling is a size of data mining that analyzes historical data with the goal of identifying trends or patterns & then using those insights lớn predict future outcomes," explained Donncha Carroll a partner in the revenue growth practice of Axiom Consulting Partners. "Essentially, it asks the question, "have I seen this before" followed by, "what typically comes after this pattern.""
This article is part of
What is predictive analytics? An enterprise guide
Which also includes:Top types of predictive models
There are many ways of classifying predictive models & in practice multiple types of models may be combined for best results. The most salient distinction is between unsupervised versus supervised models.
Supervised models use newer machine learning techniques such as neural networks to lớn identify patterns buried in data that has already been labeled.The biggest difference between these approaches is that with supervised models more care must be taken to lớn properly label data sets upfront.
"The application of different types of models tends to be more domain-specific than industry-specific," said Scott Buchholz, government & public services CTO & emerging giải pháp công nghệ research director at Deloitte Consulting.
In certain cases, for example, standard statistical regression analysis may provide the best predictive power. In other cases, more sophisticated models are the right approach. For example, in a hospital, classic statistical techniques may be enough to identify key constraints for scheduling, but neural networks, a type of deep learning, may be required to lớn optimize patient assignment to doctors.
Once data scientists gather this sample data, they must select the right model. Linear regressions are among the simplest types of predictive models. Linear models take two variables that are correlated -- one independent and the other dependent -- & plot one on the x-axis and one on the y-axis. The model applies a best fit line khổng lồ the resulting data points. Data scientists can use this to predict future occurrences of the dependent variable.
Some of the most popular methods include the following:
Decision trees. Decision tree algorithms take data (mined, open source, internal) & graph it out in branches to display the possible outcomes of various decisions. Decision trees classify response variables và predict response variables based on past decisions, can be used with incomplete data sets and are easily explainable and accessible for novice data scientists. Time series analysis. This is a technique for the prediction of events through a sequence of time. You can predict future events by analyzing past trends and extrapolating from there. Logistic regression. This method is a statistical analysis method that sida in data preparation. As more data is brought in, the algorithm"s ability lớn sort và classify it improves và therefore predictions can be made.The most complex area of predictive modeling is the neural network. This type of machine learning mã sản phẩm independently reviews large volumes of labeled data in search of correlations between variables in the data. It can detect even subtle correlations that only emerge after reviewing millions of data points. The algorithm can then make inferences about unlabeled data files that are similar in type to the data set it trained on.
Common algorithms for predictive modeling
Random Forest. This algorithm combines unrelated decision trees and uses classification & regression lớn organize và label vast amounts of data. Gradient boosted model. Similar to Random Forest, this algorithm uses several decision trees, but in this method, each tree corrects the flaws of the previous one and builds a more accurate picture. K-Means. This algorithm groups data points in a similar fashion as clustering models & is popular in devising personalized retail offers. It create personalized offers by seeking out similarities among large groups of customers. Prophet. A forecasting procedure, this algorithm is especially effective when dealing with capacity planning. This algorithm đơn hàng with time series data và is relatively flexible.
What are the uses of predictive modeling?
Predictive modeling is often associated with meteorology và weather forecasting, but predictive models have many applications in business. Today"s predictive analytics techniques can discover patterns in the data to identify upcoming risks & opportunities for an organization.
"Almost anywhere a smart human is regularly making a prediction in a historically data rich environment is a good use case for predicative analytics," Buchholz said. "After all, the model has no ego and won"t get bored."
One of the most common uses of predictive modeling is in online advertising and marketing. Modelers use website surfers" historical data, to determine what kinds of products users might be interested in và what they are likely to click on.
Bayesian spam filters use predictive modeling to lớn identify the probability that a given message is spam.
In fraud detection, predictive modeling is used to identify outliers in a data phối that point toward fraudulent activity. In customer relationship management, predictive modeling is used to lớn target messaging khổng lồ customers who are most likely to lớn make a purchase.
Carroll said that predictive modeling is widely used in predictive maintenance, which has become a huge industry generating billions of dollars in revenue. One of the more notable examples can be found in the airline industry where engineers use Io
T devices lớn remotely monitor performance of aircraft components like fuel pumps or jet engines.
These tools enable preemptive deployment of maintenance resources to increase equipment utilization & limit unexpected downtime. "These actions can meaningfully improve operational efficiency in a world that runs just in time where surprises can be very expensive," Caroll said.
Other areas where predictive models are used include the following:
disaster recovery engineering physical & digital security management đô thị planningHow lớn build a predictive model
Building a predictive model starts with identifying historical data that"s representative of the outcome you are trying khổng lồ predict.
"The model can infer outcomes from historical data but cannot predict what it has never seen before," Carroll said. Therefore, the volume & breadth of information used khổng lồ train the mã sản phẩm is critical khổng lồ securing an accurate prediction for the future.
The next step is to lớn identify ways to lớn clean, transform và combine the raw data that leads to better predictions.
Skill is required in not only finding the appropriate phối of raw data but also transforming it into data features that are most appropriate for a given model. For example, calculations of time-boxed weekly averages may be more useful and lead lớn better algorithms than real-time levels.
It is also important khổng lồ weed out data that is coincidental or not relevant to lớn a model. At best, the additional data will slow the mã sản phẩm down, & at worst, it will lead to less accurate models.
This is both an art và a science. The art lies in cultivating a gut feeling for the meaning of things and intuiting the underlying causes. The science lies in methodically applying algorithms lớn consistently achieve reliable results, and then evaluating these algorithms over time. Just because a spam filter works on day one does not mean marketers will not tune their messages, making the filter less effective.
Analyzing representative portions of the available information -- sampling -- can help speed development time on models and enable them to lớn be deployed more quickly.
Benefits of predictive modeling
Phil Cooper, group VP of products at Clari, a Rev
Ops software startup, said some of the top benefits of predictive modeling in business include the following:
The techniques used in predictive modeling are probabilistic as opposed to lớn deterministic. This means models generate probabilities of an outcome và include some uncertainty.
"This is a fundamental & inherent difference between data modeling of historical facts versus predicting future events
Challenges of predictive modeling
Here are some of the challenges related khổng lồ predictive modeling.
Data preparation. One of the most frequently overlooked challenges of predictive modeling is acquiring the correct amount of data và sorting out the right data to use when developing algorithms. By some estimates, data scientists spend about 80% of their time on this step. Data collection is important but limited in usefulness if this data is not properly managed và cleaned.
Once the data has been sorted, organizations must be careful lớn avoid overfitting. Over-testing on training data can result in a model that appears very accurate but has memorized the key points in the data set rather than learned how to lớn generalize.
Technical và cultural barriers. While predictive modeling is often considered lớn be primarily a mathematical problem, users must plan for the technical and organizational barriers that might prevent them from getting the data they need. Often, systems that store useful data are not connected directly khổng lồ centralized data warehouses. Also, some lines of business may feel that the data they manage is their asset, and they may not giới thiệu it freely with data science teams.
Choosing the right business case. Another potential obstacle for predictive modeling initiatives is making sure projects address significant business challenges. Sometimes, data scientists discover correlations that seem interesting at the time & build algorithms khổng lồ investigate the correlation further. However, just because they find something that is statistically significant does not mean it presents an insight the business can use. Predictive modeling initiatives need to lớn have a solid foundation of business relevance.
Bias. "One of the more pressing problems everyone is talking about, but few have addressed effectively, is the challenge of bias," Carroll said. Bias is naturally introduced into the system through historical data since past outcomes reflect existing bias.
Nate Nichols, distinguished principal at Narrative Science, a natural language generation tools provider, is excited about the role that new explainable machine learning methods such as LIME or SHAP could play in addressing concerns about bias and promoting trust.
"People trust models more when they have some understanding of what the models are doing, and trust is paramount for predictive analytic capabilities," Nichols said. Being able khổng lồ provide explanations for the predictions, he said, is a huge positive differentiator in the increasingly crowded field of predictive analytic products.
Predictive modeling versus predictive analytics
Predictive modeling is but one aspect in the larger predictive analytics process cycle. This includes collecting, transforming, cleaning and modeling data using independent variables, and then reiterating if the mã sản phẩm does not quite fit the problem khổng lồ be addressed.
"Once data has been gathered, transformed and cleansed, then predictive modeling is performed on the data," said Terri Sage, chief công nghệ officer at 1010data, an analytics consultancy.
Collecting data, transforming and cleaning are processes used for other types of analytic development.
"The difference with predictive analytics is the inclusion and discarding of variables during the iterative modeling process," Sage explained.
This will differ across various industries and use cases, as there will be diverse data used và different variables discovered during the modeling iterations.
For example, in healthcare, predictive models may ingest a tremendous amount of data pertaining to a patient và forecast a patient"s response khổng lồ certain treatments & prognosis. Data may include the patient"s specific medical history, environment, social risk factors, genetics -- all which vary from person to person. The use of predictive modeling in healthcare marks a shift from treating patients based on averages khổng lồ treating patients as individuals.
Similarly, with kinh doanh analytics, predictive models might use data sets based on a consumer"s salary, spending habits & demographics. Different data & modeling will be used for banking & insurance lớn help determine credit ratings & identify fraudulent activities.
Predictive modeling tools
Before deploying a predictive mã sản phẩm tool, it is crucial for your organization khổng lồ ask questions và sort out the following: Clarify who will be running the software, what the use case will be for these tools, what other tools will your predictive analytics be interacting with, as well as the budget.
Different tools have different data literacy requirements, are effective in different use cases, are best used with similar software & can be expensive. Once your organization has clarity on these issues, comparing tools becomes easier.
Sisense. A business intelligence software aimed at a variety of companies that offers a range of business analytics features. This requires minimal IT background. Oracle Crystal Ball. A spreadsheet-based application focused on engineers, strategic planners and scientists across industries that can be used for predictive modeling, forecasting as well as simulation and optimization. IBM SPSS Predictive Analytics Enterprise. A business intelligence platform that supports xuất hiện source integration & features descriptive & predictive analysis as well as data preparation. SAS Advanced Analytics.Xem thêm: Cách Đồng Bộ Danh Bạ Từ Gmail Vào Android Đơn Giả, Hiệu Quả, Sao Lưu Và Đồng Bộ Hóa Danh Bạ Trên Thiết Bị
A program that offers algorithms that identify the likelihood of future outcomes và can be used for data mining, forecasting & econometrics.
The future of predictive modeling
There are three key trends that will drive the future of data modeling.
First, data modeling capabilities are being baked into more business applications và citizen data science tools. These capabilities can provide the appropriate guardrails và templates for business users to lớn work with predictive modeling. Second, the tools and frameworks for low-code predictive modeling are making it easier for data science experts to lớn quickly cleanse data, create models and vet the results. Third, better tools are coming lớn automate many of the data engineering tasks required to lớn push predictive models into production. Carroll predicts this will allow more organizations lớn shift from simply building models lớn deploying them in ways that deliver on their potential value.