58743b31
Mihail
init commit - bas...
|
1
2
3
4
|
<?php
namespace backend\controllers;
use Yii;
|
2fb5a757
Mihail
add menu and chec...
|
5
|
use yii\data\ActiveDataProvider;
|
58743b31
Mihail
init commit - bas...
|
6
|
use yii\filters\AccessControl;
|
54ada04a
Mihail
add base classes ...
|
7
|
use backend\components\base\BaseController;
|
58743b31
Mihail
init commit - bas...
|
8
|
use yii\filters\VerbFilter;
|
febcec0b
Mihail
final version par...
|
9
|
use backend\models\UploadFileParsingForm;
|
58743b31
Mihail
init commit - bas...
|
10
|
use yii\web\UploadedFile;
|
9bfcfcaf
Mihail
parser csv v1
|
11
|
use yii\data\ArrayDataProvider;
|
2a7a75b8
Mihail
add first version...
|
12
|
use yii\multiparser\DynamicFormHelper;
|
7a80e74c
Mihail
add DynamicFormHe...
|
13
|
use backend\components\parsers\CustomParserConfigurator;
|
d7f6bdbb
Mihail
add Importers fil...
|
14
15
|
use backend\models\Details;
use backend\models\ImporterFiles;
|
51514d7d
Mihail
add writing data ...
|
16
|
use backend\models\Importer;
|
d7f6bdbb
Mihail
add Importers fil...
|
17
|
use yii\base\ErrorException;
|
2fb5a757
Mihail
add menu and chec...
|
18
|
use yii\db\Query;
|
2509e17e
Administrator
JSON
|
19
|
|
02e174a3
Mihail
work with custome...
|
20
|
use common\components\CustomVarDamp;
|
58743b31
Mihail
init commit - bas...
|
21
22
|
/**
|
febcec0b
Mihail
final version par...
|
23
|
* Parser controller
|
58743b31
Mihail
init commit - bas...
|
24
|
*/
|
54ada04a
Mihail
add base classes ...
|
25
|
class ParserController extends BaseController
|
58743b31
Mihail
init commit - bas...
|
26
|
{
|
2509e17e
Administrator
JSON
|
27
|
public $layout = "/column";
|
d7f6bdbb
Mihail
add Importers fil...
|
28
|
|
58743b31
Mihail
init commit - bas...
|
29
30
31
32
33
34
35
36
37
38
|
/**
* @inheritdoc
*/
public function behaviors()
{
return [
'access' => [
'class' => AccessControl::className(),
'rules' => [
[
|
2fb5a757
Mihail
add menu and chec...
|
39
|
'actions' => ['index', 'results', 'write','check_price'],
|
58743b31
Mihail
init commit - bas...
|
40
41
42
43
44
|
'allow' => true,
'roles' => ['@'],
],
],
],
|
02e174a3
Mihail
work with custome...
|
45
46
47
48
49
50
|
// 'verbs' => [
// 'class' => VerbFilter::className(),
// 'actions' => [
// 'logout' => ['post'],
// ],
// ],
|
58743b31
Mihail
init commit - bas...
|
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
|
];
}
/**
* @inheritdoc
*/
public function actions()
{
return [
'error' => [
'class' => 'yii\web\ErrorAction',
],
];
}
|
2509e17e
Administrator
JSON
|
66
|
|
58743b31
Mihail
init commit - bas...
|
67
68
|
public function actionIndex()
{
|
5be26bf2
Mihail
edit upload form
|
69
|
$model = new UploadFileParsingForm();
|
58743b31
Mihail
init commit - bas...
|
70
|
|
2509e17e
Administrator
JSON
|
71
72
73
|
return $this->render('index', ['model' => $model]);
}
|
d7f6bdbb
Mihail
add Importers fil...
|
74
75
|
public function actionResults()
{
|
2509e17e
Administrator
JSON
|
76
|
$model = new UploadFileParsingForm();
|
7a80e74c
Mihail
add DynamicFormHe...
|
77
|
$data = [];
|
febcec0b
Mihail
final version par...
|
78
|
if ($model->load(Yii::$app->request->post())) {
|
58743b31
Mihail
init commit - bas...
|
79
|
$model->file = UploadedFile::getInstance($model, 'file');
|
d7f6bdbb
Mihail
add Importers fil...
|
80
|
// первый проход - валидируем, сохраняем файл, ложим в кеш отпарсенные данные и параметры модели (потом при записи в базу данных они пригодятся)
|
165348a4
Mihail
draft commit
|
81
|
if ($model->validate()) {
|
2fb5a757
Mihail
add menu and chec...
|
82
|
$model->file_path = Yii::getAlias('@webroot') . '/uploads/' . $model->file->baseName . '.' . $model->file->extension;
|
2509e17e
Administrator
JSON
|
83
|
|
2fb5a757
Mihail
add menu and chec...
|
84
|
$model->file->saveAs($model->file_path);
|
d7f6bdbb
Mihail
add Importers fil...
|
85
|
//запускаем парсинг
|
2fb5a757
Mihail
add menu and chec...
|
86
|
$data = $model->readFile();
|
d7f6bdbb
Mihail
add Importers fil...
|
87
88
89
90
|
// сохраняем в кеш отпарсенные даные
Yii::$app->getCache()->set('parser_data', json_encode($data));
// сохраняем в кеш модель - в ней настройки для дальнейшей обработки данных
Yii::$app->getCache()->set('parser_configuration', serialize($model));
|
2509e17e
Administrator
JSON
|
91
|
|
2509e17e
Administrator
JSON
|
92
|
|
58743b31
Mihail
init commit - bas...
|
93
|
}
|
d7f6bdbb
Mihail
add Importers fil...
|
94
95
|
// листаем пагинатором, или повторно вызываем - считываем из кеша отпрасенные данные
} else if (Yii::$app->getCache()->get('parser_data')) {
|
2509e17e
Administrator
JSON
|
96
|
|
d7f6bdbb
Mihail
add Importers fil...
|
97
|
$data = json_decode(Yii::$app->getCache()->get('parser_data'), true);
|
2509e17e
Administrator
JSON
|
98
|
|
58743b31
Mihail
init commit - bas...
|
99
100
|
}
|
7a80e74c
Mihail
add DynamicFormHe...
|
101
102
103
104
105
106
107
|
$provider = new ArrayDataProvider([
'allModels' => $data,
'pagination' => [
'pageSize' => 10,
],
]);
|
d7f6bdbb
Mihail
add Importers fil...
|
108
109
|
//формируем заголовок для пользователя, где он сможет выбрать соответсвие полей (выпадающий список)
$header_model = DynamicFormHelper::CreateDynamicModel(count($data[0]));
|
7a80e74c
Mihail
add DynamicFormHe...
|
110
|
|
7a80e74c
Mihail
add DynamicFormHe...
|
111
112
113
|
return $this->render('results',
['model' => $data,
'header_model' => $header_model,
|
d7f6bdbb
Mihail
add Importers fil...
|
114
115
|
// список колонок для выбора
'basic_column' => Yii::$app->multiparser->getConfiguration('csv', 'basic_column'),
|
7a80e74c
Mihail
add DynamicFormHe...
|
116
|
'dataProvider' => $provider]);
|
58743b31
Mihail
init commit - bas...
|
117
|
}
|
7a80e74c
Mihail
add DynamicFormHe...
|
118
|
|
d7f6bdbb
Mihail
add Importers fil...
|
119
120
|
public function actionWrite()
{
|
d7f6bdbb
Mihail
add Importers fil...
|
121
122
123
124
125
126
127
128
|
//получим колонки которые выбрал пользователь
$arr_attributes = Yii::$app->request->post()['DynamicModel'];
//соберем модель по полученным данным
$model = DynamicFormHelper::CreateDynamicModel($arr_attributes);
//добавим правила валидации (колонки должны быть те что указаны в конфиге)
foreach ($arr_attributes as $key => $value) {
$model->addRule($key, 'in', ['range' => array_keys(Yii::$app->multiparser->getConfiguration('csv', 'basic_column'))]);
}
|
7a80e74c
Mihail
add DynamicFormHe...
|
129
|
|
d7f6bdbb
Mihail
add Importers fil...
|
130
131
|
// провалидируем выбранные колонки
if ($model->validate()) {
|
33d902b8
Mihail
add converter as ...
|
132
|
|
d7f6bdbb
Mihail
add Importers fil...
|
133
134
|
// валидация успешна у нас есть соответсвие колонок, преобразуем в массив данное соответсвие для дальнейшей работы
$arr = $model->toArray();
|
492d8ac1
Mihail
finishing with co...
|
135
|
|
d7f6bdbb
Mihail
add Importers fil...
|
136
137
138
139
140
141
142
|
// получим данные из кеша
if (Yii::$app->getCache()->get('parser_data') && Yii::$app->getCache()->get('parser_configuration')) {
$data = json_decode(Yii::$app->getCache()->get('parser_data'), true);
$configuration = unserialize(Yii::$app->getCache()->get('parser_configuration'));
} else {
CustomVarDamp::dumpAndDie('Ошибка кеша');
}
|
7a80e74c
Mihail
add DynamicFormHe...
|
143
|
|
d7f6bdbb
Mihail
add Importers fil...
|
144
145
146
147
148
|
// соотнесем отпарсенные данные с соответсивем полученным от пользователя
// для этого преобразуем массив отпарсенных данных - назначим ключи согласно соответствию
$data = \Yii::$app->multiparser->convertToAssocArray($data, $arr, 'attr_');
|
51514d7d
Mihail
add writing data ...
|
149
|
// 1. запишем дату старта в таблицу файлов поставщика (ImportersFiles)
|
d7f6bdbb
Mihail
add Importers fil...
|
150
151
152
153
154
155
|
$files_model = new ImporterFiles();
// id поставщика получим из конфигурации
$files_model->load(['ImporterFiles' => $configuration->toArray()]);
if ($files_model->validate()) {
try {
$files_model->save();
|
51514d7d
Mihail
add writing data ...
|
156
157
158
159
160
161
162
|
$update_date = $files_model->find()
->where(['importer_id' => $files_model->importer_id])
->orderBy(['id' => SORT_DESC])
->one()
->upload_time;
$update_date = date('Y-m-d H:i:s',strtotime($update_date));
// CustomVarDamp::dumpAndDie(strtotime($update_date));
|
d7f6bdbb
Mihail
add Importers fil...
|
163
164
165
166
167
|
} catch (ErrorException $e) {
CustomVarDamp::dump($e->getMessage());
}
|
51514d7d
Mihail
add writing data ...
|
168
|
// 2. запишем полученные данные в таблицу товаров (Details)
|
d7f6bdbb
Mihail
add Importers fil...
|
169
170
171
172
|
$details_model = new Details('web');
// проверим все ли обязательные колонки были указаны пользователем
$details_model->load(['Details' => $data[0]]);
if ($details_model->validate()) {
|
51514d7d
Mihail
add writing data ...
|
173
174
|
// дополним данные значением импортера и даты обновления цены
$data = \Yii::$app->multiparser->addColumns( $data, ['IMPORT_ID' => $configuration['importer_id'],'timestamp' => $update_date] );
|
d7f6bdbb
Mihail
add Importers fil...
|
175
176
|
try {
|
51514d7d
Mihail
add writing data ...
|
177
|
//@todo add transaction
|
d7f6bdbb
Mihail
add Importers fil...
|
178
179
180
|
// попытаемся вставить данные в БД с апдейтом по ключам
$details_model->save($data);
|
3b7211a0
Mihail
change query for ...
|
181
182
|
// 3. зафиксируем дату начала и конца загрузки в файлах поставщика (для ручной загрузки начало приравниваем time_start и update_date)
$files_model->time_start = $update_date;
|
51514d7d
Mihail
add writing data ...
|
183
184
|
$files_model->time_end = date('Y-m-d H:i:s');
// CustomVarDamp::dumpAndDie($files_model);
|
d7f6bdbb
Mihail
add Importers fil...
|
185
186
|
$files_model->save();
|
51514d7d
Mihail
add writing data ...
|
187
188
|
// 4. зафиксируем дату загрузки в таблице поставщиков
$imp_model = Importer::findOne( $configuration['importer_id'] );
|
3b7211a0
Mihail
change query for ...
|
189
|
$imp_model->price_date_update = $update_date;
|
51514d7d
Mihail
add writing data ...
|
190
191
192
193
|
if (!$imp_model->save()) {
CustomVarDamp::dumpAndDie( $imp_model->getErrors() );
}
|
2fb5a757
Mihail
add menu and chec...
|
194
|
$configuration['success'] = true;
|
d7f6bdbb
Mihail
add Importers fil...
|
195
196
197
|
// все прошло успешно - очищаем кеш
Yii::$app->getCache()->delete('parser_data');
Yii::$app->getCache()->delete('parser_configuration');
|
51514d7d
Mihail
add writing data ...
|
198
|
// @todo - Delete the file
|
d7f6bdbb
Mihail
add Importers fil...
|
199
|
|
2fb5a757
Mihail
add menu and chec...
|
200
201
|
// все успешно - возвращаемся в начало
return $this->render('index', ['model' => $configuration]);
|
d7f6bdbb
Mihail
add Importers fil...
|
202
203
204
205
206
207
208
209
210
211
212
|
} catch (ErrorException $e) {
CustomVarDamp::dump($e->getMessage());
}
}
if ($details_model->hasErrors()) {
$errors_arr = $details_model->getErrors();
foreach ($errors_arr as $error) {
CustomVarDamp::dump(array_values($error));
}
}
|
7a80e74c
Mihail
add DynamicFormHe...
|
213
|
|
58743b31
Mihail
init commit - bas...
|
214
|
|
d7f6bdbb
Mihail
add Importers fil...
|
215
216
217
218
219
220
|
}
}
}
|
58743b31
Mihail
init commit - bas...
|
221
|
|
2fb5a757
Mihail
add menu and chec...
|
222
223
|
public function actionCheck_price ()
{
|
3b7211a0
Mihail
change query for ...
|
224
225
|
//$query = (new Query())->select('*')->from('{{%importer_files}}')->where(['not', ['time_end' => null]])->orderBy(['upload_time' => SORT_DESC]);
$query = Importer::find()->where(['active' => true])->orderBy(['price_date_update' => SORT_DESC]);
|
2fb5a757
Mihail
add menu and chec...
|
226
227
228
229
230
231
232
233
234
235
236
|
$provider = new ActiveDataProvider([
'query' => $query,
'pagination' => [
'pageSize' => 10,
],
]);
return $this->render('checkPrice',
[
'dataProvider' => $provider]);
}
|
58743b31
Mihail
init commit - bas...
|
237
|
}
|