58743b31
Mihail
init commit - bas...
|
1
2
3
4
|
<?php
namespace backend\controllers;
use Yii;
|
2fb5a757
Mihail
add menu and chec...
|
5
|
use yii\data\ActiveDataProvider;
|
58743b31
Mihail
init commit - bas...
|
6
|
use yii\filters\AccessControl;
|
54ada04a
Mihail
add base classes ...
|
7
|
use backend\components\base\BaseController;
|
58743b31
Mihail
init commit - bas...
|
8
|
use yii\filters\VerbFilter;
|
febcec0b
Mihail
final version par...
|
9
|
use backend\models\UploadFileParsingForm;
|
58743b31
Mihail
init commit - bas...
|
10
|
use yii\web\UploadedFile;
|
9bfcfcaf
Mihail
parser csv v1
|
11
|
use yii\data\ArrayDataProvider;
|
2a7a75b8
Mihail
add first version...
|
12
|
use yii\multiparser\DynamicFormHelper;
|
7a80e74c
Mihail
add DynamicFormHe...
|
13
|
use backend\components\parsers\CustomParserConfigurator;
|
942bad48
Mihail
adapt project to ...
|
14
15
|
use backend\models\ImportersFiles;
use backend\models\Importers;
|
d7f6bdbb
Mihail
add Importers fil...
|
16
|
use yii\base\ErrorException;
|
f0dbd829
Mihail
add PriceWriter a...
|
17
|
use common\components\PriceWriter;
|
02e174a3
Mihail
work with custome...
|
18
|
use common\components\CustomVarDamp;
|
58743b31
Mihail
init commit - bas...
|
19
20
|
/**
|
febcec0b
Mihail
final version par...
|
21
|
* Parser controller
|
58743b31
Mihail
init commit - bas...
|
22
|
*/
|
54ada04a
Mihail
add base classes ...
|
23
|
class ParserController extends BaseController
|
58743b31
Mihail
init commit - bas...
|
24
|
{
|
2509e17e
Administrator
JSON
|
25
|
public $layout = "/column";
|
d7f6bdbb
Mihail
add Importers fil...
|
26
|
|
58743b31
Mihail
init commit - bas...
|
27
28
29
30
31
32
33
34
35
36
|
/**
* @inheritdoc
*/
public function behaviors()
{
return [
'access' => [
'class' => AccessControl::className(),
'rules' => [
[
|
58743b31
Mihail
init commit - bas...
|
37
38
39
40
41
|
'allow' => true,
'roles' => ['@'],
],
],
],
|
02e174a3
Mihail
work with custome...
|
42
43
44
45
46
47
|
// 'verbs' => [
// 'class' => VerbFilter::className(),
// 'actions' => [
// 'logout' => ['post'],
// ],
// ],
|
58743b31
Mihail
init commit - bas...
|
48
49
50
|
];
}
|
58743b31
Mihail
init commit - bas...
|
51
|
|
2509e17e
Administrator
JSON
|
52
|
|
1fa22312
Mihail
add auto upload a...
|
53
|
public function actionIndex($mode = 0)
|
58743b31
Mihail
init commit - bas...
|
54
|
{
|
5be26bf2
Mihail
edit upload form
|
55
|
$model = new UploadFileParsingForm();
|
1fa22312
Mihail
add auto upload a...
|
56
57
|
// установим режим, 0 - ручная загрузка, 1 - автозагрузка
$model->mode = $mode;
|
55cc05aa
Mihail
try organize ini ...
|
58
|
//CustomVarDamp::dumpAndDie(phpinfo());
|
2509e17e
Administrator
JSON
|
59
60
61
|
return $this->render('index', ['model' => $model]);
}
|
f0dbd829
Mihail
add PriceWriter a...
|
62
63
64
65
66
67
68
|
public function actionError()
{
$exception = Yii::$app->errorHandler->exception;
if ($exception !== null) {
return $this->render('error', ['message' => $exception->getMessage()]);
}
}
|
55cc05aa
Mihail
try organize ini ...
|
69
|
|
1fa22312
Mihail
add auto upload a...
|
70
|
public function actionResults($mode = 0)
|
d7f6bdbb
Mihail
add Importers fil...
|
71
|
{
|
1fa22312
Mihail
add auto upload a...
|
72
|
$model = new UploadFileParsingForm(['mode' => $mode]);
|
7a80e74c
Mihail
add DynamicFormHe...
|
73
|
$data = [];
|
febcec0b
Mihail
final version par...
|
74
|
if ($model->load(Yii::$app->request->post())) {
|
58743b31
Mihail
init commit - bas...
|
75
|
$model->file = UploadedFile::getInstance($model, 'file');
|
1fa22312
Mihail
add auto upload a...
|
76
|
// первый проход - валидируем, сохраняем файл, ложим в кеш (для ручной загрузки) отпарсенные данные и параметры модели (потом при записи в базу данных они пригодятся)
|
165348a4
Mihail
draft commit
|
77
|
if ($model->validate()) {
|
1fa22312
Mihail
add auto upload a...
|
78
|
// запишем дату загрузки файла в таблицу файлов поставщика (ImportersFiles)
|
942bad48
Mihail
adapt project to ...
|
79
|
$files_model = new ImportersFiles();
|
1fa22312
Mihail
add auto upload a...
|
80
|
// id поставщика получим из конфигурации
|
942bad48
Mihail
adapt project to ...
|
81
|
$files_model->load(['ImportersFiles' => $model->toArray()]);
|
1fa22312
Mihail
add auto upload a...
|
82
83
84
|
try {
$files_model->save();
} catch (ErrorException $e) {
|
f0dbd829
Mihail
add PriceWriter a...
|
85
86
|
// CustomVarDamp::dump($e->getMessage());
throw $e;
|
1fa22312
Mihail
add auto upload a...
|
87
88
|
}
// получим id только что записанной записи - его запишем в название файла
|
0b2baee3
Mihail
fix errors with w...
|
89
|
$model->record_id = $files_model->find()
|
1fa22312
Mihail
add auto upload a...
|
90
91
92
93
94
|
->where(['importer_id' => $files_model->importer_id])
->orderBy(['id' => SORT_DESC])
->one()
->id;
|
0b2baee3
Mihail
fix errors with w...
|
95
|
$file_name = $model->record_id . '.' . $model->file->extension;
|
1fa22312
Mihail
add auto upload a...
|
96
97
|
if ($model->mode) {
|
ef41533d
Mihail
temp commit - wor...
|
98
|
$model->file_path = Yii::getAlias('@temp_upload') . '/' . $file_name;
|
1fa22312
Mihail
add auto upload a...
|
99
100
101
|
} else {
$model->file_path = Yii::getAlias('@manual_upload') . '/' . $file_name;
}
|
2509e17e
Administrator
JSON
|
102
|
|
2fb5a757
Mihail
add menu and chec...
|
103
|
$model->file->saveAs($model->file_path);
|
1fa22312
Mihail
add auto upload a...
|
104
105
106
107
|
// для авто загрузки, обработка завершена
if ($model->mode) {
$model->success = true;
|
ef41533d
Mihail
temp commit - wor...
|
108
|
|
1fa22312
Mihail
add auto upload a...
|
109
110
111
112
|
return $this->render('index', ['model' => $model]);
}
// === ручная загрузка ===========
|
d7f6bdbb
Mihail
add Importers fil...
|
113
|
//запускаем парсинг
|
2fb5a757
Mihail
add menu and chec...
|
114
|
$data = $model->readFile();
|
d7f6bdbb
Mihail
add Importers fil...
|
115
116
117
118
|
// сохраняем в кеш отпарсенные даные
Yii::$app->getCache()->set('parser_data', json_encode($data));
// сохраняем в кеш модель - в ней настройки для дальнейшей обработки данных
Yii::$app->getCache()->set('parser_configuration', serialize($model));
|
2509e17e
Administrator
JSON
|
119
|
|
1fa22312
Mihail
add auto upload a...
|
120
121
122
123
124
125
126
127
|
} else {
// не прошла валидация форма загрузки файлов
//@todo - отправка на страницу ошибок
$errors_arr = $model->getErrors();
foreach ($errors_arr as $error) {
CustomVarDamp::dump(array_values($error));
}
die;
|
58743b31
Mihail
init commit - bas...
|
128
|
}
|
d7f6bdbb
Mihail
add Importers fil...
|
129
130
|
// листаем пагинатором, или повторно вызываем - считываем из кеша отпрасенные данные
} else if (Yii::$app->getCache()->get('parser_data')) {
|
2509e17e
Administrator
JSON
|
131
|
|
d7f6bdbb
Mihail
add Importers fil...
|
132
|
$data = json_decode(Yii::$app->getCache()->get('parser_data'), true);
|
2509e17e
Administrator
JSON
|
133
|
|
58743b31
Mihail
init commit - bas...
|
134
135
|
}
|
7a80e74c
Mihail
add DynamicFormHe...
|
136
137
138
139
140
141
142
|
$provider = new ArrayDataProvider([
'allModels' => $data,
'pagination' => [
'pageSize' => 10,
],
]);
|
d7f6bdbb
Mihail
add Importers fil...
|
143
144
|
//формируем заголовок для пользователя, где он сможет выбрать соответсвие полей (выпадающий список)
$header_model = DynamicFormHelper::CreateDynamicModel(count($data[0]));
|
7a80e74c
Mihail
add DynamicFormHe...
|
145
|
|
7a80e74c
Mihail
add DynamicFormHe...
|
146
147
148
|
return $this->render('results',
['model' => $data,
'header_model' => $header_model,
|
d7f6bdbb
Mihail
add Importers fil...
|
149
150
|
// список колонок для выбора
'basic_column' => Yii::$app->multiparser->getConfiguration('csv', 'basic_column'),
|
7a80e74c
Mihail
add DynamicFormHe...
|
151
|
'dataProvider' => $provider]);
|
58743b31
Mihail
init commit - bas...
|
152
|
}
|
7a80e74c
Mihail
add DynamicFormHe...
|
153
|
|
d7f6bdbb
Mihail
add Importers fil...
|
154
155
|
public function actionWrite()
{
|
d7f6bdbb
Mihail
add Importers fil...
|
156
157
158
159
160
161
162
163
|
//получим колонки которые выбрал пользователь
$arr_attributes = Yii::$app->request->post()['DynamicModel'];
//соберем модель по полученным данным
$model = DynamicFormHelper::CreateDynamicModel($arr_attributes);
//добавим правила валидации (колонки должны быть те что указаны в конфиге)
foreach ($arr_attributes as $key => $value) {
$model->addRule($key, 'in', ['range' => array_keys(Yii::$app->multiparser->getConfiguration('csv', 'basic_column'))]);
}
|
7a80e74c
Mihail
add DynamicFormHe...
|
164
|
|
d7f6bdbb
Mihail
add Importers fil...
|
165
166
|
// провалидируем выбранные колонки
if ($model->validate()) {
|
33d902b8
Mihail
add converter as ...
|
167
|
|
d7f6bdbb
Mihail
add Importers fil...
|
168
169
|
// валидация успешна у нас есть соответсвие колонок, преобразуем в массив данное соответсвие для дальнейшей работы
$arr = $model->toArray();
|
492d8ac1
Mihail
finishing with co...
|
170
|
|
d7f6bdbb
Mihail
add Importers fil...
|
171
172
173
174
175
|
// получим данные из кеша
if (Yii::$app->getCache()->get('parser_data') && Yii::$app->getCache()->get('parser_configuration')) {
$data = json_decode(Yii::$app->getCache()->get('parser_data'), true);
$configuration = unserialize(Yii::$app->getCache()->get('parser_configuration'));
} else {
|
f0dbd829
Mihail
add PriceWriter a...
|
176
|
throw new \ErrorException('Ошибка кеша');
|
d7f6bdbb
Mihail
add Importers fil...
|
177
|
}
|
7a80e74c
Mihail
add DynamicFormHe...
|
178
|
|
d7f6bdbb
Mihail
add Importers fil...
|
179
180
|
// соотнесем отпарсенные данные с соответсивем полученным от пользователя
// для этого преобразуем массив отпарсенных данных - назначим ключи согласно соответствию
|
14ab0a80
Mihail
fixed error in Co...
|
181
|
$data = \Yii::$app->multiparser->convertToAssocArray($data, $arr , 'attr_');
|
d7f6bdbb
Mihail
add Importers fil...
|
182
|
|
f0dbd829
Mihail
add PriceWriter a...
|
183
184
185
186
187
188
|
// запустим специальный класс который запишет данные в таблицы связанные с прайсами
$writer = new PriceWriter();
$writer->configuration = $configuration;
$writer->data = $data;
$writer->mode = 0; //web-режим
if ( $writer->writeDataToDB() ) {
|
d7f6bdbb
Mihail
add Importers fil...
|
189
|
|
f0dbd829
Mihail
add PriceWriter a...
|
190
191
192
193
|
$configuration['success'] = true;
// все прошло успешно - очищаем кеш
Yii::$app->getCache()->delete('parser_data');
Yii::$app->getCache()->delete('parser_configuration');
|
1fa22312
Mihail
add auto upload a...
|
194
|
|
f0dbd829
Mihail
add PriceWriter a...
|
195
196
|
unlink($configuration['file_path']);
return $this->render('index', ['model' => $configuration]);
|
d7f6bdbb
Mihail
add Importers fil...
|
197
|
|
f0dbd829
Mihail
add PriceWriter a...
|
198
|
};
|
d7f6bdbb
Mihail
add Importers fil...
|
199
200
201
202
|
}
}
|
58743b31
Mihail
init commit - bas...
|
203
|
|
1fa22312
Mihail
add auto upload a...
|
204
205
|
public function actionAutoUpload()
{
|
942bad48
Mihail
adapt project to ...
|
206
|
$query = Importers::find()->where(['active' => true])->orderBy(['price_date_update' => SORT_DESC]);
|
1fa22312
Mihail
add auto upload a...
|
207
208
209
210
211
212
213
214
215
216
217
|
$provider = new ActiveDataProvider([
'query' => $query,
'pagination' => [
'pageSize' => 10,
],
]);
return $this->render('check_price',
[
'dataProvider' => $provider]);
}
|
35764921
Mihail
add action and vi...
|
218
219
220
|
public function actionServerFiles ()
{
|
ef41533d
Mihail
temp commit - wor...
|
221
222
|
$arr_id_files = [];
|
35764921
Mihail
add action and vi...
|
223
|
// получим список файлов которые ожидают к загрузке
|
ea4ecf3d
Mihail
console csv parsing
|
224
|
foreach ( glob(Yii::getAlias('@temp_upload') . '/*.csv' ) as $server_file ) {
|
35764921
Mihail
add action and vi...
|
225
|
$file_id = basename($server_file,".csv");
|
0ade45a9
Mihail
add ajax handler ...
|
226
|
$arr_id_files[] = (int) $file_id;
|
35764921
Mihail
add action and vi...
|
227
|
}
|
181d3f16
Mihail
merge with server
|
228
|
|
942bad48
Mihail
adapt project to ...
|
229
|
$query = ImportersFiles::find()->where(['in', 'id', $arr_id_files])->orderBy(['upload_time' => SORT_DESC]);
|
35764921
Mihail
add action and vi...
|
230
231
232
233
234
235
236
237
238
239
240
241
|
$provider = new ActiveDataProvider([
'query' => $query,
'pagination' => [
'pageSize' => 10,
],
]);
return $this->render('server-files',
[
'dataProvider' => $provider]);
}
|
0ade45a9
Mihail
add ajax handler ...
|
242
|
public function actionDelete ()
|
35764921
Mihail
add action and vi...
|
243
|
{
|
0ade45a9
Mihail
add ajax handler ...
|
244
|
if ( Yii::$app->request->isAjax ) {
|
35764921
Mihail
add action and vi...
|
245
|
|
942bad48
Mihail
adapt project to ...
|
246
|
$files_model = new ImportersFiles();
|
0ade45a9
Mihail
add ajax handler ...
|
247
248
249
250
|
if ( isset(Yii::$app->request->post()['id'] )) {
$id = Yii::$app->request->post()['id'];
try {
$files_model->delete($id);
|
ef41533d
Mihail
temp commit - wor...
|
251
|
unlink(Yii::getAlias('@temp_upload') . '/' . $id . '.csv' );
|
0ade45a9
Mihail
add ajax handler ...
|
252
253
254
|
// сообщим скрипту что все ОК
echo 1;
} catch (ErrorException $e) {
|
35764921
Mihail
add action and vi...
|
255
|
|
1fe29bbe
Mihail
fixed parser and ...
|
256
|
throw $e;
|
35764921
Mihail
add action and vi...
|
257
|
|
0ade45a9
Mihail
add ajax handler ...
|
258
259
|
}
}
|
35764921
Mihail
add action and vi...
|
260
261
|
}
|
35764921
Mihail
add action and vi...
|
262
|
}
|
1fe29bbe
Mihail
fixed parser and ...
|
263
|
|
ef41533d
Mihail
temp commit - wor...
|
264
265
|
public function actionLaunchCroneUploads ()
{
|
ef41533d
Mihail
temp commit - wor...
|
266
|
foreach (glob(Yii::getAlias('@temp_upload') . '/*.csv') as $server_file) {
|
1fe29bbe
Mihail
fixed parser and ...
|
267
|
|
ef41533d
Mihail
temp commit - wor...
|
268
|
$file_name = basename($server_file,".csv");
|
ea4ecf3d
Mihail
console csv parsing
|
269
|
copy( $server_file, Yii::getAlias('@auto_upload') . '/' . $file_name . '.csv' );
|
ef41533d
Mihail
temp commit - wor...
|
270
271
|
}
|
78684ed4
Mihail
add multiply pric...
|
272
|
|
ea4ecf3d
Mihail
console csv parsing
|
273
274
|
Yii::$app->session->setFlash( 'server-files', 'Файл успешно загружен' );
$this->redirect('server-files');
|
1fe29bbe
Mihail
fixed parser and ...
|
275
|
|
78684ed4
Mihail
add multiply pric...
|
276
277
|
// $csv = new \console\controllers\ParserController( 'parse-csv', $this->module );
// $csv->actionParseCsv();
|
48b58a13
Mihail
finish with xml a...
|
278
|
}
|
1fe29bbe
Mihail
fixed parser and ...
|
279
|
|
ef41533d
Mihail
temp commit - wor...
|
280
|
|
58743b31
Mihail
init commit - bas...
|
281
|
}
|