Blame view

backend/controllers/ParserController.php 10.2 KB
58743b31   Mihail   init commit - bas...
1
2
3
4
  <?php
  namespace backend\controllers;
  
  use Yii;
2fb5a757   Mihail   add menu and chec...
5
  use yii\data\ActiveDataProvider;
58743b31   Mihail   init commit - bas...
6
  use yii\filters\AccessControl;
54ada04a   Mihail   add base classes ...
7
  use backend\components\base\BaseController;
58743b31   Mihail   init commit - bas...
8
  use yii\filters\VerbFilter;
febcec0b   Mihail   final version par...
9
  use backend\models\UploadFileParsingForm;
58743b31   Mihail   init commit - bas...
10
  use yii\web\UploadedFile;
9bfcfcaf   Mihail   parser csv v1
11
  use yii\data\ArrayDataProvider;
2a7a75b8   Mihail   add first version...
12
  use yii\multiparser\DynamicFormHelper;
7a80e74c   Mihail   add DynamicFormHe...
13
  use backend\components\parsers\CustomParserConfigurator;
d7f6bdbb   Mihail   add Importers fil...
14
15
  use backend\models\Details;
  use backend\models\ImporterFiles;
51514d7d   Mihail   add writing data ...
16
  use backend\models\Importer;
d7f6bdbb   Mihail   add Importers fil...
17
  use yii\base\ErrorException;
2fb5a757   Mihail   add menu and chec...
18
  use yii\db\Query;
2509e17e   Administrator   JSON
19
  
02e174a3   Mihail   work with custome...
20
  use common\components\CustomVarDamp;
58743b31   Mihail   init commit - bas...
21
22
  
  /**
febcec0b   Mihail   final version par...
23
   * Parser controller
58743b31   Mihail   init commit - bas...
24
   */
54ada04a   Mihail   add base classes ...
25
  class ParserController extends BaseController
58743b31   Mihail   init commit - bas...
26
  {
2509e17e   Administrator   JSON
27
      public $layout = "/column";
d7f6bdbb   Mihail   add Importers fil...
28
  
58743b31   Mihail   init commit - bas...
29
30
31
32
33
34
35
36
37
38
      /**
       * @inheritdoc
       */
      public function behaviors()
      {
          return [
              'access' => [
                  'class' => AccessControl::className(),
                  'rules' => [
                      [
2fb5a757   Mihail   add menu and chec...
39
                          'actions' => ['index', 'results', 'write','check_price'],
58743b31   Mihail   init commit - bas...
40
41
42
43
44
                          'allow' => true,
                          'roles' => ['@'],
                      ],
                  ],
              ],
02e174a3   Mihail   work with custome...
45
46
47
48
49
50
  //            'verbs' => [
  //                'class' => VerbFilter::className(),
  //                'actions' => [
  //                    'logout' => ['post'],
  //                ],
  //            ],
58743b31   Mihail   init commit - bas...
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
          ];
      }
  
      /**
       * @inheritdoc
       */
      public function actions()
      {
          return [
              'error' => [
                  'class' => 'yii\web\ErrorAction',
              ],
          ];
      }
  
2509e17e   Administrator   JSON
66
  
58743b31   Mihail   init commit - bas...
67
68
      public function actionIndex()
      {
5be26bf2   Mihail   edit upload form
69
          $model = new UploadFileParsingForm();
58743b31   Mihail   init commit - bas...
70
  
2509e17e   Administrator   JSON
71
72
73
          return $this->render('index', ['model' => $model]);
      }
  
d7f6bdbb   Mihail   add Importers fil...
74
75
      public function actionResults()
      {
2509e17e   Administrator   JSON
76
          $model = new UploadFileParsingForm();
7a80e74c   Mihail   add DynamicFormHe...
77
          $data = [];
febcec0b   Mihail   final version par...
78
          if ($model->load(Yii::$app->request->post())) {
58743b31   Mihail   init commit - bas...
79
              $model->file = UploadedFile::getInstance($model, 'file');
d7f6bdbb   Mihail   add Importers fil...
80
              // первый проход - валидируем, сохраняем файл, ложим в кеш отпарсенные данные и параметры модели (потом при записи в базу данных они пригодятся)
165348a4   Mihail   draft commit
81
              if ($model->validate()) {
2fb5a757   Mihail   add menu and chec...
82
                  $model->file_path = Yii::getAlias('@webroot') . '/uploads/' . $model->file->baseName . '.' . $model->file->extension;
2509e17e   Administrator   JSON
83
  
2fb5a757   Mihail   add menu and chec...
84
                  $model->file->saveAs($model->file_path);
d7f6bdbb   Mihail   add Importers fil...
85
                  //запускаем парсинг
2fb5a757   Mihail   add menu and chec...
86
                  $data = $model->readFile();
d7f6bdbb   Mihail   add Importers fil...
87
88
89
90
                  // сохраняем в кеш отпарсенные даные
                  Yii::$app->getCache()->set('parser_data', json_encode($data));
                  // сохраняем в кеш модель - в ней настройки для дальнейшей обработки данных
                  Yii::$app->getCache()->set('parser_configuration', serialize($model));
2509e17e   Administrator   JSON
91
  
2509e17e   Administrator   JSON
92
  
58743b31   Mihail   init commit - bas...
93
              }
d7f6bdbb   Mihail   add Importers fil...
94
95
              // листаем пагинатором, или повторно вызываем - считываем из кеша отпрасенные данные
          } else if (Yii::$app->getCache()->get('parser_data')) {
2509e17e   Administrator   JSON
96
  
d7f6bdbb   Mihail   add Importers fil...
97
              $data = json_decode(Yii::$app->getCache()->get('parser_data'), true);
2509e17e   Administrator   JSON
98
  
58743b31   Mihail   init commit - bas...
99
100
          }
  
7a80e74c   Mihail   add DynamicFormHe...
101
102
103
104
105
106
107
          $provider = new ArrayDataProvider([
              'allModels' => $data,
              'pagination' => [
                  'pageSize' => 10,
              ],
          ]);
  
d7f6bdbb   Mihail   add Importers fil...
108
109
          //формируем заголовок для пользователя, где он сможет выбрать соответсвие полей (выпадающий список)
          $header_model = DynamicFormHelper::CreateDynamicModel(count($data[0]));
7a80e74c   Mihail   add DynamicFormHe...
110
  
7a80e74c   Mihail   add DynamicFormHe...
111
112
113
          return $this->render('results',
              ['model' => $data,
                  'header_model' => $header_model,
d7f6bdbb   Mihail   add Importers fil...
114
115
                  // список колонок для выбора
                  'basic_column' => Yii::$app->multiparser->getConfiguration('csv', 'basic_column'),
7a80e74c   Mihail   add DynamicFormHe...
116
                  'dataProvider' => $provider]);
58743b31   Mihail   init commit - bas...
117
      }
7a80e74c   Mihail   add DynamicFormHe...
118
  
d7f6bdbb   Mihail   add Importers fil...
119
120
      public function actionWrite()
      {
d7f6bdbb   Mihail   add Importers fil...
121
122
123
124
125
126
127
128
          //получим колонки которые выбрал пользователь
          $arr_attributes = Yii::$app->request->post()['DynamicModel'];
          //соберем модель по полученным данным
          $model = DynamicFormHelper::CreateDynamicModel($arr_attributes);
          //добавим правила валидации (колонки должны быть те что указаны в конфиге)
          foreach ($arr_attributes as $key => $value) {
              $model->addRule($key, 'in', ['range' => array_keys(Yii::$app->multiparser->getConfiguration('csv', 'basic_column'))]);
          }
7a80e74c   Mihail   add DynamicFormHe...
129
  
d7f6bdbb   Mihail   add Importers fil...
130
131
          // провалидируем выбранные колонки
          if ($model->validate()) {
33d902b8   Mihail   add converter as ...
132
  
d7f6bdbb   Mihail   add Importers fil...
133
134
              // валидация успешна у нас есть соответсвие колонок, преобразуем в массив данное соответсвие для дальнейшей работы
              $arr = $model->toArray();
492d8ac1   Mihail   finishing with co...
135
  
d7f6bdbb   Mihail   add Importers fil...
136
137
138
139
140
141
142
              // получим данные из кеша
              if (Yii::$app->getCache()->get('parser_data') && Yii::$app->getCache()->get('parser_configuration')) {
                  $data = json_decode(Yii::$app->getCache()->get('parser_data'), true);
                  $configuration = unserialize(Yii::$app->getCache()->get('parser_configuration'));
              } else {
                  CustomVarDamp::dumpAndDie('Ошибка кеша');
              }
7a80e74c   Mihail   add DynamicFormHe...
143
  
d7f6bdbb   Mihail   add Importers fil...
144
145
146
147
148
              // соотнесем отпарсенные данные с соответсивем полученным от пользователя
              // для этого преобразуем массив отпарсенных данных - назначим ключи согласно соответствию
              $data = \Yii::$app->multiparser->convertToAssocArray($data, $arr, 'attr_');
  
  
51514d7d   Mihail   add writing data ...
149
              // 1. запишем дату старта в таблицу файлов поставщика (ImportersFiles)
d7f6bdbb   Mihail   add Importers fil...
150
151
152
153
154
155
              $files_model = new ImporterFiles();
              // id поставщика получим из конфигурации
              $files_model->load(['ImporterFiles' => $configuration->toArray()]);
              if ($files_model->validate()) {
                  try {
                      $files_model->save();
51514d7d   Mihail   add writing data ...
156
157
158
159
160
161
162
                      $update_date = $files_model->find()
                          ->where(['importer_id' => $files_model->importer_id])
                          ->orderBy(['id' => SORT_DESC])
                          ->one()
                          ->upload_time;
                      $update_date = date('Y-m-d H:i:s',strtotime($update_date));
                     // CustomVarDamp::dumpAndDie(strtotime($update_date));
d7f6bdbb   Mihail   add Importers fil...
163
164
165
166
167
                  } catch (ErrorException  $e) {
                      CustomVarDamp::dump($e->getMessage());
                  }
  
  
51514d7d   Mihail   add writing data ...
168
                  // 2. запишем полученные данные в таблицу товаров (Details)
d7f6bdbb   Mihail   add Importers fil...
169
170
171
172
                  $details_model = new Details('web');
                  // проверим все ли обязательные колонки были указаны пользователем
                  $details_model->load(['Details' => $data[0]]);
                  if ($details_model->validate()) {
51514d7d   Mihail   add writing data ...
173
174
                      // дополним данные значением импортера и даты обновления цены
                      $data = \Yii::$app->multiparser->addColumns( $data, ['IMPORT_ID' => $configuration['importer_id'],'timestamp' => $update_date] );
d7f6bdbb   Mihail   add Importers fil...
175
176
  
                      try {
51514d7d   Mihail   add writing data ...
177
                          //@todo add transaction
d7f6bdbb   Mihail   add Importers fil...
178
179
180
                          // попытаемся вставить данные в БД с апдейтом по ключам
                          $details_model->save($data);
  
3b7211a0   Mihail   change query for ...
181
182
                          // 3. зафиксируем дату начала и конца загрузки в файлах поставщика (для ручной загрузки начало приравниваем time_start и update_date)
                          $files_model->time_start = $update_date;
51514d7d   Mihail   add writing data ...
183
184
                          $files_model->time_end = date('Y-m-d H:i:s');
                         // CustomVarDamp::dumpAndDie($files_model);
d7f6bdbb   Mihail   add Importers fil...
185
186
                          $files_model->save();
  
51514d7d   Mihail   add writing data ...
187
188
                          // 4. зафиксируем дату загрузки в таблице поставщиков
                          $imp_model = Importer::findOne( $configuration['importer_id'] );
3b7211a0   Mihail   change query for ...
189
                          $imp_model->price_date_update = $update_date;
51514d7d   Mihail   add writing data ...
190
191
192
193
  
                          if (!$imp_model->save()) {
                              CustomVarDamp::dumpAndDie( $imp_model->getErrors() );
                          }
2fb5a757   Mihail   add menu and chec...
194
                          $configuration['success'] = true;
d7f6bdbb   Mihail   add Importers fil...
195
196
197
                          // все прошло успешно - очищаем кеш
                          Yii::$app->getCache()->delete('parser_data');
                          Yii::$app->getCache()->delete('parser_configuration');
51514d7d   Mihail   add writing data ...
198
                          // @todo - Delete the file
d7f6bdbb   Mihail   add Importers fil...
199
  
2fb5a757   Mihail   add menu and chec...
200
201
                          // все успешно - возвращаемся в начало
                          return $this->render('index', ['model' => $configuration]);
d7f6bdbb   Mihail   add Importers fil...
202
203
204
205
206
207
208
209
210
211
212
                      } catch (ErrorException  $e) {
                          CustomVarDamp::dump($e->getMessage());
                      }
                  }
                  if ($details_model->hasErrors()) {
                      $errors_arr = $details_model->getErrors();
                      foreach ($errors_arr as $error) {
                          CustomVarDamp::dump(array_values($error));
                      }
  
                  }
7a80e74c   Mihail   add DynamicFormHe...
213
  
58743b31   Mihail   init commit - bas...
214
  
d7f6bdbb   Mihail   add Importers fil...
215
216
217
218
219
220
              }
  
  
          }
  
      }
58743b31   Mihail   init commit - bas...
221
  
2fb5a757   Mihail   add menu and chec...
222
223
      public function actionCheck_price ()
      {
3b7211a0   Mihail   change query for ...
224
225
          //$query = (new Query())->select('*')->from('{{%importer_files}}')->where(['not', ['time_end' => null]])->orderBy(['upload_time' => SORT_DESC]);
          $query = Importer::find()->where(['active' => true])->orderBy(['price_date_update' => SORT_DESC]);
2fb5a757   Mihail   add menu and chec...
226
227
228
229
230
231
232
233
234
235
236
  
          $provider = new ActiveDataProvider([
              'query' => $query,
              'pagination' => [
                  'pageSize' => 10,
              ],
          ]);
          return $this->render('checkPrice',
              [
                  'dataProvider' => $provider]);
      }
58743b31   Mihail   init commit - bas...
237
  }