Blame view

console/controllers/ParserController.php 10.7 KB
f0dbd829   Mihail   add PriceWriter a...
1
  <?php
db543d22   Mihail   temp commit - wor...
2
3
  namespace console\controllers;
  
d73ee737   Mihail   finish with mail ...
4
  use common\components\archives\ArchiveCreator;
78684ed4   Mihail   add multiply pric...
5
  use common\components\CustomVarDamp;
8b0defd0   Mihail   add mails classes
6
7
  use common\components\mail\ImapMailReader;
  use common\components\mail\MailAttachmentsSaver;
f0dbd829   Mihail   add PriceWriter a...
8
  use yii\console\Controller;
1fe29bbe   Mihail   fixed parser and ...
9
10
11
  use yii\helpers\Console;
  use common\components\PriceWriter;
  use backend\models\ImportersFiles;
ef41533d   Mihail   temp commit - wor...
12
13
  use backend\models\Importers;
  use yii\base\ErrorException;
f0dbd829   Mihail   add PriceWriter a...
14
  
48b58a13   Mihail   finish with xml a...
15
16
  class ParserController extends Controller
  {
48b58a13   Mihail   finish with xml a...
17
      public function actionParseCsv()
f0dbd829   Mihail   add PriceWriter a...
18
      {
48b58a13   Mihail   finish with xml a...
19
20
21
22
          \Yii::info('Начало загрузки файлов прайсов csv', 'parser');
          foreach (glob(\Yii::getAlias('@auto_upload') . '/*.csv') as $file_path) {
              $file_name = basename($file_path, ".csv");
              \Yii::info("Обработка файла - $file_path", 'parser');
ea4ecf3d   Mihail   console csv parsing
23
              $importer_id = ImportersFiles::findOne(['id' => $file_name])->importer_id;
78684ed4   Mihail   add multiply pric...
24
25
26
27
28
29
30
31
32
              $current_importer = Importers::findOne(['id' => $importer_id]);
              $keys = $current_importer->keys;
              $mult_array = $current_importer->multiply;
  
              // получим настройки ценообразования и передадим их отдельно в конвертер
              $sign = '';
              $multiplier = '';
              extract( $mult_array );
  
ef41533d   Mihail   temp commit - wor...
33
  
ea4ecf3d   Mihail   console csv parsing
34
35
36
              $config = ['record_id' => $file_name,
                  'importer_id' => $importer_id,
                  'parser_config' => ['keys' => $keys,
78684ed4   Mihail   add multiply pric...
37
                      'converter_conf' =>
a0d1ac87   Mihail   add articul filte...
38
                      [ 'sign' => $sign, 'multiplier' => $multiplier, 'importer_id' => $importer_id ],
ea4ecf3d   Mihail   console csv parsing
39
40
                      'mode' => 'console']
              ];
48b58a13   Mihail   finish with xml a...
41
42
43
44
45
              if ($this->parseFileConsole($file_path, $config)) {
                  unlink(\Yii::getAlias('@temp_upload') . '/' . $file_name . '.csv');
                  \Yii::info("Загрузка файла - $file_path успешно завершена", 'parser');
              } else {
                  \Yii::error("Загрузка файла - $file_path завершена с ошибкой", 'parser');
ea4ecf3d   Mihail   console csv parsing
46
              }
48b58a13   Mihail   finish with xml a...
47
48
              //при любом завершении скрипта файл с очереди автозагрузки нужно удалить
              unlink(\Yii::getAlias('@auto_upload') . '/' . $file_name . '.csv');
ea4ecf3d   Mihail   console csv parsing
49
          }
ef41533d   Mihail   temp commit - wor...
50
  
f0dbd829   Mihail   add PriceWriter a...
51
      }
ef41533d   Mihail   temp commit - wor...
52
  
f0dbd829   Mihail   add PriceWriter a...
53
  
1fe29bbe   Mihail   fixed parser and ...
54
      protected function parseFileConsole( $file_path, $configuration ){
ef41533d   Mihail   temp commit - wor...
55
56
  
          if( !file_exists( $file_path ) )
ea4ecf3d   Mihail   console csv parsing
57
              throw new ErrorException("$file_path - файл не найден!");
ef41533d   Mihail   temp commit - wor...
58
  
1fe29bbe   Mihail   fixed parser and ...
59
60
61
62
          $parser_config = [];
          if ( isset( $configuration['parser_config'] ) ) {
              $parser_config = $configuration['parser_config'];
          }
ef41533d   Mihail   temp commit - wor...
63
          $data = \Yii::$app->multiparser->parse( $file_path, $parser_config );
78684ed4   Mihail   add multiply pric...
64
          if ( ! $data ) {
78fd7100   Mihail   add XlsxParser
65
              throw new ErrorException("Ошибка обработки файла прайса!");
ea4ecf3d   Mihail   console csv parsing
66
          }
f0dbd829   Mihail   add PriceWriter a...
67
  
1fe29bbe   Mihail   fixed parser and ...
68
69
70
71
          $writer = new PriceWriter();
          $writer->configuration = $configuration;
          $writer->data = $data;
          $writer->mode = 1; //console-режим
ea4ecf3d   Mihail   console csv parsing
72
  
1fe29bbe   Mihail   fixed parser and ...
73
          if ( $writer->writeDataToDB() ){
ea4ecf3d   Mihail   console csv parsing
74
  
1fe29bbe   Mihail   fixed parser and ...
75
76
              return true;
          }
f0dbd829   Mihail   add PriceWriter a...
77
  
1fe29bbe   Mihail   fixed parser and ...
78
          return false;
f0dbd829   Mihail   add PriceWriter a...
79
      }
db543d22   Mihail   temp commit - wor...
80
  
ea4ecf3d   Mihail   console csv parsing
81
82
      public function actionParseXml ()
      {
48b58a13   Mihail   finish with xml a...
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
           \Yii::info('Начало загрузки файлов прайсов xml', 'parser');
          foreach (glob(\Yii::getAlias('@auto_upload') . '/*.xml') as $file_path) {
              $file_name = basename($file_path, ".xml");
                    \Yii::info("Обработка файла - $file_path", 'parser');
  
              $files_model = new ImportersFiles();
              // id поставщика всегда = 1 - Склад
              $files_model->importer_id = 1;
              try {
                  $files_model->save();
              } catch (ErrorException  $e) {
                  throw $e;
              }
              // получим id только что записанной записи
              $record_id = $files_model->find()
                  ->where(['importer_id' => $files_model->importer_id])
                  ->orderBy(['id' => SORT_DESC])
                  ->one()
                  ->id;
  
              $config = ['record_id' => $record_id,
                  'importer_id' => 1,
                  'parser_config' => [
                      'mode' => 'console']
              ];
ea4ecf3d   Mihail   console csv parsing
108
  
48b58a13   Mihail   finish with xml a...
109
              if ($this->parseFileConsole($file_path, $config)) {
78fd7100   Mihail   add XlsxParser
110
                  //unlink(\Yii::getAlias('@auto_upload') . '/' . $file_name . '.xml');
48b58a13   Mihail   finish with xml a...
111
112
113
114
115
                          \Yii::info("Загрузка файла - $file_path успешно завершена", 'parser');
              } else {
                          \Yii::error("Загрузка файла - $file_path завершена с ошибкой", 'parser');
              }
          }
ea4ecf3d   Mihail   console csv parsing
116
117
      }
  
48b58a13   Mihail   finish with xml a...
118
      public function actionTest()
db543d22   Mihail   temp commit - wor...
119
      {
8f043ab6   Mihail   add classes to wo...
120
          Console::output('It is working');
48b58a13   Mihail   finish with xml a...
121
          \Yii::info('2', 'parser');
db543d22   Mihail   temp commit - wor...
122
123
  
      }
8b0defd0   Mihail   add mails classes
124
125
126
127
128
  
      public function actionSaveMailAttachments()
      {
          \Yii::info('Начало сохранения файлов почты', 'mail');
  
d73ee737   Mihail   finish with mail ...
129
130
131
          // получим разделитель для файлов поставщика
          $importer_id_prefix = ImportersFiles::FILES_PREFIX;
          // подключимся к ящику
8b0defd0   Mihail   add mails classes
132
          $mail_reader = new ImapMailReader( '{imap.gmail.com:993/imap/ssl/novalidate-cert}', 'tsurkanovm@gmail.com', 'Wtvr@2000' );
d73ee737   Mihail   finish with mail ...
133
          // получим все внутренние ящики (по ярлыкам)
8b0defd0   Mihail   add mails classes
134
          $mailboxes = $mail_reader->getListMailboxes();
d73ee737   Mihail   finish with mail ...
135
136
          // очистим массив в котором в итоге окажуться все файлы вложений, а также распакованные файлы из архивов
          $files = [];
8f043ab6   Mihail   add classes to wo...
137
          foreach ( $mailboxes as $custom_label ) {
d73ee737   Mihail   finish with mail ...
138
139
              // получим поставщика исходя из маски ярлыка
              $importer_id = ImportersFiles::getIdFromMailBox( $mail_reader->getHostname(), $custom_label );
8b0defd0   Mihail   add mails classes
140
  
d73ee737   Mihail   finish with mail ...
141
              // читаем письма конкретного ярлыка
8f043ab6   Mihail   add classes to wo...
142
              $mail_reader->reOpen( $custom_label );
d73ee737   Mihail   finish with mail ...
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
              // создадим сейвер вложений для данного ярлыка (ящика)
              $saver = new MailAttachmentsSaver( $mail_reader );
              // если данный ярлык содержит id поставщика, то все вложения нужно промаркировать (в начало файла добавить id поставщика + разделитель $importer_id_prefix)
              if ( $importer_id ) {
                  $saver->setFileNamePrefix(  $importer_id . $importer_id_prefix );
                  //    $importer_id = '';
              }
              // сохраняем вложения
              if( $saver->saveAttachmentsTo(\Yii::getAlias('@temp_upload'), 'UNSEEN') ){
                  // закидываем вытащенные файлы в наш итоговый массив
                  $files = array_merge( $files, $saver->getSavedFilesArr() );
              }else{
                  // ящик не имеет писем с вложениями
                  continue;
              }
8b0defd0   Mihail   add mails classes
158
  
8b0defd0   Mihail   add mails classes
159
160
          }
  
d73ee737   Mihail   finish with mail ...
161
162
163
164
165
166
167
          if ( !$files ) {
              // нет файлов в ящиках (не было вложений в письмах)
              return;
          }
  
          // если в вложениях встречаются архивы - распакуем
          // иициируем фабрику архиваторов
8f043ab6   Mihail   add classes to wo...
168
          $arch_creator = new ArchiveCreator();
d73ee737   Mihail   finish with mail ...
169
          // получим все расширения которые поддерживает фабрика
8f043ab6   Mihail   add classes to wo...
170
          $arch_extensions = $arch_creator->getHandleExtension();
d73ee737   Mihail   finish with mail ...
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
          // выбираем только те файлы которые мы можем распаковать
          $arch_files = array_intersect( $files , $arch_extensions );
          foreach ($arch_files as $arch_name => $arch_ext) {
              // создаем конкретный архиватор по расширению
              $arch_reader = $arch_creator->create( $arch_name, $arch_ext );
              // определим ид поставщика по имени файла
              $importer_id = ImportersFiles::getIdFromFileName($arch_name);
              if( $importer_id ){
                  // если файл архива содержит поставщика (на предыдущих этапах мы его туда записали)
                  // то нужно все вложенные файлы также промаркировать
                  $arch_reader->setFileNamePrefix($importer_id . $importer_id_prefix);
                  //$importer_id = '';
              }
  
              // распаковываем файлы
              $arch_reader->extractTo(\Yii::getAlias('@temp_upload') . '/');
              // убираем файл архива из итогового массива
8f043ab6   Mihail   add classes to wo...
188
              unset( $files[$arch_name] );
d73ee737   Mihail   finish with mail ...
189
190
191
              // удаляем файл архива
              unlink($arch_name);
              // добавляем распакованные файлы к итоговому массиву
8f043ab6   Mihail   add classes to wo...
192
193
194
              $files = array_merge( $files, $arch_reader->getExtractedFiles());
          }
  
d73ee737   Mihail   finish with mail ...
195
196
          // укажем папку куда нужно скопировать все извлеченные вложения
          $new_destination = \Yii::getAlias('@auto_upload')  . '/';
c4da20f0   Mihail   temp commit - tes...
197
          foreach ( $files as $name => $ext ) {
d73ee737   Mihail   finish with mail ...
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
              // имена файлов для расширения csv нужно поменять, для остальных оставляем оригинальные имена вложений (плюс ид поставщика если письмо от поставщика)
              $file_name = pathinfo( $name, PATHINFO_BASENAME );
              if( $ext == 'csv' ){
                  // определим ид поставщика по имени файла
                  $importer_id = ImportersFiles::getIdFromFileName( basename( $name ) );;
  
                  // зарегистрируем прайс
                  if ( $importer_id ) {
                      $files_model = new ImportersFiles();
                      $files_model->importer_id = $importer_id;
                      if ($files_model->save()) {
                          // имя файла переименуем на id записи
                          $file_name = \Yii::$app->db->getLastInsertID() . '.csv';
  
                      } else{
  
                          $files_model->throwStringErrorException();
                      }
                  }
  
              }
              if( rename( $name, $new_destination . $file_name ) ){
                  \Yii::info('Вложение {$name} сохранено', 'mail');
8f043ab6   Mihail   add classes to wo...
221
  
d73ee737   Mihail   finish with mail ...
222
223
              } else{
                  new \ErrorException("Нет возможности переписать файл {$name}");
c4da20f0   Mihail   temp commit - tes...
224
              }
8f043ab6   Mihail   add classes to wo...
225
  
8f043ab6   Mihail   add classes to wo...
226
          }
8b0defd0   Mihail   add mails classes
227
  
d73ee737   Mihail   finish with mail ...
228
  
8b0defd0   Mihail   add mails classes
229
      }
f0dbd829   Mihail   add PriceWriter a...
230
  }