Blame view

console/controllers/ParserController.php 6.7 KB
2edfb901   Mihail   add PriceWriter a...
1
  <?php
2d10c44d   Mihail   temp commit - wor...
2
3
  namespace console\controllers;
  
57e5a4b9   Mihail   add classes to wo...
4
  use common\components\archive_reader\ArchiveCreator;
d3cf6647   Mihail   add multiply pric...
5
  use common\components\CustomVarDamp;
7f6a9301   Mihail   add mails classes
6
7
  use common\components\mail\ImapMailReader;
  use common\components\mail\MailAttachmentsSaver;
2edfb901   Mihail   add PriceWriter a...
8
  use yii\console\Controller;
93e39994   Mihail   fixed parser and ...
9
10
11
  use yii\helpers\Console;
  use common\components\PriceWriter;
  use backend\models\ImportersFiles;
34d480b7   Mihail   temp commit - wor...
12
13
  use backend\models\Importers;
  use yii\base\ErrorException;
2edfb901   Mihail   add PriceWriter a...
14
  
0bec979b   Mihail   finish with xml a...
15
16
  class ParserController extends Controller
  {
0bec979b   Mihail   finish with xml a...
17
      public function actionParseCsv()
2edfb901   Mihail   add PriceWriter a...
18
      {
0bec979b   Mihail   finish with xml a...
19
20
21
22
          \Yii::info('Начало загрузки файлов прайсов csv', 'parser');
          foreach (glob(\Yii::getAlias('@auto_upload') . '/*.csv') as $file_path) {
              $file_name = basename($file_path, ".csv");
              \Yii::info("Обработка файла - $file_path", 'parser');
df629228   Mihail   console csv parsing
23
              $importer_id = ImportersFiles::findOne(['id' => $file_name])->importer_id;
d3cf6647   Mihail   add multiply pric...
24
25
26
27
28
29
30
31
32
              $current_importer = Importers::findOne(['id' => $importer_id]);
              $keys = $current_importer->keys;
              $mult_array = $current_importer->multiply;
  
              // получим настройки ценообразования и передадим их отдельно в конвертер
              $sign = '';
              $multiplier = '';
              extract( $mult_array );
  
34d480b7   Mihail   temp commit - wor...
33
  
df629228   Mihail   console csv parsing
34
35
36
              $config = ['record_id' => $file_name,
                  'importer_id' => $importer_id,
                  'parser_config' => ['keys' => $keys,
d3cf6647   Mihail   add multiply pric...
37
                      'converter_conf' =>
e9f5784a   Administrator   upload project
38
39
                      ['sign' => $sign,
                      'multiplier' => $multiplier],
df629228   Mihail   console csv parsing
40
41
                      'mode' => 'console']
              ];
0bec979b   Mihail   finish with xml a...
42
43
44
45
46
              if ($this->parseFileConsole($file_path, $config)) {
                  unlink(\Yii::getAlias('@temp_upload') . '/' . $file_name . '.csv');
                  \Yii::info("Загрузка файла - $file_path успешно завершена", 'parser');
              } else {
                  \Yii::error("Загрузка файла - $file_path завершена с ошибкой", 'parser');
df629228   Mihail   console csv parsing
47
              }
0bec979b   Mihail   finish with xml a...
48
49
              //при любом завершении скрипта файл с очереди автозагрузки нужно удалить
              unlink(\Yii::getAlias('@auto_upload') . '/' . $file_name . '.csv');
df629228   Mihail   console csv parsing
50
          }
34d480b7   Mihail   temp commit - wor...
51
  
2edfb901   Mihail   add PriceWriter a...
52
      }
34d480b7   Mihail   temp commit - wor...
53
  
2edfb901   Mihail   add PriceWriter a...
54
  
93e39994   Mihail   fixed parser and ...
55
      protected function parseFileConsole( $file_path, $configuration ){
34d480b7   Mihail   temp commit - wor...
56
57
  
          if( !file_exists( $file_path ) )
df629228   Mihail   console csv parsing
58
              throw new ErrorException("$file_path - файл не найден!");
34d480b7   Mihail   temp commit - wor...
59
  
93e39994   Mihail   fixed parser and ...
60
61
62
63
          $parser_config = [];
          if ( isset( $configuration['parser_config'] ) ) {
              $parser_config = $configuration['parser_config'];
          }
34d480b7   Mihail   temp commit - wor...
64
          $data = \Yii::$app->multiparser->parse( $file_path, $parser_config );
d3cf6647   Mihail   add multiply pric...
65
          if ( ! $data ) {
3c4b566f   Mihail   add XlsxParser
66
              throw new ErrorException("Ошибка обработки файла прайса!");
df629228   Mihail   console csv parsing
67
          }
2edfb901   Mihail   add PriceWriter a...
68
  
93e39994   Mihail   fixed parser and ...
69
70
71
72
          $writer = new PriceWriter();
          $writer->configuration = $configuration;
          $writer->data = $data;
          $writer->mode = 1; //console-режим
df629228   Mihail   console csv parsing
73
  
93e39994   Mihail   fixed parser and ...
74
          if ( $writer->writeDataToDB() ){
df629228   Mihail   console csv parsing
75
  
93e39994   Mihail   fixed parser and ...
76
77
              return true;
          }
2edfb901   Mihail   add PriceWriter a...
78
  
93e39994   Mihail   fixed parser and ...
79
          return false;
2edfb901   Mihail   add PriceWriter a...
80
      }
2d10c44d   Mihail   temp commit - wor...
81
  
df629228   Mihail   console csv parsing
82
83
      public function actionParseXml ()
      {
0bec979b   Mihail   finish with xml a...
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
           \Yii::info('Начало загрузки файлов прайсов xml', 'parser');
          foreach (glob(\Yii::getAlias('@auto_upload') . '/*.xml') as $file_path) {
              $file_name = basename($file_path, ".xml");
                    \Yii::info("Обработка файла - $file_path", 'parser');
  
              $files_model = new ImportersFiles();
              // id поставщика всегда = 1 - Склад
              $files_model->importer_id = 1;
              try {
                  $files_model->save();
              } catch (ErrorException  $e) {
                  throw $e;
              }
              // получим id только что записанной записи
              $record_id = $files_model->find()
                  ->where(['importer_id' => $files_model->importer_id])
                  ->orderBy(['id' => SORT_DESC])
                  ->one()
                  ->id;
  
              $config = ['record_id' => $record_id,
                  'importer_id' => 1,
                  'parser_config' => [
                      'mode' => 'console']
              ];
df629228   Mihail   console csv parsing
109
  
0bec979b   Mihail   finish with xml a...
110
              if ($this->parseFileConsole($file_path, $config)) {
3c4b566f   Mihail   add XlsxParser
111
                  //unlink(\Yii::getAlias('@auto_upload') . '/' . $file_name . '.xml');
0bec979b   Mihail   finish with xml a...
112
113
114
115
116
                          \Yii::info("Загрузка файла - $file_path успешно завершена", 'parser');
              } else {
                          \Yii::error("Загрузка файла - $file_path завершена с ошибкой", 'parser');
              }
          }
df629228   Mihail   console csv parsing
117
118
      }
  
0bec979b   Mihail   finish with xml a...
119
      public function actionTest()
2d10c44d   Mihail   temp commit - wor...
120
      {
57e5a4b9   Mihail   add classes to wo...
121
          Console::output('It is working');
0bec979b   Mihail   finish with xml a...
122
          \Yii::info('2', 'parser');
2d10c44d   Mihail   temp commit - wor...
123
124
  
      }
7f6a9301   Mihail   add mails classes
125
126
127
128
129
130
131
  
      public function actionSaveMailAttachments()
      {
          \Yii::info('Начало сохранения файлов почты', 'mail');
  
          $mail_reader = new ImapMailReader( '{imap.gmail.com:993/imap/ssl/novalidate-cert}', 'tsurkanovm@gmail.com', 'Wtvr@2000' );
          $mailboxes = $mail_reader->getListMailboxes();
57e5a4b9   Mihail   add classes to wo...
132
133
134
          foreach ( $mailboxes as $custom_label ) {
              $words = explode(" ",str_replace( array($mail_reader->getHostname(),"!"),"",imap_utf7_decode($custom_label)) );
              $importer_id = (int)preg_replace("/[^A-Z0-9]+/","", strtoupper($words[0]));
7f6a9301   Mihail   add mails classes
135
  
57e5a4b9   Mihail   add classes to wo...
136
              $mail_reader->reOpen( $custom_label );
7f6a9301   Mihail   add mails classes
137
138
139
140
              $saver = new MailAttachmentsSaver( $mail_reader, 'UNSEEN' );
              $saver->file_name_parefix = $importer_id . '~!~';
              $saver->saveAttachmentsTo(\Yii::getAlias('@temp_upload'));
  
7f6a9301   Mihail   add mails classes
141
142
          }
  
57e5a4b9   Mihail   add classes to wo...
143
144
145
146
147
148
149
150
151
152
153
          $files = $saver->getSavedFilesArr();
          $arch_creator = new ArchiveCreator();
          $arch_extensions = $arch_creator->getHandleExtension();
          $files_on_unpack = array_intersect( $files , $arch_extensions );
          foreach ($files_on_unpack as $arch_ext => $arch_name) {
              $arch_reader = $arch_creator->create( $arch_name, $arch_ext);
              $arch_reader->extractTo(\Yii::getAlias('@temp_upload'));
              unset( $files[$arch_name] );
              $files = array_merge( $files, $arch_reader->getExtractedFiles());
          }
  
4f3f27e8   Mihail   temp commit - tes...
154
155
156
157
158
159
160
161
          foreach ( $files as $name => $ext ) {
              $file_name = '';
              if( $ext = 'csv' ){
                  $files_model = new ImportersFiles();
                  $files_model->importer_id = $importer_id;
                  if ($files_model->save()) {
                      $file_name = \Yii::$app->db->getLastInsertID();
                  } // обработчик ошибки !!!!!
57e5a4b9   Mihail   add classes to wo...
162
  
4f3f27e8   Mihail   temp commit - tes...
163
              }
57e5a4b9   Mihail   add classes to wo...
164
  
4f3f27e8   Mihail   temp commit - tes...
165
              // переписываем файл в автолоад папку, и переименовываем если указано имя
57e5a4b9   Mihail   add classes to wo...
166
          }
7f6a9301   Mihail   add mails classes
167
168
  
      }
2edfb901   Mihail   add PriceWriter a...
169
  }