f0dbd829
Mihail
add PriceWriter a...
|
1
|
<?php
|
db543d22
Mihail
temp commit - wor...
|
2
3
|
namespace console\controllers;
|
d73ee737
Mihail
finish with mail ...
|
4
|
use common\components\archives\ArchiveCreator;
|
78684ed4
Mihail
add multiply pric...
|
5
|
use common\components\CustomVarDamp;
|
8b0defd0
Mihail
add mails classes
|
6
7
|
use common\components\mail\ImapMailReader;
use common\components\mail\MailAttachmentsSaver;
|
f0dbd829
Mihail
add PriceWriter a...
|
8
|
use yii\console\Controller;
|
1fe29bbe
Mihail
fixed parser and ...
|
9
10
11
|
use yii\helpers\Console;
use common\components\PriceWriter;
use backend\models\ImportersFiles;
|
ef41533d
Mihail
temp commit - wor...
|
12
13
|
use backend\models\Importers;
use yii\base\ErrorException;
|
f0dbd829
Mihail
add PriceWriter a...
|
14
|
|
48b58a13
Mihail
finish with xml a...
|
15
16
|
class ParserController extends Controller
{
|
48b58a13
Mihail
finish with xml a...
|
17
|
public function actionParseCsv()
|
f0dbd829
Mihail
add PriceWriter a...
|
18
|
{
|
48b58a13
Mihail
finish with xml a...
|
19
20
21
22
|
\Yii::info('Начало загрузки файлов прайсов csv', 'parser');
foreach (glob(\Yii::getAlias('@auto_upload') . '/*.csv') as $file_path) {
$file_name = basename($file_path, ".csv");
\Yii::info("Обработка файла - $file_path", 'parser');
|
ea4ecf3d
Mihail
console csv parsing
|
23
|
$importer_id = ImportersFiles::findOne(['id' => $file_name])->importer_id;
|
78684ed4
Mihail
add multiply pric...
|
24
25
26
27
28
29
30
31
32
|
$current_importer = Importers::findOne(['id' => $importer_id]);
$keys = $current_importer->keys;
$mult_array = $current_importer->multiply;
// получим настройки ценообразования и передадим их отдельно в конвертер
$sign = '';
$multiplier = '';
extract( $mult_array );
|
ef41533d
Mihail
temp commit - wor...
|
33
|
|
ea4ecf3d
Mihail
console csv parsing
|
34
35
36
|
$config = ['record_id' => $file_name,
'importer_id' => $importer_id,
'parser_config' => ['keys' => $keys,
|
78684ed4
Mihail
add multiply pric...
|
37
|
'converter_conf' =>
|
a0d1ac87
Mihail
add articul filte...
|
38
|
[ 'sign' => $sign, 'multiplier' => $multiplier, 'importer_id' => $importer_id ],
|
ea4ecf3d
Mihail
console csv parsing
|
39
40
|
'mode' => 'console']
];
|
48b58a13
Mihail
finish with xml a...
|
41
42
43
44
45
|
if ($this->parseFileConsole($file_path, $config)) {
unlink(\Yii::getAlias('@temp_upload') . '/' . $file_name . '.csv');
\Yii::info("Загрузка файла - $file_path успешно завершена", 'parser');
} else {
\Yii::error("Загрузка файла - $file_path завершена с ошибкой", 'parser');
|
ea4ecf3d
Mihail
console csv parsing
|
46
|
}
|
48b58a13
Mihail
finish with xml a...
|
47
48
|
//при любом завершении скрипта файл с очереди автозагрузки нужно удалить
unlink(\Yii::getAlias('@auto_upload') . '/' . $file_name . '.csv');
|
ea4ecf3d
Mihail
console csv parsing
|
49
|
}
|
ef41533d
Mihail
temp commit - wor...
|
50
|
|
f0dbd829
Mihail
add PriceWriter a...
|
51
|
}
|
ef41533d
Mihail
temp commit - wor...
|
52
|
|
f0dbd829
Mihail
add PriceWriter a...
|
53
|
|
1fe29bbe
Mihail
fixed parser and ...
|
54
|
protected function parseFileConsole( $file_path, $configuration ){
|
ef41533d
Mihail
temp commit - wor...
|
55
56
|
if( !file_exists( $file_path ) )
|
ea4ecf3d
Mihail
console csv parsing
|
57
|
throw new ErrorException("$file_path - файл не найден!");
|
ef41533d
Mihail
temp commit - wor...
|
58
|
|
1fe29bbe
Mihail
fixed parser and ...
|
59
60
61
62
|
$parser_config = [];
if ( isset( $configuration['parser_config'] ) ) {
$parser_config = $configuration['parser_config'];
}
|
ef41533d
Mihail
temp commit - wor...
|
63
|
$data = \Yii::$app->multiparser->parse( $file_path, $parser_config );
|
78684ed4
Mihail
add multiply pric...
|
64
|
if ( ! $data ) {
|
78fd7100
Mihail
add XlsxParser
|
65
|
throw new ErrorException("Ошибка обработки файла прайса!");
|
ea4ecf3d
Mihail
console csv parsing
|
66
|
}
|
f0dbd829
Mihail
add PriceWriter a...
|
67
|
|
1fe29bbe
Mihail
fixed parser and ...
|
68
69
70
71
|
$writer = new PriceWriter();
$writer->configuration = $configuration;
$writer->data = $data;
$writer->mode = 1; //console-режим
|
ea4ecf3d
Mihail
console csv parsing
|
72
|
|
1fe29bbe
Mihail
fixed parser and ...
|
73
|
if ( $writer->writeDataToDB() ){
|
ea4ecf3d
Mihail
console csv parsing
|
74
|
|
1fe29bbe
Mihail
fixed parser and ...
|
75
76
|
return true;
}
|
f0dbd829
Mihail
add PriceWriter a...
|
77
|
|
1fe29bbe
Mihail
fixed parser and ...
|
78
|
return false;
|
f0dbd829
Mihail
add PriceWriter a...
|
79
|
}
|
db543d22
Mihail
temp commit - wor...
|
80
|
|
ea4ecf3d
Mihail
console csv parsing
|
81
82
|
public function actionParseXml ()
{
|
48b58a13
Mihail
finish with xml a...
|
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
|
\Yii::info('Начало загрузки файлов прайсов xml', 'parser');
foreach (glob(\Yii::getAlias('@auto_upload') . '/*.xml') as $file_path) {
$file_name = basename($file_path, ".xml");
\Yii::info("Обработка файла - $file_path", 'parser');
$files_model = new ImportersFiles();
// id поставщика всегда = 1 - Склад
$files_model->importer_id = 1;
try {
$files_model->save();
} catch (ErrorException $e) {
throw $e;
}
// получим id только что записанной записи
$record_id = $files_model->find()
->where(['importer_id' => $files_model->importer_id])
->orderBy(['id' => SORT_DESC])
->one()
->id;
$config = ['record_id' => $record_id,
'importer_id' => 1,
'parser_config' => [
'mode' => 'console']
];
|
ea4ecf3d
Mihail
console csv parsing
|
108
|
|
48b58a13
Mihail
finish with xml a...
|
109
|
if ($this->parseFileConsole($file_path, $config)) {
|
78fd7100
Mihail
add XlsxParser
|
110
|
//unlink(\Yii::getAlias('@auto_upload') . '/' . $file_name . '.xml');
|
48b58a13
Mihail
finish with xml a...
|
111
112
113
114
115
|
\Yii::info("Загрузка файла - $file_path успешно завершена", 'parser');
} else {
\Yii::error("Загрузка файла - $file_path завершена с ошибкой", 'parser');
}
}
|
ea4ecf3d
Mihail
console csv parsing
|
116
117
|
}
|
48b58a13
Mihail
finish with xml a...
|
118
|
public function actionTest()
|
db543d22
Mihail
temp commit - wor...
|
119
|
{
|
8f043ab6
Mihail
add classes to wo...
|
120
|
Console::output('It is working');
|
48b58a13
Mihail
finish with xml a...
|
121
|
\Yii::info('2', 'parser');
|
db543d22
Mihail
temp commit - wor...
|
122
123
|
}
|
8b0defd0
Mihail
add mails classes
|
124
125
126
127
128
|
public function actionSaveMailAttachments()
{
\Yii::info('Начало сохранения файлов почты', 'mail');
|
d73ee737
Mihail
finish with mail ...
|
129
130
131
|
// получим разделитель для файлов поставщика
$importer_id_prefix = ImportersFiles::FILES_PREFIX;
// подключимся к ящику
|
8b0defd0
Mihail
add mails classes
|
132
|
$mail_reader = new ImapMailReader( '{imap.gmail.com:993/imap/ssl/novalidate-cert}', 'tsurkanovm@gmail.com', 'Wtvr@2000' );
|
d73ee737
Mihail
finish with mail ...
|
133
|
// получим все внутренние ящики (по ярлыкам)
|
8b0defd0
Mihail
add mails classes
|
134
|
$mailboxes = $mail_reader->getListMailboxes();
|
d73ee737
Mihail
finish with mail ...
|
135
136
|
// очистим массив в котором в итоге окажуться все файлы вложений, а также распакованные файлы из архивов
$files = [];
|
8f043ab6
Mihail
add classes to wo...
|
137
|
foreach ( $mailboxes as $custom_label ) {
|
d73ee737
Mihail
finish with mail ...
|
138
139
|
// получим поставщика исходя из маски ярлыка
$importer_id = ImportersFiles::getIdFromMailBox( $mail_reader->getHostname(), $custom_label );
|
8b0defd0
Mihail
add mails classes
|
140
|
|
d73ee737
Mihail
finish with mail ...
|
141
|
// читаем письма конкретного ярлыка
|
8f043ab6
Mihail
add classes to wo...
|
142
|
$mail_reader->reOpen( $custom_label );
|
d73ee737
Mihail
finish with mail ...
|
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
|
// создадим сейвер вложений для данного ярлыка (ящика)
$saver = new MailAttachmentsSaver( $mail_reader );
// если данный ярлык содержит id поставщика, то все вложения нужно промаркировать (в начало файла добавить id поставщика + разделитель $importer_id_prefix)
if ( $importer_id ) {
$saver->setFileNamePrefix( $importer_id . $importer_id_prefix );
// $importer_id = '';
}
// сохраняем вложения
if( $saver->saveAttachmentsTo(\Yii::getAlias('@temp_upload'), 'UNSEEN') ){
// закидываем вытащенные файлы в наш итоговый массив
$files = array_merge( $files, $saver->getSavedFilesArr() );
}else{
// ящик не имеет писем с вложениями
continue;
}
|
8b0defd0
Mihail
add mails classes
|
158
|
|
8b0defd0
Mihail
add mails classes
|
159
160
|
}
|
d73ee737
Mihail
finish with mail ...
|
161
162
163
164
165
166
167
|
if ( !$files ) {
// нет файлов в ящиках (не было вложений в письмах)
return;
}
// если в вложениях встречаются архивы - распакуем
// иициируем фабрику архиваторов
|
8f043ab6
Mihail
add classes to wo...
|
168
|
$arch_creator = new ArchiveCreator();
|
d73ee737
Mihail
finish with mail ...
|
169
|
// получим все расширения которые поддерживает фабрика
|
8f043ab6
Mihail
add classes to wo...
|
170
|
$arch_extensions = $arch_creator->getHandleExtension();
|
d73ee737
Mihail
finish with mail ...
|
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
|
// выбираем только те файлы которые мы можем распаковать
$arch_files = array_intersect( $files , $arch_extensions );
foreach ($arch_files as $arch_name => $arch_ext) {
// создаем конкретный архиватор по расширению
$arch_reader = $arch_creator->create( $arch_name, $arch_ext );
// определим ид поставщика по имени файла
$importer_id = ImportersFiles::getIdFromFileName($arch_name);
if( $importer_id ){
// если файл архива содержит поставщика (на предыдущих этапах мы его туда записали)
// то нужно все вложенные файлы также промаркировать
$arch_reader->setFileNamePrefix($importer_id . $importer_id_prefix);
//$importer_id = '';
}
// распаковываем файлы
$arch_reader->extractTo(\Yii::getAlias('@temp_upload') . '/');
// убираем файл архива из итогового массива
|
8f043ab6
Mihail
add classes to wo...
|
188
|
unset( $files[$arch_name] );
|
d73ee737
Mihail
finish with mail ...
|
189
190
191
|
// удаляем файл архива
unlink($arch_name);
// добавляем распакованные файлы к итоговому массиву
|
8f043ab6
Mihail
add classes to wo...
|
192
193
194
|
$files = array_merge( $files, $arch_reader->getExtractedFiles());
}
|
d73ee737
Mihail
finish with mail ...
|
195
196
|
// укажем папку куда нужно скопировать все извлеченные вложения
$new_destination = \Yii::getAlias('@auto_upload') . '/';
|
c4da20f0
Mihail
temp commit - tes...
|
197
|
foreach ( $files as $name => $ext ) {
|
d73ee737
Mihail
finish with mail ...
|
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
|
// имена файлов для расширения csv нужно поменять, для остальных оставляем оригинальные имена вложений (плюс ид поставщика если письмо от поставщика)
$file_name = pathinfo( $name, PATHINFO_BASENAME );
if( $ext == 'csv' ){
// определим ид поставщика по имени файла
$importer_id = ImportersFiles::getIdFromFileName( basename( $name ) );;
// зарегистрируем прайс
if ( $importer_id ) {
$files_model = new ImportersFiles();
$files_model->importer_id = $importer_id;
if ($files_model->save()) {
// имя файла переименуем на id записи
$file_name = \Yii::$app->db->getLastInsertID() . '.csv';
} else{
$files_model->throwStringErrorException();
}
}
}
if( rename( $name, $new_destination . $file_name ) ){
\Yii::info('Вложение {$name} сохранено', 'mail');
|
8f043ab6
Mihail
add classes to wo...
|
221
|
|
d73ee737
Mihail
finish with mail ...
|
222
223
|
} else{
new \ErrorException("Нет возможности переписать файл {$name}");
|
c4da20f0
Mihail
temp commit - tes...
|
224
|
}
|
8f043ab6
Mihail
add classes to wo...
|
225
|
|
8f043ab6
Mihail
add classes to wo...
|
226
|
}
|
8b0defd0
Mihail
add mails classes
|
227
|
|
d73ee737
Mihail
finish with mail ...
|
228
|
|
8b0defd0
Mihail
add mails classes
|
229
|
}
|
f0dbd829
Mihail
add PriceWriter a...
|
230
|
}
|