>>29228
в доках питона есть примерный код функции combinations
https://docs.python.org/2/library/itertools.html

itertools.combinations(iterable, r)
Return r length subsequences of elements from the input iterable.

Combinations are emitted in lexicographic sort order. So, if the input iterable is sorted, the combination tuples will be produced in sorted order.

Elements are treated as unique based on their position, not on their value. So if the input elements are unique, there will be no repeat values in each combination.

Roughly equivalent to:

def combinations(iterable, r):
# combinations('ABCD', 2) --> AB AC AD BC BD CD
# combinations(range(4), 3) --> 012 013 023 123
pool = tuple(iterable)
n = len(pool)
if r > n:
return
indices = range(r)
yield tuple(pool for i in indices)
while True:
for i in reversed(range(r)):
if indices != i + n - r:
break
else:
return
indices += 1
for j in range(i+1, r):
indices[j] = indices[j-1] + 1
yield tuple(pool for i in indices)

Привет, анон.
Прошу помощи в одной задачке. Есть всякие лог файлы, в которых вперемешку идут сообщения. Задача в том, чтобы по некоему ID сообщения необходимо найти сообщения отправки и получения ответа от сервера, связать их, посчитать задержку и распарсить xml запроса и ответа.
С парсом xml вопросов нет, это я сделал, равно как и найти начало сообщения. Суть в том, как мне найти и закинуть в какую-нибудь временную переменную текст xml для дальнейшей обработки. Сложность заключается в том, что сообщения идут вперемешку и строка с телом xml идёт без ID, например:

09:33:17,640 [mess-id-10] Incoming message
09:33:17,642 [mess-id-1] Outgoing message
09:33:17,644 [mess-id-10] <?xml version="1.0" encoding="UTF-8"?>
---
Вот тут тело xml
---
09:33:17,645 [mess-id-6] Retrieving info
09:33:17,647 [mess-id-10] <?xml version="1.0" encoding="UTF-8"?>
-- ValidityCheck - Вот тут засада, т.к. сообщение валидации мне не нужно
09:33:17,647 [mess-id-10] Request validated
09:33:17,647 [mess-id-6] prepared XML document
09:33:17,651 [mess-id-2] <?xml version="1.0" encoding="UTF-8"?>
---
Ответ другого сообщения
---
09:33:17,651 [mess-id-2] Exit: LogHandler::invoke
09:33:17,659 [mess-id-1] <?xml version="1.0" encoding="UTF-8"?>
---
Ответ другого сообщения
---

Ну и так далее, в общем, в логах полная каша. Сложности добавляем ещё то, что ID сообщения может повторяться спустя полминуты, если предыдущее сообщение с таким же ID завершено (не важно как, успешно или нет), ну и то, что файлы размером около 500 МБ.
Как я его обрабатываю - открываю файл и ищу первую строку с текстом Incoming message, беру из неё ID сообщения, время и номер строки. Далее я вновь (sic!) открываю файл и с помощью itertools указываю строку от которой необходимо проводить поиск сообщения с таким же ID. Вот тут у меня проблема, т.к. я пока ищу конец сообщения по Outgoing message, но это неправильно, т.к. между этой строкой и телом xml-сообщения могу влезть другие сообщения. В общем, как только я нахожу конец сообщения, я распихиваю по переменным нужные мне данные и посылаю break. Закономерность такая, что тело xml-сообщения идёт сразу после строки [mess-id-1] <?xml version="1.0" encoding="UTF-8"?>, но я пытаюсь исключить из поиска ValidityCheck и у меня ничего не выходит:
for line in islice(pFs, iterBegin, None):
subLine += 1
if messageID in line and '<?xml version="1.0"' in line and 'ValidityCheck' not in next(pFs):
pass
xmlMessage = xmlMessage + str(subLine) + ' ' + line + next(pFs)
if messageID in line and messageEnd in line:
endTime = dt.strptime(line[0:12], '%H:%M:%S,%f')
Принт и так далее
break

Буду рад, если кто-нибудь поможет не кодом, так хоть логикой. Кстати, сам конец сообщения выглядит, примерно, так:
09:33:17,698 [mess-id-10] Outgoing message:
-- Тут могут быть другие строки
09:33:17,700 [mess-id-10] <?xml version="1.0" encoding="UTF-8"?>
---
XML
---
09:33:17,700 [mess-id-10] Exit: LogHandler::invoke

Т.е., по хорошему, конец сообщения мне нужно искать по 'Exit: LogHandler::invoke' с условием, что за две строки перед этим будет идти <?xml version="1.0" encoding="UTF-8"?>, а на предыдущей строке не будет ValidityCheck. Как я полагаю, мне нужно искать '<?xml version' и 'Exit: Log' с одним и тем же ID и всё, что будет между ними мне и нужно, исключая ValidityCheck, но тут мне, пожалуй, не хватает знаний в таком количестве итераций и фильтрации строк, поэтому, я буду даже рад, если кто-нибудь подскажет какой инструмент для этого лучше использовать, а дальше я сам.

Если вам кажется, что я многого прошу, то простите и не пинайте.

>>29617
>>29611
Пардон, объяснения не мой конёк. Вот лог, я из него убрал всякие данные ненужные, но суть осталась. Если посмотреть, то в нём полноценных законченных только два сообщения с ID 10 и 15. У обоих этих сообщений есть сам запрос в формате xml, валидация и ответ, тоже в формате xml. Вот мне нужно эти xml тушки вытащить и распарсить (кроме валидации), попутно замерив время между запросом и ответом. Т.е., если выполнить скрипт, то он вернёт мне информацию только по двум этим сообщениям.
Если просто пихать все строки между началом и концом сообщения в список, то скрипт нехило так память будет кушать, ИМХО.

09:33:17,640 [mess-id-10] Enter: LogHandler::invoke
09:33:17,640 [mess-id-10] Incoming SOAP request:
09:33:17,642 [mess-id-1] committing database transaction
09:33:17,642 [mess-id-1] releasing database connection
09:33:17,642 [mess-id-1] outputResponse..start
09:33:17,642 [mess-id-1] outputResponse..end
09:33:17,642 [mess-id-1] Enter: LogHandler::invoke
09:33:17,642 [mess-id-1] Outgoing SOAP response:
09:33:17,644 [mess-id-6] SUCCESS in query execution
09:33:17,644 [mess-id-6] response code from
09:33:17,644 [mess-id-6] XML API document
09:33:17,644 [mess-id-10] <?xml version="1.0" encoding="UTF-8"?>
<SOAP-ENV:Envelope xmlns:SOAP-ENV="http://schemas.xmlsoap.org/soap/envelope/"><SOAP-ENV:Body></SOAP-ENV:Body></SOAP-ENV:Envelope>
09:33:17,644 [mess-id-10] Exit: LogHandler::invoke
09:33:17,645 [mess-id-6] <?xml version="1.0" encoding="UTF-8" ?>
<response>
<document>
<DOC_NAME>doc_name</DOC_NAME>
<OPERATION>Operation</OPERATION>
<details>
<VALUE>Value</VALUE>
</details>
</document>
</response>
09:33:17,645 [mess-id-10] we don't use access rights, so allow this object
09:33:17,645 [mess-id-10] we don't use access rights, so allow this object
09:33:17,645 [mess-id-10] we don't use access rights, so allow this object
09:33:17,645 [mess-id-6] Retrieving info
09:33:17,645 [mess-id-10] XSD validation file location
09:33:17,646 [mess-id-6] Assigning query data
09:33:17,646 [mess-id-6] Assigning query data
09:33:17,647 [mess-id-10] <?xml version="1.0" encoding="UTF-8"?>
<ValidityCheck xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"></ValidityCheck>
09:33:17,647 [mess-id-10] XMLReader to be used: org.apache.xerces.parsers.SAXParser
09:33:17,647 [mess-id-10] request validated against XSD in 0 ms
09:33:17,647 [mess-id-6] processing
09:33:17,647 [mess-id-6] prepared XML document
09:33:17,647 [mess-id-6] XML API document
09:33:17,648 [mess-id-10] database connection status=OK
09:33:17,649 [mess-id-10] executing query
09:33:17,650 [mess-id-6] <?xml version="1.0" encoding="UTF-8"?>
<CHANGES_REQUEST><document><VERSION/><DOC_NAME>doc_name</DOC_NAME><OPERATION>INSERT</OPERATION><details></details></document></CHANGES_REQUEST>
09:33:17,651 [mess-id-2] <?xml version="1.0" encoding="UTF-8"?>
<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<soapenv:Body>
</soapenv:Body>
</soapenv:Envelope>
09:33:17,651 [mess-id-2] Exit: LogHandler::invoke
09:33:17,651 [mess-id-6] preparing a database call
09:33:17,651 [mess-id-6] registering parameter values for the database call
09:33:17,651 [mess-id-6] executing query
09:33:17,659 [mess-id-1] <?xml version="1.0" encoding="UTF-8"?>
<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<soapenv:Body>
</soapenv:Body>
</soapenv:Envelope>
09:33:17,659 [mess-id-1] Exit: LogHandler::invoke
09:33:17,683 [mess-id-15] Enter: LogHandler::invoke
09:33:17,683 [mess-id-15] Incoming SOAP request:
09:33:17,687 [mess-id-15] <?xml version="1.0" encoding="UTF-8"?>
<SOAP-ENV:Envelope xmlns:SOAP-ENV="http://schemas.xmlsoap.org/soap/envelope/"><SOAP-ENV:Body></SOAP-ENV:Body></SOAP-ENV:Envelope>
09:33:17,687 [mess-id-15] Exit: LogHandler::invoke
09:33:17,687 [mess-id-15] we don't use access rights, so allow this object
09:33:17,687 [mess-id-15] we don't use access rights, so allow this object
09:33:17,687 [mess-id-15] we don't use access rights, so allow this object
09:33:17,688 [mess-id-15] XSD validation file location
09:33:17,688 [mess-id-4] SUCCESS in query execution
09:33:17,688 [mess-id-4] response code from
09:33:17,688 [mess-id-4] committing database transaction
09:33:17,689 [mess-id-4] releasing database connection
09:33:17,689 [mess-id-4] outputResponse..start
09:33:17,689 [mess-id-4] outputResponse..end
09:33:17,689 [mess-id-4] Enter: LogHandler::invoke
09:33:17,689 [mess-id-4] Outgoing SOAP response:
09:33:17,689 [mess-id-15] <?xml version="1.0" encoding="UTF-8"?>
<ValidityCheck xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"><OperationConnectionInfo></OperationConnectionInfo></ValidityCheck>
09:33:17,689 [mess-id-15] XMLReader to be used: org.apache.xerces.parsers.SAXParser
09:33:17,690 [mess-id-15] request validated against XSD in 1 ms
09:33:17,691 [mess-id-15] database connection status
09:33:17,692 [mess-id-4] <?xml version="1.0" encoding="UTF-8"?>
<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<soapenv:Body>
</soapenv:Body>
</soapenv:Envelope>
09:33:17,692 [mess-id-4] Exit: LogHandler::invoke
09:33:17,694 [mess-id-15] setting
09:33:17,696 [mess-id-15] executing query
09:33:17,696 [mess-id-15] SUCCESS in query execution
09:33:17,696 [mess-id-15] response code from
09:33:17,696 [mess-id-15] committing database transaction
09:33:17,697 [mess-id-15] releasing database connection
09:33:17,697 [mess-id-15] outputResponse..start
09:33:17,697 [mess-id-15] outputResponse..end
09:33:17,697 [mess-id-15] Enter: LogHandler::invoke
09:33:17,697 [mess-id-15] Outgoing SOAP response:
09:33:17,697 [mess-id-10] SUCCESS in query execution
09:33:17,697 [mess-id-10] response code from
09:33:17,697 [mess-id-10] committing database transaction
09:33:17,698 [mess-id-10] releasing database connection
09:33:17,698 [mess-id-10] outputResponse..start
09:33:17,698 [mess-id-10] outputResponse..end
09:33:17,698 [mess-id-10] Enter: LogHandler::invoke
09:33:17,698 [mess-id-10] Outgoing SOAP response:
09:33:17,700 [mess-id-10] <?xml version="1.0" encoding="UTF-8"?>
<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<soapenv:Body>
</soapenv:Body>
</soapenv:Envelope>
09:33:17,700 [mess-id-10] Exit: LogHandler::invoke
09:33:17,700 [mess-id-15] <?xml version="1.0" encoding="UTF-8"?>
<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<soapenv:Body>
</soapenv:Body>
</soapenv:Envelope>
09:33:17,700 [mess-id-15] Exit: LogHandler::invoke