Блог

Мой файл набора данных выглядит следующим образом

 __label__ita Adesso datemi le chiavi.
__label__ara ياله من طفل محبب! يييي!
__label__eng You're a really bad bartender.
__label__epo En kiu hotelo vi restados?
__label__spa Él dijo haber perdido su vigor a los cuarenta.
__label__tat Сиңа булышмакчы идем.
__label__heb את מה פותח המפתח הזה?
__label__eng I caught a glimpse of him from the bus.
__label__eng I advise you to do that today.
__label__jpn この歌の歌い方を教えてくれますか。
__label__deu Ich habe gewusst, dass ihr Tom nicht vergessen würdet.
  

Я использую эту функцию для анализа меток первых столбцов

 def parse_labels(path):
    with open(path, 'r') as f:
        return np.array( list(map(lambda x: x[9:], f.read().decode('utf-8').split() )) )
  

итак, я разделяю строку и получаю ita метку из префикса __label__ita , например, но по какой-то причине она прерывается

 test_labels = parse_labels(args.test)
print("Test labels:%d (sample)n%s" % (len(test_labels),test_labels[:1]) )
print("labels:%s" % test_labels)
  

и я получаю

 Test labels:71828 (sample)
[u'ita']
labels:[u'ita' u'' u'' ... u'' u'' u'']
  

в то время как я должен был иметь

 [u'ita',u'ara',u'eng',...]
  

Название вашего вопроса, похоже, не соответствует содержанию, и я отвечаю на вопрос, заданный в теле. Я сделал ваш код немного более модульным и протестировал его. Возвращает желаемый список, который у вас есть в конце вопроса ( u'ita',u'ara',u'eng',...] ):

 def parse_labels(path):
    test_labels = []
    with open(path,'rb') as f:
        for line in f:
            test_labels.append(line.decode('utf-8').split(' ')[0][10:])
        return [x for x in test_labels if x] #removes empty strings
parse_labels(args.test)
  

Поскольку языковые коды имеют фиксированные смещения в каждой строке, это может быть обработано проще с помощью понимания списка. data.txt входные данные в кодировке UTF-8. Этот код будет работать в Python 2 и 3:

 from __future__ import print_function
import io

def parse_labels(path):
    with io.open(path,encoding='utf8') as f:
        return [line[9:12] for line in f]

print(parse_labels('data.txt'))
  

Вывод (Python 3):

 ['ita', 'ara', 'eng', 'epo', 'spa', 'tat', 'heb', 'eng', 'eng', 'jpn', 'deu']