tokenize- все статьи тега


Как я могу маркировать строку в C++?

Java имеет удобный метод разделения: String str = "The quick brown fox"; String[] results = str.split(" "); есть простой способ сделать это в C++? ...

Как разделить строку в оболочке и получить последнее поле

Предположим у меня есть строка 1:2:3:4:5 и я хочу получить его последнее поле (5 в данном случае). Как мне это сделать с помощью Bash? Я пытался cut, но я не знаю, как указать последнее поле с -f. ...

Сканер против StringTokenizer против String.Расщеплять

Я только что узнал о классе сканера Java, и теперь мне интересно, как он сравнивает/конкурирует с StringTokenizer и String.Расщеплять. Я знаю, что StringTokenizer и String.Сплит работает только на строках, так почему я хочу использовать сканер для строки? Сканер просто предназначен для того, чтобы быть одной остановкой для расщепления? ...

Ищете четкое определение того, что такое" токенизатор"," парсер "и" лексеры " и как они связаны друг с другом и используются?

Я ищу четкое определение того, что такое" токенизатор"," парсер "и" лексер " и как они связаны друг с другом (например, использует ли парсер токенизатор или наоборот)? Мне нужно создать программу, которая будет проходить через исходные файлы c/h для извлечения декларации и определений данных. Я искал примеры и могу найти некоторую информацию, но я действительно изо всех сил пытаюсь понять основные понятия, такие как правила грамматики, деревья разбора и абстрактное синтаксическое дерево и как ...

Как использовать stringstream для разделения строк, разделенных запятыми [дубликат]

этот вопрос уже есть ответ здесь: Как я могу перебирать слова строки? [закрытый] 74 ответы у меня есть следующий код: std::string str = "abc def,ghi"; std::stringstream ss(str); string token; while (ss >> token) { printf("%sn", token.c_str()); } выход: abc def, ghi Так stringstream::>> оператор может разделять строки пробелом, но не через запятую. Есть ли возможность измени ...