Java: разделение строки, разделенной запятыми, но игнорирование запятых в кавычках
у меня есть строка неопределенно, как это:
foo,bar,c;qual="baz,blurb",d;junk="quux,syzygy"
что я хочу разделить запятыми, но мне нужно игнорировать запятые в кавычках. Как я могу это сделать? Похоже, что метод регулярных выражений не работает; я полагаю, что могу вручную сканировать и вводить другой режим, когда вижу цитату, но было бы неплохо использовать уже существующие библиотеки. (edit: Я думаю, я имел в виду библиотеки, которые уже являются частью JDK или уже частью широко используемых библиотек, таких как Apache Палата общин.)
выше строка должна разделиться на:
foo
bar
c;qual="baz,blurb"
d;junk="quux,syzygy"
Примечание: это не CSV-файл, это одна строка, содержащаяся в файле с большей общей структурой
9 ответов:
попробуй:
public class Main { public static void main(String[] args) { String line = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\""; String[] tokens = line.split(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)", -1); for(String t : tokens) { System.out.println("> "+t); } } }выход:
> foo > bar > c;qual="baz,blurb" > d;junk="quux,syzygy"другими словами: разделить на запятую только в том случае, если эта запятая имеет ноль или четное число кавычек перед ним.
или, немного дружелюбнее для глаз:
public class Main { public static void main(String[] args) { String line = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\""; String otherThanQuote = " [^\"] "; String quotedString = String.format(" \" %s* \" ", otherThanQuote); String regex = String.format("(?x) "+ // enable comments, ignore white spaces ", "+ // match a comma "(?= "+ // start positive look ahead " (?: "+ // start non-capturing group 1 " %s* "+ // match 'otherThanQuote' zero or more times " %s "+ // match 'quotedString' " )* "+ // end group 1 and repeat it zero or more times " %s* "+ // match 'otherThanQuote' " $ "+ // match the end of the string ") ", // stop positive look ahead otherThanQuote, quotedString, otherThanQuote); String[] tokens = line.split(regex, -1); for(String t : tokens) { System.out.println("> "+t); } } }который производит то же самое, что и первый пример.
EDIT
как упоминалось @MikeFHay в комментариях:
Я предпочитаю использовать гуава-это разделитель, так как он имеет более разумные значения по умолчанию (см. обсуждение выше о пустых совпадениях, обрезанных
String#split(), так я и сделал:Splitter.on(Pattern.compile(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)"))
хотя мне вообще нравятся регулярные выражения, для такого рода токенизации, зависящей от состояния, я считаю, что простой парсер (который в этом случае намного проще, чем это слово может звучать), вероятно, является более чистым решением, в частности, в отношении ремонтопригодности, например:
String input = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\""; List<String> result = new ArrayList<String>(); int start = 0; boolean inQuotes = false; for (int current = 0; current < input.length(); current++) { if (input.charAt(current) == '\"') inQuotes = !inQuotes; // toggle state boolean atLastChar = (current == input.length() - 1); if(atLastChar) result.add(input.substring(start)); else if (input.charAt(current) == ',' && !inQuotes) { result.add(input.substring(start, current)); start = current + 1; } }Если вы не заботитесь о сохранении запятых внутри кавычек, вы можете упростить этот подход (нет обработки начального индекса, нет последний символ особый случай) замена запятых в кавычках на что-то другое, а затем разделить на запятые:
String input = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\""; StringBuilder builder = new StringBuilder(input); boolean inQuotes = false; for (int currentIndex = 0; currentIndex < builder.length(); currentIndex++) { char currentChar = builder.charAt(currentIndex); if (currentChar == '\"') inQuotes = !inQuotes; // toggle state if (currentChar == ',' && inQuotes) { builder.setCharAt(currentIndex, ';'); // or '♡', and replace later } } List<String> result = Arrays.asList(builder.toString().split(","));
http://sourceforge.net/projects/javacsv/
https://github.com/pupi1985/JavaCSV-Reloaded (форк старой библиотеки, что позволит генерируемого выходного для Windows конец строки
\r\nкогда не работает Windows)http://opencsv.sourceforge.net/
можете ли вы порекомендовать библиотеку Java для чтения (и, возможно, записи) CSV файлы?
Я бы не советовал регулярное выражение ответа от Барта, я нахожу решение для разбора лучше в этом конкретном случае (как предложил Фабиан). Я пробовал решение регулярных выражений и собственную реализацию синтаксического анализа я нашел, что:
- разбор намного быстрее, чем разбиение с регулярным выражением с обратными ссылками - ~20 раз быстрее для коротких строк, ~40 раз быстрее для длинных строк.
- регулярное выражение не удается найти пустую строку после последней запятой. Это было не в оригинальном вопросе, хотя, это было мое требование.
мое решение и тест ниже.
String tested = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\","; long start = System.nanoTime(); String[] tokens = tested.split(",(?=([^\"]*\"[^\"]*\")*[^\"]*$)"); long timeWithSplitting = System.nanoTime() - start; start = System.nanoTime(); List<String> tokensList = new ArrayList<String>(); boolean inQuotes = false; StringBuilder b = new StringBuilder(); for (char c : tested.toCharArray()) { switch (c) { case ',': if (inQuotes) { b.append(c); } else { tokensList.add(b.toString()); b = new StringBuilder(); } break; case '\"': inQuotes = !inQuotes; default: b.append(c); break; } } tokensList.add(b.toString()); long timeWithParsing = System.nanoTime() - start; System.out.println(Arrays.toString(tokens)); System.out.println(tokensList.toString()); System.out.printf("Time with splitting:\t%10d\n",timeWithSplitting); System.out.printf("Time with parsing:\t%10d\n",timeWithParsing);конечно, вы можете изменить переключатель на else-ifs в этом фрагменте, если вам неудобно с его уродством. Обратите внимание, то отсутствие перерыва после переключения с сепаратором. StringBuilder был выбран вместо StringBuffer по дизайну, чтобы увеличить скорость, где потокобезопасность не имеет значения.
попробовать lookaround как
(?!\"),(?!\"). Это должно соответствовать,которые не окружены".
вы находитесь в той раздражающей пограничной области, где регулярные выражения почти не будут делать (как было указано Бартом , избегание кавычек затруднит жизнь), и все же полномасштабный парсер кажется излишним.
Если вам, вероятно, потребуется большая сложность в ближайшее время я бы пошел искать библиотеку парсера. Например этот
Я был нетерпелив и решил не ждать ответов... для справки это не выглядит так сложно сделать что-то вроде этого (что работает для моего приложения, мне не нужно беспокоиться о экранированных кавычках, так как материал в кавычках ограничен несколькими ограниченными формами):
final static private Pattern splitSearchPattern = Pattern.compile("[\",]"); private List<String> splitByCommasNotInQuotes(String s) { if (s == null) return Collections.emptyList(); List<String> list = new ArrayList<String>(); Matcher m = splitSearchPattern.matcher(s); int pos = 0; boolean quoteMode = false; while (m.find()) { String sep = m.group(); if ("\"".equals(sep)) { quoteMode = !quoteMode; } else if (!quoteMode && ",".equals(sep)) { int toPos = m.start(); list.add(s.substring(pos, toPos)); pos = m.end(); } } if (pos < s.length()) list.add(s.substring(pos)); return list; }(упражнение для читателя: расширьте обработку экранированных кавычек, также ища обратные косые черты.)
вместо того, чтобы использовать lookahead и другие сумасшедшие регулярные выражения, просто вытащите кавычки в первую очередь. То есть для каждой группы цитат замените эту группу на
__IDENTIFIER_1или какой-то другой индикатор, и сопоставьте эту группировку с картой строки,строки.после разделения на запятую замените все сопоставленные идентификаторы исходными строковыми значениями.
Я бы сделал что-то вроде этого:
boolean foundQuote = false; if(charAtIndex(currentStringIndex) == '"') { foundQuote = true; } if(foundQuote == true) { //do nothing } else { string[] split = currentString.split(','); }
Comments