Java: разделение строки, разделенной запятыми, но игнорирование запятых в кавычках



у меня есть строка неопределенно, как это:



foo,bar,c;qual="baz,blurb",d;junk="quux,syzygy"


что я хочу разделить запятыми, но мне нужно игнорировать запятые в кавычках. Как я могу это сделать? Похоже, что метод регулярных выражений не работает; я полагаю, что могу вручную сканировать и вводить другой режим, когда вижу цитату, но было бы неплохо использовать уже существующие библиотеки. (edit: Я думаю, я имел в виду библиотеки, которые уже являются частью JDK или уже частью широко используемых библиотек, таких как Apache Палата общин.)



выше строка должна разделиться на:



foo
bar
c;qual="baz,blurb"
d;junk="quux,syzygy"


Примечание: это не CSV-файл, это одна строка, содержащаяся в файле с большей общей структурой

608   9  

9 ответов:

попробуй:

public class Main { 
    public static void main(String[] args) {
        String line = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";
        String[] tokens = line.split(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)", -1);
        for(String t : tokens) {
            System.out.println("> "+t);
        }
    }
}

выход:

> foo
> bar
> c;qual="baz,blurb"
> d;junk="quux,syzygy"

другими словами: разделить на запятую только в том случае, если эта запятая имеет ноль или четное число кавычек перед ним.

или, немного дружелюбнее для глаз:

public class Main { 
    public static void main(String[] args) {
        String line = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";

        String otherThanQuote = " [^\"] ";
        String quotedString = String.format(" \" %s* \" ", otherThanQuote);
        String regex = String.format("(?x) "+ // enable comments, ignore white spaces
                ",                         "+ // match a comma
                "(?=                       "+ // start positive look ahead
                "  (?:                     "+ //   start non-capturing group 1
                "    %s*                   "+ //     match 'otherThanQuote' zero or more times
                "    %s                    "+ //     match 'quotedString'
                "  )*                      "+ //   end group 1 and repeat it zero or more times
                "  %s*                     "+ //   match 'otherThanQuote'
                "  $                       "+ // match the end of the string
                ")                         ", // stop positive look ahead
                otherThanQuote, quotedString, otherThanQuote);

        String[] tokens = line.split(regex, -1);
        for(String t : tokens) {
            System.out.println("> "+t);
        }
    }
}

который производит то же самое, что и первый пример.

EDIT

как упоминалось @MikeFHay в комментариях:

Я предпочитаю использовать гуава-это разделитель, так как он имеет более разумные значения по умолчанию (см. обсуждение выше о пустых совпадениях, обрезанных String#split(), так я и сделал:

Splitter.on(Pattern.compile(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)"))

хотя мне вообще нравятся регулярные выражения, для такого рода токенизации, зависящей от состояния, я считаю, что простой парсер (который в этом случае намного проще, чем это слово может звучать), вероятно, является более чистым решением, в частности, в отношении ремонтопригодности, например:

String input = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";
List<String> result = new ArrayList<String>();
int start = 0;
boolean inQuotes = false;
for (int current = 0; current < input.length(); current++) {
    if (input.charAt(current) == '\"') inQuotes = !inQuotes; // toggle state
    boolean atLastChar = (current == input.length() - 1);
    if(atLastChar) result.add(input.substring(start));
    else if (input.charAt(current) == ',' && !inQuotes) {
        result.add(input.substring(start, current));
        start = current + 1;
    }
}

Если вы не заботитесь о сохранении запятых внутри кавычек, вы можете упростить этот подход (нет обработки начального индекса, нет последний символ особый случай) замена запятых в кавычках на что-то другое, а затем разделить на запятые:

String input = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";
StringBuilder builder = new StringBuilder(input);
boolean inQuotes = false;
for (int currentIndex = 0; currentIndex < builder.length(); currentIndex++) {
    char currentChar = builder.charAt(currentIndex);
    if (currentChar == '\"') inQuotes = !inQuotes; // toggle state
    if (currentChar == ',' && inQuotes) {
        builder.setCharAt(currentIndex, ';'); // or '♡', and replace later
    }
}
List<String> result = Arrays.asList(builder.toString().split(","));

Я бы не советовал регулярное выражение ответа от Барта, я нахожу решение для разбора лучше в этом конкретном случае (как предложил Фабиан). Я пробовал решение регулярных выражений и собственную реализацию синтаксического анализа я нашел, что:

  1. разбор намного быстрее, чем разбиение с регулярным выражением с обратными ссылками - ~20 раз быстрее для коротких строк, ~40 раз быстрее для длинных строк.
  2. регулярное выражение не удается найти пустую строку после последней запятой. Это было не в оригинальном вопросе, хотя, это было мое требование.

мое решение и тест ниже.

String tested = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\",";
long start = System.nanoTime();
String[] tokens = tested.split(",(?=([^\"]*\"[^\"]*\")*[^\"]*$)");
long timeWithSplitting = System.nanoTime() - start;

start = System.nanoTime(); 
List<String> tokensList = new ArrayList<String>();
boolean inQuotes = false;
StringBuilder b = new StringBuilder();
for (char c : tested.toCharArray()) {
    switch (c) {
    case ',':
        if (inQuotes) {
            b.append(c);
        } else {
            tokensList.add(b.toString());
            b = new StringBuilder();
        }
        break;
    case '\"':
        inQuotes = !inQuotes;
    default:
        b.append(c);
    break;
    }
}
tokensList.add(b.toString());
long timeWithParsing = System.nanoTime() - start;

System.out.println(Arrays.toString(tokens));
System.out.println(tokensList.toString());
System.out.printf("Time with splitting:\t%10d\n",timeWithSplitting);
System.out.printf("Time with parsing:\t%10d\n",timeWithParsing);

конечно, вы можете изменить переключатель на else-ifs в этом фрагменте, если вам неудобно с его уродством. Обратите внимание, то отсутствие перерыва после переключения с сепаратором. StringBuilder был выбран вместо StringBuffer по дизайну, чтобы увеличить скорость, где потокобезопасность не имеет значения.

попробовать lookaround как (?!\"),(?!\"). Это должно соответствовать , которые не окружены ".

вы находитесь в той раздражающей пограничной области, где регулярные выражения почти не будут делать (как было указано Бартом , избегание кавычек затруднит жизнь), и все же полномасштабный парсер кажется излишним.

Если вам, вероятно, потребуется большая сложность в ближайшее время я бы пошел искать библиотеку парсера. Например этот

Я был нетерпелив и решил не ждать ответов... для справки это не выглядит так сложно сделать что-то вроде этого (что работает для моего приложения, мне не нужно беспокоиться о экранированных кавычках, так как материал в кавычках ограничен несколькими ограниченными формами):

final static private Pattern splitSearchPattern = Pattern.compile("[\",]"); 
private List<String> splitByCommasNotInQuotes(String s) {
    if (s == null)
        return Collections.emptyList();

    List<String> list = new ArrayList<String>();
    Matcher m = splitSearchPattern.matcher(s);
    int pos = 0;
    boolean quoteMode = false;
    while (m.find())
    {
        String sep = m.group();
        if ("\"".equals(sep))
        {
            quoteMode = !quoteMode;
        }
        else if (!quoteMode && ",".equals(sep))
        {
            int toPos = m.start(); 
            list.add(s.substring(pos, toPos));
            pos = m.end();
        }
    }
    if (pos < s.length())
        list.add(s.substring(pos));
    return list;
}

(упражнение для читателя: расширьте обработку экранированных кавычек, также ища обратные косые черты.)

вместо того, чтобы использовать lookahead и другие сумасшедшие регулярные выражения, просто вытащите кавычки в первую очередь. То есть для каждой группы цитат замените эту группу на __IDENTIFIER_1 или какой-то другой индикатор, и сопоставьте эту группировку с картой строки,строки.

после разделения на запятую замените все сопоставленные идентификаторы исходными строковыми значениями.

Я бы сделал что-то вроде этого:

boolean foundQuote = false;

if(charAtIndex(currentStringIndex) == '"')
{
   foundQuote = true;
}

if(foundQuote == true)
{
   //do nothing
}

else 

{
  string[] split = currentString.split(',');  
}

Comments

    Ничего не найдено.