Использование PowerShell для записи файла в UTF-8 без спецификации

Question

Использование PowerShell для записи файла в UTF-8 без спецификации

Out-File Кажется, чтобы заставить спецификации при использовании UTF-8:

$MyFile = Get-Content $MyPath

$MyFile | Out-File -Encoding "UTF8" $MyPath

Как я могу написать файл в UTF-8 без спецификации с помощью PowerShell?

1578 14

powershell utf-8 encoding byte-order-mark

14 ответов:

Comments

Ничего не найдено.

M. Dudley · Accepted Answer · 2016-12-16 01:56:32

использование .Сети UTF8Encoding класса и передает $False конструктор, кажется, работает:
$MyFile = Get-Content $MyPath
$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
[System.IO.File]::WriteAllLines($MyPath, $MyFile, $Utf8NoBomEncoding)

ForNeVeR · Accepted Answer · 2017-05-23 15:34:44

The правильный способ на данный момент заключается в использовании решения, рекомендованного @Roman Kuzmin в комментариях к @M. Dudley ответ:
[IO.File]::WriteAllLines($filename, $content)
(Я также сократил его немного, зачистив ненужное System уточнение пространства имен-оно будет заменено автоматически по умолчанию.)

Lenny · Accepted Answer · 2016-12-02 02:26:54

Я подумал, что это не будет UTF, но я просто нашел довольно простое решение, которое, кажется, работает...
Get-Content path/to/file.ext | out-file -encoding ASCII targetFile.ext
для меня это приводит к utf-8 Без файла спецификации независимо от исходного формата.

mklement0 · Accepted Answer · 2017-10-25 01:26:37

дополнить собственный простой и прагматичный ответ М. Дадли (и более сжатая переформулировка ForNeVeR):

для удобства, вот расширенная функция Out-FileUtf8NoBom,альтернатива на основе конвейера, которая имитирует Out-File, что означает:

вы можете использовать его просто как Out-File в трубопроводе.

входные объекты, которые не являются строками, форматируются так, как если бы вы отправили их на консоль, так же, как и с Out-File.

пример:
(Get-Content $MyPath) | Out-FileUtf8NoBom $MyPath
^{обратите внимание, как (Get-Content $MyPath), заключенный в (...), что гарантирует, что весь файл будет открыт, прочитан полностью и закрыт перед отправкой результата по конвейеру. Это необходимо для того, чтобы иметь возможность писать обратно к то же самое (обновление это на месте).

Как правило, однако, этот метод не рекомендуется по двум причинам: (a) весь файл должен соответствовать память и (b) если команда прервана, данные будут потеряны.}

Примечание использование памяти:

собственный ответ М. Дадли требует, чтобы все содержимое файла в памяти, что может быть проблематичным с большими файлами.

функция ниже улучшает это только немного: все входные объекты по-прежнему буферизуются сначала, но их строковые представления затем генерируются и записываются в выходной файл один за другим.

код Out-FileUtf8NoBom (а также как MIT-лицензированный Gist):
<#
.SYNOPSIS
  Outputs to a UTF-8-encoded file *without a BOM* (byte-order mark).

.DESCRIPTION
  Mimics the most important aspects of Out-File:
  * Input objects are sent to Out-String first.
  * -Append allows you to append to an existing file, -NoClobber prevents
    overwriting of an existing file.
  * -Width allows you to specify the line width for the text representations
     of input objects that aren't strings.
  However, it is not a complete implementation of all Out-String parameters:
  * Only a literal output path is supported, and only as a parameter.
  * -Force is not supported.

  Caveat: *All* pipeline input is buffered before writing output starts,
          but the string representations are generated and written to the target
          file one by one.

.NOTES
  The raison d'être for this advanced function is that, as of PowerShell v5,
  Out-File still lacks the ability to write UTF-8 files without a BOM:
  using -Encoding UTF8 invariably prepends a BOM.

#>
function Out-FileUtf8NoBom {

  [CmdletBinding()]
  param(
    [Parameter(Mandatory, Position=0)] [string] $LiteralPath,
    [switch] $Append,
    [switch] $NoClobber,
    [AllowNull()] [int] $Width,
    [Parameter(ValueFromPipeline)] $InputObject
  )

  #requires -version 3

  # Make sure that the .NET framework sees the same working dir. as PS
  # and resolve the input path to a full path.
  [System.IO.Directory]::SetCurrentDirectory($PWD) # Caveat: .NET Core doesn't support [Environment]::CurrentDirectory
  $LiteralPath = [IO.Path]::GetFullPath($LiteralPath)

  # If -NoClobber was specified, throw an exception if the target file already
  # exists.
  if ($NoClobber -and (Test-Path $LiteralPath)) {
    Throw [IO.IOException] "The file '$LiteralPath' already exists."
  }

  # Create a StreamWriter object.
  # Note that we take advantage of the fact that the StreamWriter class by default:
  # - uses UTF-8 encoding
  # - without a BOM.
  $sw = New-Object IO.StreamWriter $LiteralPath, $Append

  $htOutStringArgs = @{}
  if ($Width) {
    $htOutStringArgs += @{ Width = $Width }
  }

  # Note: By not using begin / process / end blocks, we're effectively running
  #       in the end block, which means that all pipeline input has already
  #       been collected in automatic variable $Input.
  #       We must use this approach, because using | Out-String individually
  #       in each iteration of a process block would format each input object
  #       with an indvidual header.
  try {
    $Input | Out-String -Stream @htOutStringArgs | % { $sw.WriteLine($_) }
  } finally {
    $sw.Dispose()
  }

}

jamhan · Accepted Answer · 2013-05-01 08:22:46

этот скрипт будет конвертировать в UTF-8 без BOM, все .txt файлы в DIRECTORY1 и выводить их в DIRECTORY2
foreach ($i in ls -name DIRECTORY1\*.txt)
{
    $file_content = Get-Content "DIRECTORY1$i";
    [System.IO.File]::WriteAllLines("DIRECTORY2$i", $file_content);
}

Lucero · Accepted Answer · 2018-04-23 20:48:31

при использовании Set-Content вместо Out-File, вы можете указать кодировку Byte, который может быть использован для записи массива байтов в файл. Это в сочетании с пользовательской кодировкой UTF8, которая не испускает спецификацию, дает желаемый результат:
# This variable can be reused
$utf8 = New-Object System.Text.UTF8Encoding $false

$MyFile = Get-Content $MyPath -Raw
Set-Content -Value $utf8.GetBytes($MyFile) -Encoding Byte -Path $MyPath
разница в использовании [IO.File]::WriteAllLines() или аналогично, что он должен отлично работать с любым типом элемента и пути, а не только фактические пути к файлам.

delianmc · Accepted Answer · 2018-07-19 21:51:53

была та же проблема. Это сделало трюк для меня:
$MyFile | Out-File -Encoding Oem $MyPath
при открытии файла с кодом Visual Studio или Notepad++ он отображается как UTF-8

Erik Anderson · Accepted Answer · 2016-09-22 22:36:20

один из методов, который я использую, заключается в перенаправлении вывода в файл ASCII с помощью Out-File.

например, я часто запускаю SQL-скрипты, которые создают другой SQL-скрипт для выполнения в Oracle. При простом перенаправлении ( " > " ) вывод будет в UTF-16, который не распознается SQLPlus. Чтобы обойти это:
sqlplus -s / as sysdba "@create_sql_script.sql" |
Out-File -FilePath new_script.sql -Encoding ASCII -Force
сгенерированный скрипт может быть выполнен через другой сеанс SQLPlus без каких-либо проблем Unicode:
sqlplus / as sysdba "@new_script.sql" |
tee new_script.log

Jaume Suñer Mut · Accepted Answer · 2016-10-03 16:59:08

измените несколько файлов по расширению на UTF-8 без спецификации:
$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding($False)
foreach($i in ls -recurse -filter "*.java") {
    $MyFile = Get-Content $i.fullname 
    [System.IO.File]::WriteAllLines($i.fullname, $MyFile, $Utf8NoBomEncoding)
}

xdhmoore · Accepted Answer · 2017-02-01 08:28:43

по какой причине WriteAllLines звонки все еще производили BOM для меня, с BOMless также, как написано, это работает только в том случае, если ваш файл помещается в массив powershell, который, по-видимому, имеет ограничение длины на некоторое значение ниже [int32]::MaxValue на моей машине.

frank tan · Accepted Answer · 2017-02-08 07:47:40

    [System.IO.FileInfo] $file = Get-Item -Path $FilePath 
    $sequenceBOM = New-Object System.Byte[] 3 
    $reader = $file.OpenRead() 
    $bytesRead = $reader.Read($sequenceBOM, 0, 3) 
    $reader.Dispose() 
    #A UTF-8+BOM string will start with the three following bytes. Hex: 0xEF0xBB0xBF, Decimal: 239 187 191 
    if ($bytesRead -eq 3 -and $sequenceBOM[0] -eq 239 -and $sequenceBOM[1] -eq 187 -and $sequenceBOM[2] -eq 191) 
    { 
        $utf8NoBomEncoding = New-Object System.Text.UTF8Encoding($False) 
        [System.IO.File]::WriteAllLines($FilePath, (Get-Content $FilePath), $utf8NoBomEncoding) 
        Write-Host "Remove UTF-8 BOM successfully" 
    } 
    Else 
    { 
        Write-Warning "Not UTF-8 BOM file" 
    }

источник Как удалить UTF8 Byte Order Mark (BOM) из файла с помощью PowerShell

satob · Accepted Answer · 2018-04-24 16:42:19

если вы хотите использовать [System.IO.File]::WriteAllLines(), вы должны привести второй параметр к String[] (если типа $MyFile и Object[]), а также указать абсолютный путь с $ExecutionContext.SessionState.Path.GetUnresolvedProviderPathFromPSPath($MyPath), например:
$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-ChildItem | ConvertTo-Csv | Set-Variable MyFile
[System.IO.File]::WriteAllLines($ExecutionContext.SessionState.Path.GetUnresolvedProviderPathFromPSPath($MyPath), [String[]]$MyFile, $Utf8NoBomEncoding)
если вы хотите использовать [System.IO.File]::WriteAllText(), иногда вы должны передать второй параметр в | Out-String | чтобы добавить CRLFs в конец каждой строки явно (особенно когда вы используете их с ConvertTo-Csv):
$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-ChildItem | ConvertTo-Csv | Out-String | Set-Variable tmp
[System.IO.File]::WriteAllText("/absolute/path/to/foobar.csv", $tmp, $Utf8NoBomEncoding)
или вы можете использовать [Text.Encoding]::UTF8.GetBytes() С Set-Content -Encoding Byte:
$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-ChildItem | ConvertTo-Csv | Out-String | % { [Text.Encoding]::UTF8.GetBytes($_) } | Set-Content -Encoding Byte -Path "/absolute/path/to/foobar.csv"
посмотреть: как записать результат ConvertTo-Csv в файл в UTF-8 без BOM

Robin Wang · Accepted Answer · 2015-09-22 23:43:38

можно использовать НИЖЕ, чтобы получить UTF8 без BOM
$MyFile | Out-File -Encoding ASCII

Krzysztof · Accepted Answer · 2015-05-06 15:34:44

это работает для меня (используйте "по умолчанию" вместо "UTF8"):
$MyFile = Get-Content $MyPath
$MyFile | Out-File -Encoding "Default" $MyPath
результат ASCII без спецификации.