Низкая скорость чтения файлов игр
Здравствуйте. Я заметил, что все скаченные игры в steam имеют низкую скорость чтения с HDD. Где то 50 МВ/s. Другие файлы с диска имеют чтение минимум 100 МВ/s. Странность заключаеться в том, что если я скопирую игру на диск еще раз (именно скопирую уже загруженную), то скорость чтения становиться как у всех файлов на диске минимум 100 МВ/s. Скорость чтения падает только у оригинальных загруженных файлов, как будто стим что то с ними делает, что их скорость чтения падает в 2 раза от возможной. Я закрывал стим, перекачивал игры, проверял атрибуты файлов на сжатие и т.д. смотрел S.M.A.R.T диска (он в норме) ничего не помогает. Единственный выход это копировать на низкой скорости загруженную игру, удалять оригинал и перемещать копию. Тогда скорость чтения нормализуеться. Кто то встречал подобное? В чем может быть дело? Спасибо
Écrit par Shogal:
Так-то я ещё заметил, что чтение файлов крупными блоками и обратная запись в самих себя тоже восстанавливает производительность их чтения, это по сути аналогично копированию папки и удалению оригинала (только логически файлы занимают то же самое место). Возможно, существуют готовые программы, которые перезаписывают содержимое файлов сами собой и на вход принимают имя папки, я-то под линуксом делал командой:
find имяпапки -type f -exec dd if={} of={} conv=notrunc bs=1G status=progress \;
Если у вас нет проблем с навыками программирования, то можете это же сделать в виде виндовой программы с удобным интерфейсом, или попробовать то же самое проделать в git bash (но из-под винды я проводить это не пробовал).

Касательно установки из других установщиков тут всё очевидно - установщики распаковуют и записывают файлы линейно, это стим по принципу торрентов качает отдельные блоки и записывает их как придётся, с возможностью перезапустить скачивание на середине.
< >
Affichage des commentaires 1 à 7 sur 7
Может банальная фрагментация?
Хотя у меня стим вроде нормально распределяет файлы, допуская минимум фрагментов.
Запусти Defraggler, он покажет какие именно файлы фрагментированы ( или другой дефрегментатор, который выводит информацию именно о файлах).
Dernière modification de LonerD; 8 avr. 2021 à 15h05
Дефрагментацию тоже делал. Не помогает. У оригинальных файлов все равно скорость в 2 раза ниже обычной и диск загружен всегда на 99 - 100%. И такое только с файлами скаченными со steam.
Начните использовать SSD, чтобы ускорить все процессы. Скорость чтения для стандартного SSD составляет около 500 Мбит / с. Или SSD M.2 / если позволяет материнская плата / со скоростью чтения от 1700 Мб / с до 7000 Мб / с - в зависимости от модификации.
Модель жёсткого диска какая? Там не используется технология SMR?

В дисках с SMR-технологией данные часто хранятся не последовательно, как в нормальных дисках, а вразнобой (по мере записи они тупо наваливаются в то место, где головка находится, если этот сектор пуст, либо в ближайший пустой). В итоге если качать файлы, то фрагменты этих файлов будут раскиданы по всему диску, но дефрагментатор этого не увидит, потому что логически они будут лежать рядом. Чтобы записанные на SMR-диск файлы имели вменяемую скорость чтения, они должны записываться за один присест от начала до конца, параллельно ни один процесс не должен что-нибудь записывать (а возможно также и читать с диска). Это объясняет тот факт, что при копировании у вас производительность улучшается.
Что можно в этом случае посоветовать - использовать этот SMR-диск только под файлопомойку для очень медленных данных (фильмы, инсталляторы игр, которые нужно хранить долгосрочно, но хорошая скорость чтения не нужна), а под игры взять нормальный диск - в идеале SSD, но если слишком дорого - то HDD на 1 Тб (в 3.5 дюймовые терабайтники SMR пока что не пихают), или поискать HDD где гарантированно нет SMR.
Если диск у вас на гарантии - попробуйте его сдать, порой при тестировании дисков SMR ошибочно определяют как бракованный (т.к. производительность SMR часто проседает до такого, что тесты, предназначенные для нормальных HDD, он не проходит) и могут вернуть за него деньги.
Dernière modification de Shogal; 8 avr. 2021 à 18h37
Shogal a écrit :
Модель жёсткого диска какая? Там не используется технология SMR?

В дисках с SMR-технологией данные часто хранятся не последовательно, как в нормальных дисках, а вразнобой (по мере записи они тупо наваливаются в то место, где головка находится, если этот сектор пуст, либо в ближайший пустой). В итоге если качать файлы, то фрагменты этих файлов будут раскиданы по всему диску, но дефрагментатор этого не увидит, потому что логически они будут лежать рядом. Чтобы записанные на SMR-диск файлы имели вменяемую скорость чтения, они должны записываться за один присест от начала до конца, параллельно ни один процесс не должен что-нибудь записывать (а возможно также и читать с диска). Это объясняет тот факт, что при копировании у вас производительность улучшается.
Что можно в этом случае посоветовать - использовать этот SMR-диск только под файлопомойку для очень медленных данных (фильмы, инсталляторы игр, которые нужно хранить долгосрочно, но хорошая скорость чтения не нужна), а под игры взять нормальный диск - в идеале SSD, но если слишком дорого - то HDD на 1 Тб (в 3.5 дюймовые терабайтники SMR пока что не пихают), или поискать HDD где гарантированно нет SMR.
Если диск у вас на гарантии - попробуйте его сдать, порой при тестировании дисков SMR ошибочно определяют как бракованный (т.к. производительность SMR часто проседает до такого, что тесты, предназначенные для нормальных HDD, он не проходит) и могут вернуть за него деньги.

Модель диска WDC WD40EDAZ-11SLVB0 это внешний 4 Tb My Book. Программа R.tester говорит, что он SMR. Видно из-за этого проблемы. Просто при установке из установщиков GOG и других установщиков проблем со скоростью чтения нет. Диск новый, но поменять его или вернуть не вариант. Единственное что приходит в голову это скачивать steam на другой диск, а потом переносить копированием библиотеку, но это не решит проблему при обновлении игр...

Может есть идеи как научить steam распределять файлы на SMR диск без потери скорости чтения? Может спец дефрагментатор какой?
L'auteur(e) de ce sujet a indiqué que ce message répond à sa question.
Так-то я ещё заметил, что чтение файлов крупными блоками и обратная запись в самих себя тоже восстанавливает производительность их чтения, это по сути аналогично копированию папки и удалению оригинала (только логически файлы занимают то же самое место). Возможно, существуют готовые программы, которые перезаписывают содержимое файлов сами собой и на вход принимают имя папки, я-то под линуксом делал командой:
find имяпапки -type f -exec dd if={} of={} conv=notrunc bs=1G status=progress \;
Если у вас нет проблем с навыками программирования, то можете это же сделать в виде виндовой программы с удобным интерфейсом, или попробовать то же самое проделать в git bash (но из-под винды я проводить это не пробовал).

Касательно установки из других установщиков тут всё очевидно - установщики распаковуют и записывают файлы линейно, это стим по принципу торрентов качает отдельные блоки и записывает их как придётся, с возможностью перезапустить скачивание на середине.
Dernière modification de Shogal; 9 avr. 2021 à 8h10
Shogal a écrit :
Так-то я ещё заметил, что чтение файлов крупными блоками и обратная запись в самих себя тоже восстанавливает производительность их чтения, это по сути аналогично копированию папки и удалению оригинала (только логически файлы занимают то же самое место). Возможно, существуют готовые программы, которые перезаписывают содержимое файлов сами собой и на вход принимают имя папки, я-то под линуксом делал командой:
find имяпапки -type f -exec dd if={} of={} conv=notrunc bs=1G status=progress \;
Если у вас нет проблем с навыками программирования, то можете это же сделать в виде виндовой программы с удобным интерфейсом, или попробовать то же самое проделать в git bash (но из-под винды я проводить это не пробовал).

Касательно установки из других установщиков тут всё очевидно - установщики распаковуют и записывают файлы линейно, это стим по принципу торрентов качает отдельные блоки и записывает их как придётся, с возможностью перезапустить скачивание на середине.

Спасибо за помощь!.

Буду пробовать искать удобное решение из по винды. Напишу если что найду. Никогда до этого случая не слышал про SMR диски. Теперь буду знать, что это не единичная проблема у меня, а массовая.
< >
Affichage des commentaires 1 à 7 sur 7
Par page : 1530 50

Posté le 8 avr. 2021 à 14h47
Messages : 6