Вы здесьВопрос к линуксоидам
Опубликовано пн, 09/11/2009 - 00:30 пользователем larin
Как определить, берётся ли файл из кэша или с диска? Точнее, нужен список файлов, за, скажем, час, которые читались с диска. Те, которые брались из кэша - не интересуют.
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
Aleks_Sim RE:Багрепорт - 2 1 день
Telly RE:Подайте бедному копеечку на книжку с литреса... 2 дня babajga RE:Удивленная сова 5 дней Larisa_F RE:Серия «Квадрат» издательства «Текст» 1 неделя Aleks_Sim RE:Беженцы с Флибусты 1 неделя edvud RE:Прошу переформатировать, распознать, etc... 1 неделя monochka RE:С 8 Марта! 1 неделя babajga RE:Книга чуДОМищ 1 неделя ProstoTac RE:Подборка о Первой Мировой 2 недели babajga RE:Нержавеющая сабля 2 недели sem14 RE:«Уроки русского» 2 недели Isais RE:Древний Рим. Подборка книг 2 недели kopak RE:О группе Дятлова. О той самой, того самого... 2 недели babajga RE:Отчаянная осень 2 недели babajga RE:Сказки Сени Малины 2 недели babajga RE:Сказки 2 недели babajga RE:Мои четвероногие друзья 2 недели Саша из Киева RE:Кто сможет раздобыть и оцифровать нужные мне книги? 2 недели Впечатления о книгах
nik_ol про Устинова: Детектив на краю лета (Детективы: прочее)
17 03 А что, у Поляковой больше ничего не выхожит? Вместе с её соавтором?..
Олег Макаров. про Хволкер: Фанфик по Overlords (Фанфик, Самиздат, сетевая литература)
17 03 2Fornit - вы уверены, что ваш незамутнённый поток политизированной ругани уместен на этом сайте?
gruin про Чайка: Купец из будущего ч.1 (Альтернативная история, Попаданцы, Самиздат, сетевая литература)
17 03 Капитальная нудятина. Просто тошнит Оценка: нечитаемо
mysevra про Чайлд: Забытая комната [The Forgotten Room ru] (Научная фантастика)
17 03 Персонажи невероятно тупят, выдавая лежащие на поверхности факты за сверхумные озарения. Сплошное разочарование. Оценка: плохо
mysevra про Шемшук: Сыроедение – путь к бессмертию (Здоровье)
17 03 Такую разудалую пургу под одной обложкой редко встретишь. Тут и старость от слова star, и годовалые дети-мудрецы, и умершие от восторга деревья. И поработители, желающие уничтожить человечество, но доведшие популяцию уже до ……… Оценка: неплохо
Belomor.canal про Яхина: Эйзен: роман-буфф (Современная проза)
17 03 Это не роман, то есть не худлит. Это нон фикшн, беллетризированная биография Эйзенштейна, но написанная так что биографию - то есть где и когда и с кем надо держат на коленках, потому как ЖЗЛ Эйзенштейн еще не оцифрован. В ……… Оценка: неплохо
mysevra про Ершов: Конек-Горбунок (Сказка, Детские стихи)
17 03 Замечательна сказка. Со временем воспринимается по-другому, но нравится ещё больше. Оценка: отлично!
jonyks про Гагин: Книга Достигатора (Психология, Самосовершенствование)
17 03 книга просто отличная! очень веселая
miri.ness_ про Александер: Секс был. Интимная жизнь Советского союза (Публицистика, Эротика, Секс)
16 03 Мало кто знает, как Людмила Иванова (автор "Секса у нас нет") закончила фразу (под улюлюканье зала) так: "У нас есть любовь". Жаль, тут скриншот не прикрепишь. Может, не грохнут: https://nnmclub.to/forum/viewtopic.php?t=1763774 Оценка: плохо
Gilean про Боксер [Дамиров, Гуров]
16 03 Читаю 3 книгу и это начинает напоминать, того же Курсанта. Герой начинает "вляпываться" в закрытый кружок получателей благ в СССР через девочек. В общем-то читать интересно, но если для вас это не первая серия писателя, ………
trampak про Морозов: Наши танки дойдут до Ла-Манша! (Альтернативная история)
16 03 Какая страна - такая и фантастика. Такой бред даже во времена совка никто не писал. Когда вот читаю подобное всё(чисто в профессиональном плане мне надо подобное читать) ловлю себя на мысли , вот к чему это всё? Ну допустим ……… Оценка: нечитаемо
Barbud про Номен: Старуха (Альтернативная история, Самиздат, сетевая литература)
16 03 Лучше всего автору удаются описания химических реакций и всяких технологий. Выписывать характеры, эмоции, делать персонажей живыми - не его (или не её). Оценка: нечитаемо |
Комментарии
Отв: Вопрос к линуксоидам
Может вам просто помочь с оптимизацией раздачи файлов?
А так просто на логи накатить любой анализатор логов который выдаст список самого популярного, а так с сервера с 5 винтами я выжимаю до 800 мегабит на 500-700 одновременных коннектов.
Отв: Вопрос к линуксоидам
5 винтов SAS или обычных SATA?
что-то у меня два сата тянут не больше ста, и то с трудом.
Может потому, что миллион мелких файлов.
Отв: Вопрос к линуксоидам
а last-access-time разве не поможет? ИМХО, если файл читался с диска - время обновится, если из кеша - останется прежним
Отв: Вопрос к линуксоидам
Кстати, а чей именно кеш имеется в виду ? У файловой системы - свой, у Apache|Squid - свои, и вот их-то cache hits вполне можно увидеть в соответствующих логах.
Отв: Вопрос к линуксоидам
Есть мнение, что здесь скорее nginx.
А он, по моим ощущениям (основанным на достаточно беглом знакомстве) документирован... несколько хуже Индейца.
Отв: Вопрос к линуксоидам
Только вот... Сбор такого рода статистики --- дело небыстрое и весьма ресурсоёмкое.
У меня же здесь к тов. Ларину немного другой вопрос: какая файловая система используется? Параметры файловой системы стандартные/умолчательные или она уже оптимизировалась под конкретную ситуацию (с учётом величины нагрузки --- необходимо).
Отв: Вопрос к линуксоидам
Для начала неплохо бы посмотреть какая именно софтина читает файлы. Если просто логически - там что кэш сопоставим с размером диска? Вряд ли, а значит в кэше файлов принципе мало.
Отв: Вопрос к линуксоидам
Боюсь что здесь дело в тонкой настройке нгинкса для отдачи файлов.
Юзаю файловую систему xfs, она куда адекватнее работает чем екст3 в некоторых моментах.
От сасов отказался, в силу того что на бесплатном софте могу поиметь большую производительности с сата дисков, да и объемы данных у меня внушительные, ну а так есть файлопомойка с музыкой там тоже куча мелких файлов.
Отв: Вопрос к линуксоидам
Радикально может решить вопрос io дискового только 10й райд. Лучше всего если это будет 6 рабочих дисков + спер диск.
В принципе файлохранилище может быть расположено в отдельном сервере и выделенным гигабит линком подключено в сервер раздающий контент.
Или на этом отдельном сервере живет акселерирующий прокси и объема дисков достаточно что бы закешировать все, а записи книг (на чтение и выкачку) сделаны максимально дружественными к кешированию.
--------------------
Пока писал пришел на ум вариант с SSD диском на который надо залинковать все файлы которые в топе или вообще все (если оно лезет :). На hd оставить только логи и базу, вообщем часто меняющуюся информацию. SSD имеет ноутбучный формат и влезет в корпус :).
Отв: Вопрос к линуксоидам
на опеннете указали на:
---8<-----
http://sourceware.org/systemtap/
в частности http://sourceware.org/systemtap/examples/io/iostats.stp
---8<-----
Отв: Вопрос к линуксоидам
Варианты замечательны своей радикальностью.
Не то чтобы они не приходили мне в голову.
Но как-то не готов я вбухивать десятки тысяч евро в железо.
Нет у Либрусека таких доходов, увы.
Пришлось решать проблему более бюджетными способами - добавил диск и памяти в соседний сервер и перенёс туда часть файлов.
Полегчало.