Вы здесьВопрос к линуксоидам
Опубликовано пн, 09/11/2009 - 00:30 пользователем larin
Как определить, берётся ли файл из кэша или с диска? Точнее, нужен список файлов, за, скажем, час, которые читались с диска. Те, которые брались из кэша - не интересуют.
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
aldan RE:Подайте бедному копеечку на книжку с литреса... 2 часа
kopak RE:О группе Дятлова. О той самой, того самого... 6 дней alexk RE:Багрепорт - 2 4 дня babajga RE:Удивленная сова 2 недели Larisa_F RE:Серия «Квадрат» издательства «Текст» 2 недели Aleks_Sim RE:Беженцы с Флибусты 2 недели edvud RE:Прошу переформатировать, распознать, etc... 2 недели monochka RE:С 8 Марта! 2 недели babajga RE:Книга чуДОМищ 3 недели ProstoTac RE:Подборка о Первой Мировой 3 недели babajga RE:Нержавеющая сабля 3 недели sem14 RE:«Уроки русского» 3 недели Isais RE:Древний Рим. Подборка книг 4 недели babajga RE:Отчаянная осень 1 месяц babajga RE:Сказки Сени Малины 1 месяц babajga RE:Сказки 1 месяц babajga RE:Мои четвероногие друзья 1 месяц Саша из Киева RE:Кто сможет раздобыть и оцифровать нужные мне книги? 1 месяц Впечатления о книгах
DGOBLEK про Короткевич: Дикая охота короля Стаха. Оружие. Цыганский король. Седая легенда [Сборник. Книга не полностью] (Исторический детектив, Историческая проза)
28 03 Книга не полностью. Отсутствует - Владимир Захаров. Певец седых легенд и народных поверий (послесловие), стр. 399-412
DGOBLEK про Короткевич: Дикая охота короля Стаха. Оружие. Цыганский король. Седая легенда [Книга не полностью] (Исторический детектив, Историческая проза)
28 03 Книга не полностью. Отсутствует - Владимир Захаров. Певец седых легенд и народных поверий (послесловие), стр. 399-412
pulochka про Халиди: Столетняя война за Палестину (История, Политика, Публицистика)
28 03 Вранье от первого до последнего слова! Оценка: нечитаемо
obivatel про Ковтунов: Идеальный мир для Лекаря. Книга 28 [СИ] (Боевая фантастика, Юмористическая фантастика, Фэнтези, Самиздат, сетевая литература)
28 03 Откровенно говоря, оно конечно такая долгоиграющая жвачка очень хорошо, но приелось уже. Так что при всём уважении и благодарности к автору за проделанную работу, цикл пора завершать. ИМХО ессно. Оценка: хорошо
Синявский про Лиза Джейн Смит
27 03 Л. Джейн Смит, автор романов «Дневники вампира», умерла в возрасте 66 лет. Писательница страдала от редкого аутоимунного заболевания.
Г.Гуслия про Плут
26 03 Очень неплохой ЛитРПГ. Читается без напряга, как раз то, что надо для отдыха. Оценка: твердое хорошо.
decim про Бенедикт Константинович Лившиц
26 03 Убит в 1938. А переводы печатались и до сих пор печатаются. Насчёт невостребованности. Самое невостребованное было - недаровитых авторов 1950-х. В букинистике, помню, одно время до потолка стопки всякого "Рассвета в степи" ………
bbs про Красников: Валгалла I. Дорога славы (Юмористическая фантастика, Фэнтези, ЛитРПГ, Самиздат, сетевая литература)
25 03 Прочел % 60, больше не смог, лучше перечитаю Моханенко ВМ. Оценка: неплохо
DGOBLEK про Кивиряхк: Ноябрь, или Гуменщик [Книга не полностью] [Rehepapp, ehk, November ru] (Современная проза)
24 03 Книга не полностью. Отсутствует - Борис Тух. Послесловие, стр. 177-180
Олег Макаров. про Дорогой Солнца
24 03 Дорогой солнца 1-3 3-я мировая война и после неё 1 книга Вау 2 норм 3 уже скучновато
Олег Макаров. про Котов: Ценитель [СИ] (Городское фэнтези, Самиздат, сетевая литература, Приключения)
24 03 Интересный сюжет, приятный стиль. Необычный скилл ГГ, весьма оригинальный авторский мир. Всё очень достойно. Отличная книга Оценка: отлично!
Дей про Орден Архитекторов
24 03 Ладно, я осилила 9 книг. Продолжение ждать не буду. Стоит держать в уме, что произведение для детей среднего школьного возраста. МС махровейшее. Злодеи картоннейшие. Короче, ужас-ужас, но голову разгрузить можно. |
Комментарии
Отв: Вопрос к линуксоидам
Может вам просто помочь с оптимизацией раздачи файлов?
А так просто на логи накатить любой анализатор логов который выдаст список самого популярного, а так с сервера с 5 винтами я выжимаю до 800 мегабит на 500-700 одновременных коннектов.
Отв: Вопрос к линуксоидам
5 винтов SAS или обычных SATA?
что-то у меня два сата тянут не больше ста, и то с трудом.
Может потому, что миллион мелких файлов.
Отв: Вопрос к линуксоидам
а last-access-time разве не поможет? ИМХО, если файл читался с диска - время обновится, если из кеша - останется прежним
Отв: Вопрос к линуксоидам
Кстати, а чей именно кеш имеется в виду ? У файловой системы - свой, у Apache|Squid - свои, и вот их-то cache hits вполне можно увидеть в соответствующих логах.
Отв: Вопрос к линуксоидам
Есть мнение, что здесь скорее nginx.
А он, по моим ощущениям (основанным на достаточно беглом знакомстве) документирован... несколько хуже Индейца.
Отв: Вопрос к линуксоидам
Только вот... Сбор такого рода статистики --- дело небыстрое и весьма ресурсоёмкое.
У меня же здесь к тов. Ларину немного другой вопрос: какая файловая система используется? Параметры файловой системы стандартные/умолчательные или она уже оптимизировалась под конкретную ситуацию (с учётом величины нагрузки --- необходимо).
Отв: Вопрос к линуксоидам
Для начала неплохо бы посмотреть какая именно софтина читает файлы. Если просто логически - там что кэш сопоставим с размером диска? Вряд ли, а значит в кэше файлов принципе мало.
Отв: Вопрос к линуксоидам
Боюсь что здесь дело в тонкой настройке нгинкса для отдачи файлов.
Юзаю файловую систему xfs, она куда адекватнее работает чем екст3 в некоторых моментах.
От сасов отказался, в силу того что на бесплатном софте могу поиметь большую производительности с сата дисков, да и объемы данных у меня внушительные, ну а так есть файлопомойка с музыкой там тоже куча мелких файлов.
Отв: Вопрос к линуксоидам
Радикально может решить вопрос io дискового только 10й райд. Лучше всего если это будет 6 рабочих дисков + спер диск.
В принципе файлохранилище может быть расположено в отдельном сервере и выделенным гигабит линком подключено в сервер раздающий контент.
Или на этом отдельном сервере живет акселерирующий прокси и объема дисков достаточно что бы закешировать все, а записи книг (на чтение и выкачку) сделаны максимально дружественными к кешированию.
--------------------
Пока писал пришел на ум вариант с SSD диском на который надо залинковать все файлы которые в топе или вообще все (если оно лезет :). На hd оставить только логи и базу, вообщем часто меняющуюся информацию. SSD имеет ноутбучный формат и влезет в корпус :).
Отв: Вопрос к линуксоидам
на опеннете указали на:
---8<-----
http://sourceware.org/systemtap/
в частности http://sourceware.org/systemtap/examples/io/iostats.stp
---8<-----
Отв: Вопрос к линуксоидам
Варианты замечательны своей радикальностью.
Не то чтобы они не приходили мне в голову.
Но как-то не готов я вбухивать десятки тысяч евро в железо.
Нет у Либрусека таких доходов, увы.
Пришлось решать проблему более бюджетными способами - добавил диск и памяти в соседний сервер и перенёс туда часть файлов.
Полегчало.