Перейти к содержимому






Фотография - - - - -

[iPic] 6 лямов позади и первая партия удаленных изображений



6093123 изображения загружено на данный момент на наш хостинг изображений http://ipic.su. Год назад было 5кк

Это овердофигища изображений, о которых играя в Айон и размышляя об удобном сервисе для размещения картинок на форумах, я даже не думал, создавая iPic.

Сейчас это добро занимает 1.5Тб на нашем серваке. Пришлось урезать размеры хардов всех других ресурсов, чтобы падающий от забитости харда iPic.su возвращать в строй.

Но около года назад мы с Charliez'ом накатили на файловую систему сайта логер обращений к файлу, теперь если к файлу обращаются (он отображается на каком-то сайте и его кто-то реально видит), то изменяется дата обращения к файлу. Я запускаю скрипт, который находит файлы, к которым более 365 дней не обращались и переносит в отдельную папку на сервере. После чего из этой папки я уже сливаю все на отдельный диск на своем компе.

Так что если внезапно вы захотите вернуть очень нужный вам удаленный файл, то я найду его на диске и верну.

Мы не планировали удалять файлы, но купить новый Raid-контроллер и новые харды на сервак не вышло, слишком дорого.

Надеюсь с этими нововведениями мы будем постепенно освобождать место на харде и работа iPic станет снова стабильной.

Раньше был более хитрый скрипт, он находил дубликаты файлов и заменял их символическими ссылками, но этот скрипт работает сутками и особого прироста места не дает, хотя более гуманный.

Но вернемся к статистике сайта.

Вот что у нас было в январе 2017 по посетителям:
Изображение

Вот данные по посещаемости за последние 20 дней:
Изображение

Нужно учитывать, что это лишь те пользователи, которые заходят на html страницы сайта, а не смотрят изображения по прямым ссылкам или не грузят картинки через скриншотеры.

Вот данные по Cloudflare за последний месяц:
Изображение

Эти запросы - реальные запросы не только к страницам сайта, но и к файлам (изображениям), которые составляют подавляющее большинство "посещений". Вдумайтесь, 80 миллионов обращений.

Итого вышло 13 Тб трафика за февраль, в мае 2015 было 9.5 Тб и 4 миллиона изображений. Растем больше, чем на +1 миллион в год, учитывая, что последний год часто хостинг лежал из-за нехватки места:


Изображение

3.5 миллиона уникальных смотрителей изображений, которые размещены у нас:

Изображение

Пока формат jpeg более популярный:
Изображение

Для сравнения, insane.su посмотрело по данным CF всего 26.5к уникальных пользователей. Это включая тех, кто смотрел картинки (например, юзербары) наших мемберов на других сайтах. У archeagewiki.ru - 38.5к вьюверов за февраль.

Вернемся к iPic.su. Данные по внешним переходам за последние 30 дней:
Изображение

p.s. Пока освободил чуть меньше 4Гб, завтра займусь и удалю до ~50Гб старых изображений.



А сколько нужно чтобы увеличить размер памяти на серваке?

  • Жалоба
Фотография
Джолька
Фев 25 2017 01:43

А сколько нужно чтобы увеличить размер памяти на серваке?

купить новый сервак проще.

 

Там очень древняя железка, мощности которой в принципе хватает на все наши сайты, но проблема в устаревшем raid-контроллере, туда не вставить хард больше 1Тб, а мест под харды всего 3. Итого 2 стоят в зеркалировании, 1 должен был быть бэкапным, но пришлось оттуда забрать половину для хостинга. Чтобы влез хард большего размера - нужен новый Raid-контроллер, а его цена вместе с хардами такая, что корпус с материнкой, оперативкой и процессором стоит соразмерно.

 

Сложно считать, но учитывая харды от 4Тб три штуки (4+4 + 4 резерв), оперативки гига 32, то даже б/у платформа пойдет от 100к рублей, а реально от 150к.

 

Мы на работе брали недавно брэндовые HP серваки (не слишком мощные) за 4700 баксов, там всего 300Гб харды правда (нам не нужны), это 280к рублей, без больших хардов. На простом калькуляторе подсчитал, что это 250к за небрэндованную новую мощную железку. Слишком дорого. А если расширять старую, тогда уж проще взять б/у сервак поновее и поставить на него новую оперативку и харды.

  • Жалоба
Фотография
Джолька
Фев 25 2017 01:46

Вообще можно попробовать у Чарлиза узнать (он работает в хостинговой компании, в которой стоит "наш" сервак, хотя на самом деле это старый сервак Чарлиза, который он нам на копейки арендует, 1к рублей в месяц), нет ли у них списываемых серваков, которые можно было бы купить себе.

 

Ну либо мне на работе узнать не уходят ли в утиль raid-контроллеры, которые нам подойдут.

  • Жалоба

а как насчет амазоновских "облачных" серваков, у меня на работе их юзают

  • Жалоба

нужно начать кампанию по сбору средств на б/у сервер для айпика

001.jpg

нужно баннер с лицом Джолли на айпик поместить, у википедии же работает!

  • Жалоба
Фотография
Джолька
Фев 25 2017 02:58

а как насчет амазоновских "облачных" серваков, у меня на работе их юзают

Облачные решения хороши, пока тебе не нужно 2-3 Тб хард и трафик по 15-20Тб в месяц =)

 

Сейчас мне это стоит 1к рублей, за счет скидок Чарлиза в Zenon.ru (у них свой сервак поставить от 3200 в месяц, а я плачу 1к)

  • Жалоба
Фотография
doubletriple
Фев 25 2017 13:55

догнали гитлера

  • Жалоба

Warning

Все тексты опубликованные в данном журнале - ИМХО и плод моей фантазии. Любые суждения - оценочные. Не нравится - не читайте.

Реклама(r)

пользователей просматривает

0 пользователей, 37 гостей, 0 анонимных


Bing (3), Ahrefs (3)

G+


Яндекс.Метрика
Наши кнопки

Гильдийный счет (Яндекс.Деньги) 41001343732038

Огромное спасибо компании ЗЕНОН www.zenon.ru за отличный хостинг!

Любая перепечатка материалов форума insane.su - только с разрешения администрации или самих авторов.
В онлайн-издания перепечатка разрешена при указании ссылки на оригинал.