Ахахах. Вот ведь порою как судьба проворачивается...
Вкратце, помните раньше, был всплеск популярности всяких прожектов распределенных вычислений "дома" - когда ты ставишь спецклиент на ПК, а он получает какие-то данные от центра и обсчитывает и там во время простоя? Seti@home был самый популярный.
Сейчас-то всем понятно, что максимум что будут считать - это биткойн-хэши, но тогда народ верил в общее дело.
И был такой проект - Majestic12, суть которого была в распределнном индексировании интернетов по типу Гугла, но силами хоумюзерских компов. Система рабоатет и по ныне, кстати, она отличный способ изгадить профилирование твой вэбистории условной Яровой, потому что там запросы идут пачками куда попало, рандомно почти что (список URL для опроса приходит с центрального сервера).
Итак, некоторое время у прожекта даже был корявый поисковик рабочий на глагне, потом его убрали. Дальше началось странное, на вопросы "а когда будет поисковик-то" разработчики проекта отвечали странно - "не нравится идите нахер". Вопрос - нафиг тогда юзер-боты продолжают шерстить инет? На это отвечали что готовят какую-то умопомрачительную систему которая будет "заебца".
И ты подумай, вот она :))) https://majestic.com/
Запилили. Особенно советую полуркать "Расценки", лол.
То есть эти чуваки продают за деньги результаты трудов юзеров "за идею" тратящих свои ресурсы и трафик.
Аплодирую стоя.
Rumpelstilzchen, молодцы, чо. толи опенсорсный аналог запилить, и назвать Majestic13?
Ну форкни, только думаю больше никто не поведется.
Rumpelstilzchen, ну, я вижу это так.
все шо ты посетил - индексируется. можно назначать тэги. единственная проблема - куда это хранить
Все что ыт браузером посетил? У Маджестика для этого отдельная софтина, на жабе кажется.
Rumpelstilzchen, а нахуя? парсинга кэша достаточно. этакое расширение в браузер. в нем же и тэги назначать.
Чтобы по запросу "Gray" вываливался Дориан Грэй, Абрахам Грэй и сэр Александр Грэй в первую очередь, а потом уже всякие Кристианы с Сашами ( если ты конечно не выбрала категорию porno или bdsm)
Если все это будет уходить куда-то то это пипец какой фейл приватности.
Rumpelstilzchen, посмотри код сервера, вот все ойпи не хранятся же
или работать через i2p онли
А вот я не помню есть ли в паблике код сервера как раз.
Rumpelstilzchen, в моем форке - будет
Кстати ансчет хранить - ларчик то просто открывался "MJ12Bot does not currently cache web content or personal data. Instead it maps the link relationships between websites to build a search engine."
То есть это тупо сеошный подсчет линков, точно такой же как делают пидорасы с ahrefs и seorush, только те не скрывают что они коммерческая поебота, а эти...