Блог

Реализована ли Bigtable только в Google или даже другие поисковые системы реализуют ту же файловую структуру?

По сути, это технология Google, используемая внутри компании. Если другие реализовали что-то подобное, они сделали это с точки зрения клиентской библиотеки и, вероятно, изменили название.

Многие проекты Google хранят данные в Bigtable, включая веб-индексацию, Google Планета Земля и Google Финансы. Эти приложения предъявляют к Bigtable очень разные требования, как с точки зрения размера данных (от URL-адресов до веб-страниц и спутниковых снимков), так и требований к задержке (от серверной массовой обработки до предоставления данных в режиме реального времени). Несмотря на эти различные требования, Bigtable успешно предоставил гибкое и высокопроизводительное решение для всех этих продуктов Google.

Возможно, вам понравится раздел в Википедии о подобном программном обеспечении.

Bigtable стал пионером подхода к хранению данных NoSQL. Вполне вероятно, что другие поисковые системы используют аналогичные методы на каком-то этапе своего развития и в зависимости от их требований к масштабированию, поскольку NoSQL может хорошо подойти для некоторых из этих случаев.

Например, Elasticsearch — это база данных NoSQL, более или менее: https://www.elastic.co/blog/found-elasticsearch-as-nosql

В связи с этим, вот сообщение от команды Microsoft Bing об их требованиях к хранилищу и архитектуре: https://www.microsoft.com/en-us/research/blog/evolution-bings-objectstore /