Блог

LayoutLM строится поверх BERT в качестве базовой линии, но я хочу заменить BERT на MobileBERT, потому что BERT слишком большой. К сожалению, библиотека трансформаторов Huggingface не дает вам возможности изменить базовую модель для LayoutLM. Как мне следует поменять БЕРТА на МобилбЕРТА? Я знаю, что у них очень разные конфигурации.

Я знаю, что это очень широкий вопрос и широкая тема, но я ничего не могу найти об этом в Интернете. Как бы я это сделал и с чего мне начать?

LayoutLM можно использовать с моделями минифильмов, но с небольшой потерей точности.