Обрабатывать различные шаблоны аргументов при использовании декоратора lru_cache как одни и те же вызовы

#python #functools

Вопрос:

Как упоминалось в официальной документации, functools.lru_cache декоратор Python интерпретирует различные шаблоны аргументов как совершенно разные ключи кэша. Например:

 import functools

@functools.lru_cache(maxsize=128)
def test(a, b, *, c, d):
    print(f'Hello from function: ({a}, {b}, {c}, {d})')

test(1, 2, c=42, d='answer')
test(1, 2, d='answer', c=42)
test(b=2, a=1, c=42, d='answer')
 

Хотя фактически все вызовы функций одинаковы, приведенный выше код выдает следующий результат:

 Hello from function: (1, 2, 42, answer)
Hello from function: (1, 2, 42, answer)
Hello from function: (1, 2, 42, answer)
 

Какой более «питонический» способ преодолеть это, чтобы рассматривать такие виды вызовов как одинаковые?

Ответ №1:

Нормализовать шаблоны аргументов с inspect.signature помощью другого декоратора:

 import functools
import inspect

def normalize_arg_patterns(func):
    sig = inspect.signature(func)
    @functools.wraps(func)
    def _func(*args, **kwargs):
        ba = sig.bind(*args, **kwargs)
        args, kwargs = ba.args, ba.kwargs
        return func(*args, **kwargs)
    return _func
 

Использование:

 @normalize_arg_patterns  # Add this
@functools.lru_cache(maxsize=128)
def test(a, b, *, c, d):
    print(f'Hello from function: ({a}, {b}, {c}, {d})')

test(1, 2, c=42, d='answer')
test(1, 2, d='answer', c=42)
test(b=2, a=1, c=42, d='answer')
 

Python 3.2 и 2.7

Нормализовать шаблоны аргументов с inspect.getcallargs помощью другого декоратора:

 import functools
import inspect

def normalize_arg_patterns(func):
    f = inspect.unwrap(func)
    @functools.wraps(func)
    def _func(*args, **kwargs):
        args, kwargs = (), inspect.getcallargs(f, *args, **kwargs)
        kwargs = dict(sorted(kwargs.items()))
        return func(*args, **kwargs)
    return _func
 

Ответ №2:

Я не очень знаком с python, метод, о котором я могу подумать, — добавить другой декоратор для сортировки переданных аргументов lru_cache .

 #!/usr/bin/env python3

from functools import update_wrapper, lru_cache
import inspect

def sorted_params(func):
    sig = inspect.signature(func, follow_wrapped=True)
    def wrapper(*args, **kwargs):
        b = sig.bind(*args, **kwargs)
        return func(*b.args, **b.kwargs)
    return update_wrapper(wrapper, func)

@lru_cache
def test1(a, b, *, c, d):
    print(f'Hello from test1: ({a}, {b}, {c}, {d})')

@sorted_params
@lru_cache
def test2(a, b, *, c, d):
    print(f'Hello from test2: ({a}, {b}, {c}, {d})')

for func in [test1, test2]:
    print('-'*30)
    func(1, 2, c=42, d='answer')
    func(1, 2, d='answer', c=42)
    func(b=2, a=1, c=42, d='answer')
 

вывод:

 ------------------------------
Hello from test1: (1, 2, 42, answer)
Hello from test1: (1, 2, 42, answer)
Hello from test1: (1, 2, 42, answer)
------------------------------
Hello from test2: (1, 2, 42, answer)