Optimisation a system to receive products from a database

[FreemanUSA]

Проблемка возникла, сэкономить серверный ресурс при выводе продукции из базы данных. Как правило мы(я) пишем метод который опираясь на айди категории выводит все совподения продуктов на юзер итерфейс. Но вот если допустим, мы вызываем главную категорию получаеться что продукт привязянный к саб-категории не проявится на юзер интерфейсе для этой главной категории. Но если мы создадим и добавим путь который имеет саб-категория от родительского айди до айди этой саб-категории наподобия 1\5\4 и отправим продукту. В первый реквест получаем айди и этот путь со всех продуктов. Переводим путь в массив или в листы и сравниваем в лупе категории айди с айди в этом массиве, если присутствует, то отправляем айди в другой массив или лист. После берём этот массив и вызываем полную инфу на продукты которые совпали. Решение может быть затёртое, не знаю, сам просто написал что первое пришло в голову, но может быть у когото есть посвежее. А то это работает для 1000 позиций продукции, а если 100000 или более. Юзер устанет ждать. СПС

[BronenosezPotemkin]

А что за база данных? Почему нельзя в одном запросе получить все релевантные продукты с помощью JOIN?

[FreemanUSA]

MySQL, да можно, но как сапоставить отношения продукта по иностранному ключу который привязан к саб-категории, саб-категории и ..... к родительской категории которая имеет другое айди? Если я вызываю родительскую или саб-родительскую категорию.

[BronenosezPotemkin]

MySQL, да можно, но как сапоставить отношения продукта по иностранному ключу который привязан к саб-категории, саб-категории и ..... к родительской категории которая имеет другое айди? Если я вызываю родительскую или саб-родительскую категорию.

Шо такое иностранный ключ? Как я уже написала - JOIN между таблицами.

[katit]

Ну тут похоже просто случай с иерархией. Для этого есть всякие способы а в взрослых базах всякие CTE и рекурсивные квери.

В любом случае все это решается в базе. Может даже надо написать хранимую процедуру вместо запроса.

[adda_]

MySQL, да можно, но как сапоставить отношения продукта по иностранному ключу который привязан к саб-категории, саб-категории и ..... к родительской категории которая имеет другое айди? Если я вызываю родительскую или саб-родительскую категорию.

Шо такое иностранный ключ? Как я уже написала - JOIN между таблицами.

Похоже что человек не знаком с основами сиквела.
ТС.
Вы нарисуйте структуру таблиц пожалуйста.

[FreemanUSA]

Иностранный ключь это ссылка по которй привязан продукт к определённой категории. Блин, я прям не знаю как объяснить то. Ну допусти таблица категорий создана на основе того как TheStack каждая категория имеет иностранный ключь с родительским айди, систем для того что бы создавать бесконечное количество саб-категории. Вот мы вызываем родительскую категорию у котори тоже есть родительская категория и допустим три саб-категории у которых тоже есть сабкатегории. Как в эту родительскую категорию получить все продукты которые привяззаны к ней и ко всем её саб-категориям если у продуктов только иностранный ключ одной категории которая являеться саб-категорией.

[oshibka_residenta]

Один запрос или нет -если проблема в том, что обход по всем этим саб-категориям занимает много времени, можно сделать chunked output на сервере. А на клиенте ( Get First /Get Next). Таким образом клиент может видеть часть результатов не дожидаясь пока все результаты получены.

Конечно, request при этом перестает быть stateless.

[oshibka_residenta]

MySQL, да можно, но как сапоставить отношения продукта по иностранному ключу который привязан к саб-категории, саб-категории и ..... к родительской категории которая имеет другое айди? Если я вызываю родительскую или саб-родительскую категорию.

Шо такое иностранный ключ? Как я уже написала - JOIN между таблицами.

иностранный ключ = foreign key
Никогда не знал как оно по-русски. Я бы перевел "чужой ключ".

[BronenosezPotemkin]

иностранный ключ = foreign key
Никогда не знал как оно по-русски. Я бы перевел "чужой ключ".

Аaaa

[Мальчик-Одуванчик]

MySQL, да можно, но как сапоставить отношения продукта по иностранному ключу который привязан к саб-категории, саб-категории и ..... к родительской категории которая имеет другое айди? Если я вызываю родительскую или саб-родительскую категорию.

Шо такое иностранный ключ? Как я уже написала - JOIN между таблицами.

иностранный ключ = foreign key
Никогда не знал как оно по-русски. Я бы перевел "чужой ключ".

Скорее "внешний", по аналогии с министерством иностранных дел и внешней политикой.

[Мальчик-Одуванчик]

http://www.getinfo.ru/article610.html

[FreemanUSA]

СПС всем ответившим. Таблица для категорий одна, я не создаю саб,саб.. и т.д. привязка идёт по родительскому айди, это снижает серверную нагрузку оперировать чисто одной таблицей и даёт возможность создавать бесконечное количество саб-категории. JOIN нельзя применить по одной простой причине, нечего соединять так как продукция тоже находиться в одной таблице, каждый товар привязан к айди категории или сабкатегории. Вопрос заключалься в то что необходимо добавить в строку продукта как орентир для вызова саб-категории продукции на основную категорию, родительскую, при этом снизив количество запрсов в базу данных и обработки конечного результата.

[oshibka_residenta]

google: self-join

[adda_]

СПС всем ответившим. Таблица для категорий одна, я не создаю саб,саб.. и т.д. привязка идёт по родительскому айди, это снижает серверную нагрузку оперировать чисто одной таблицей и даёт возможность создавать бесконечное количество саб-категории. JOIN нельзя применить по одной простой причине, нечего соединять так как продукция тоже находиться в одной таблице, каждый товар привязан к айди категории или сабкатегории. Вопрос заключалься в то что необходимо добавить в строку продукта как орентир для вызова саб-категории продукции на основную категорию, родительскую, при этом снизив количество запрсов в базу данных и обработки конечного результата.

На самом деле серверу пофигу - одна у вас таблица или не одна.
Если вы просто здесь выложите скрипт который создает таблицу, будет проще разговаривать.

[valchkou]

допустим продуктов не так много и вложенность не сильно глубокая.
Можно воткнуть всю логику на серверный код, никаких жоинов, кривых запросов и хоронимых процедур.

скажем так выглядит endpoint

Code: Select all

    
    Set<Products> getProductsForCategory(String categoryId) {
        Set<Products> result = []
        getRecursiveForcategory(categoryId, result)
        return result 
    }

это пример как можно собрать все продукты рекурсивно, можно использовать while.
код не оптимизирован под ваш конкретынй случай, pseudo java/groovy пример

Code: Select all

    getRecursiveForCategory(String categiryId, Set result) {
        Set subCategories = []
        Set<Products>  products = dao.queryById(categiryId)
        if (products) {          
            result.addAll(products)
            // collect all sub category ids
            for (Product p: products) {
                if (p.subCategoryId) subCategories.add(p.subCategoryId)
            }    
        }    
        
        // query from all subcategories
        for (String subCategoryId: subCategories) {
            getRecursiveForCategory(subCategoryId, result)
        }
    }
 

[АццкоМото]

Очень странный код

[FreemanUSA]

Спс огромное за помощью всем. Подчерпнул некоторые аспекты и внёс в свой код, создал фековых товаров 1 миллион и разбросал в 10 категорий и углубил саб категории до 20 уровня. Поск идёт в норму ни как на Мандженте , фактически выскакивание позиций на юзер итерфейс моментально. Теперь обкатываю систему против любого стороннего вмешательства на логин или какие либо рассылочные формы при общении с сервером. Преминил на каждый отправленный запрос как при входе в админ панель или на свой аккаунт с единично присвоенным айди ,через аджакс. То есть при запросе проверки данных если хэшированное айди не совподает то сервак просто игнорирует запрос. Если совподает айди, но логин данные не проходят то сервак отправляет обратно на вход и перепресваевает сгенерированное новое айди, высылая его в догонку. Так как система лимитированного входа по количеству запросов как в банках выносит мозг и просто банально раздражает ожидать 20-30 минут до следующей попытки как юзера. Может есть какие нибуть легче и более репродуктивные способы по защите против стороннего вмешательства.

[valchkou]

Может есть какие нибуть легче и более репродуктивные способы по защите против стороннего вмешательства.

нет простых путей когда дело касается безопасности.
придется попотеть над изучением стандартов и best practice
https://oauth.net/2/
https://spring.io/guides/tutorials/spring-boot-oauth2/
https://www.owasp.org/index.php/Categor ... en_Project