Материал опубликован с разрешения компании
Автор оригинала: Ральф Кимбалл (все
статьи)
Перевод на русский язык: Олег Кузьменко
Оригинальный документ располагается здесь.
На проходившей на прошлой неделе (речь идет о конференции, состоявшейся в начале октября 2004 г. – прим. переводчика) конференции Business Intelligence Perspectives, проводимой журналом Computerworld в Палм Спрингс, две интересные темы были наиболее заметными, тем самым дав сигнал о том, что в сфере business intelligence (BI) происходят большие перемены.
1. Соблюдение требований регуляторов является своеобразной «путевкой в жизнь» для BI
Ряд докладчиков был изумлен тем фактом, что новые требования регулирующих органов по раскрытию финансовой информации, особенно положения закона Сарбейнса-Оксли, привели к тому, что компании стали охотнее тратить деньги на модернизацию своих систем BI. Как сказал один из них: «Все, что вы должны сделать, это упомянуть о соблюдении требований регуляторов, и предложение о выделении средств получает одобрение». Но большинство докладчиков одновременно выразили озабоченность по поводу того факта, что никто не знает, что на самом деле понимается под этими «требованиями о соответствии». Не только они не расписаны в конкретных технических терминах технологии баз данных, но и появляется ощущение, что вопрос реального воздействия, которое эти требования оказывают, будет дебатироваться в судах, причем отделам ИТ придется защищать свои методы как надежные и «ответственные с коммерческой точки зрения».
Очевидно, что большинство отделов ИТ, заинтересованных в соблюдении требований регуляторов, будут заниматься перестраховкой. И, конечно же, закон Сарбейнса-Оксли не является единственным в своем роде. Существует, в зависимости от того, каким бизнесом вы занимаетесь, наверное, целое множество перекрывающих друг друга положений о раскрытии финансовой информации, выдвигающих сходные требования.
Подход, который можно считать безопасным с точки зрения соблюдения большинства требований о соответствии, включал бы в себя возможность:
Прослеживать происхождение каждой выходной метрики и ключевого показателя производительности, появляющихся в любом отчете
Прослеживать влияние любого первоначального или промежуточного элемента данных на конечный отчет
Доказать то, что входные данные не были изменены
Доказать тот факт, что выходные метрики и ключевые показатели производительности получены на основе исходных данных при помощи документированных преобразований
Документировать все преобразования, сделанные как в прошлом, так и настоящем
Перезапускать все старые процессы ETL (возможно)
Регистрировать и отображать все случаи доступа к выбранным данным, как пользователей, так и для целей администрирования (возможно)
Этот список является материалом для исследования для еще десяти Советов!
2. Анализ последовательности действий для систем BI подобен покорению горы Эверест
Некоторые из самых интересных и пугающих примеров, приведенных на конференции, описывали случаи «прочесывания» огромных баз данных для получения ответа на вопросы, которые ставит поведение клиентов. Andreas Weigend, профессор университета Стэнфорда, бывший Chief Scientist в компании Amazon, рассказал об исследовании, проведенном в Amazon, цель которого заключалась в нахождении задержки (в днях) между моментом времени, когда клиент первый раз нажал на ссылку, ведущую к товару, и тем моментом, когда он в конце концов купил его. Это задача необычайной трудности. Поскольку большинство нажатий не приводят к покупке, вам приходится ждать до тех пор, пока покупка не совершена, и затем возвращаться назад (часы, дни, недели) и находить в океане записей о посещении сайта то самое первое нажатие, произведенное клиентом на ссылку о товаре.
Потенциальный объем данных, который организации вроде Amazon хотят просматривать, просто ошеломляет. Компания Amazon хранит каждый случай демонстрации ссылки в своих исторических данных. Демонстрация ссылки – это присутствие ссылки на отображаемой странице. Это не означает, что пользователь нажал на ссылку. Amazon сохраняет терабайты таких данных каждый день!
Хранение демонстраций ссылок – это только начало «всемирного потопа» данных, который по-настоящему случится тогда, когда тэги RFID будут помещены на каждую единицу товара. В этом случае, не только объем данных приводит в ужас, но и сами данные часто сохраняются на различных серверах, каждый из которых служит «дверью» в различные территориальные подразделения компании, географические пункты и периоды времени. Эти проблемы выдвигают на повестку дня вопрос: а является ли реляционная модель и язык SQL адекватными средствами, способными справиться с ними. Тем не менее, произвольные вопросы, которые люди хотят задавать этим данным, требуют того же типа доступа, который так успешно обеспечивался реляционными базами данных для гораздо меньших источников данных.
Эти два больших сдвига в BI имеют различный характер. Первый (соблюдение требований регуляторов) подобен балласту, и второй (анализ поведения) подобен воздушному шару. Но, по моему мнению, они оба реальны и долговечны. Они не оставят нас без работы.
Если вы нашли в сети интересные ссылки на ресурсы по технологиям
хранилищ данных, OLAP, CRM или data mining, и хотите поделиться
ими с другими, присылайте их.
Я с удовольствием размещу их на этом сайте.
RSS