Python購物籃數(shù)據(jù)（關(guān)聯(lián)分析）
pip?install?mlxtend由于已經(jīng)是csv格式，所以直接輸入：
每一行： 一個購物籃
每一列： 購物籃中的商品
先看看pd讀的對不對：
然后按行打?。?br>再將這些存在一個數(shù)組中：
1、什么是獨熱碼
獨熱碼，在英文文獻(xiàn)中稱做 one-hot code, 直觀來說就是有多少個狀態(tài)就有多少比特，而且只有一個比特為1，其他全為0的一種碼制，更加詳細(xì)參加 one_hot code（維基百科） 。在機器學(xué)習(xí)中對于離散型的分類型的數(shù)據(jù)，需要對其進行數(shù)字化比如說性別這一屬性，只能有男性或者女性或者其他這三種值，如何對這三個值進行數(shù)字化表達(dá)？一種簡單的方式就是男性為0，女性為1，其他為2，這樣做有什么問題？
使用上面簡單的序列對分類值進行表示后，進行模型訓(xùn)練時可能會產(chǎn)生一個問題就是特征的因為數(shù)字值得不同影響模型的訓(xùn)練效果，在模型訓(xùn)練的過程中不同的值使得同一特征在樣本中的權(quán)重可能發(fā)生變化，假如直接編碼成1000，是不是比編碼成1對模型的的影響更大。為了解決上述的問題，使訓(xùn)練過程中不受到因為分類值表示的問題對模型產(chǎn)生的負(fù)面影響，引入獨熱碼對分類型的特征進行獨熱碼編碼。
? ? ? ? 可以這樣理解，對于每一個特征，如果它有m個可能值，那么經(jīng)過獨熱編碼后，就變成了m個二元特征（如成績這個特征有好，中，差變成one-hot就是100, 010, 001）。并且，這些 特征互斥 ，每次只有一個激活。因此，數(shù)據(jù)會變成稀疏的。
這樣做的好處主要有：
（1）解決了分類器不好處理 屬性數(shù)據(jù) 的問題
（2）在一定程度上也起到了 擴充特征 的作用
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? M
以下為我摘取的別人的，貼上原文鏈接
著名的啤酒與尿布, 這是典型的購物籃問題, 在數(shù)據(jù)挖掘界叫做頻繁項集(Frequent Itemsets).
note: 數(shù)據(jù)類型寫法按照Python的格式.
一. 目標(biāo)與定義
1. 問題背景
超市中購物清單中總是有一些項目是被消費者一同購買的. 如果我們能夠發(fā)現(xiàn)這些 關(guān)聯(lián)規(guī)則 ( rules), 并合理地加以利用, 我們就能取得一定成果. 比如我們發(fā)現(xiàn)熱狗和芥末存在這種關(guān)系, 我們對熱狗降價促銷, 而對芥末適當(dāng)提價, 結(jié)果能顯著提高超市的銷售額.
2. 目標(biāo)
找到頻繁地 共同 出現(xiàn)在消費者結(jié)賬小票中項目(比如啤酒和尿布), 來一同促銷, 相互拉動, 提高銷售額.
3. 定義
支持度support: 其實就是概率論中的頻次frequency
支持度閾值support : 記為s, 指分辨頻繁項集的臨界值.
頻繁項集: 如果I是一個項集(Itemset), 且I的出現(xiàn)頻次(i.e.支持度)大于等于s, 那么我們說I是頻繁項集.
一元項, 二元項, 三元項: 包含有一種商品, 兩種, 三種商品的項集.
4. 關(guān)聯(lián)規(guī)則
關(guān)聯(lián)規(guī)則: 形式為I->j, 含義是如果I種所有項都出現(xiàn)在某個購物籃的話, 那么j很有可能也出現(xiàn)在這個購物籃中. 我們可以給出相應(yīng)的值(可信度, 即概率論中的置信度).
其中, 這個關(guān)聯(lián)規(guī)則的可信度計算為 = I∪{j} / I, 本身是非常符合直覺和常識的. 比如我們說關(guān)聯(lián)規(guī)則{dog, cat} -> and 的可信度為0.6, 因為{dog, cat}出現(xiàn)在了1, 2, 3, 6, 7五個購物籃中, 而and出現(xiàn)在了1,2,7中, 因此我們可以算出 = freq[{dog, cat, and}] / freq[{dog, cat}] = 3/5 = 0.6
注意到, 分子部分的頻次總是比分母低, 這是因為{dog, cat} 出現(xiàn)的次數(shù)總是大于等于{dog, cat, and}的出現(xiàn)次數(shù).
二. 購物籃與A-Priori算法
1. 購物籃數(shù)據(jù)表示
我們將有一個文本文件輸入, 比如allBills.txt, 或者allBills.csv. 里面每行是一個購物籃.
文件的頭兩行可能是這樣(df.show(2)):
{23, 456, 1001}
{3, 18, 92, 145}
我們假定這是一家大型連鎖超市, 比如沃爾瑪, 因此這個文本文件是非常大的, 比如20GB. 因此我們無法一次將該文件讀入內(nèi)存. 因此, 算法的主要時間開銷都是磁盤IO.
我們同時還假定, 所有購物籃的平均規(guī)模是較小的, 因此在內(nèi)存中產(chǎn)生所有大小項集的時間開銷會比讀入購物籃的時間少很多.
我們可以計算, 對于有n個項目組成的購物籃而言, 大小為k的所有子集的生成時間約為(n, k) = n! / ((n-k)!k!) = O(n^k/ k!), 其中我們只關(guān)注較小的頻繁項集, 因此我們約定k=2或者k=3. 因此所有子集生成時間T = O(n^3).
Again, 我們認(rèn)為 在內(nèi)存中產(chǎn)生所有大小項集的時間開銷會比讀入購物籃的時間少很多.
2. Itemset計數(shù)過程中的內(nèi)存使用
我們必須要把整個k,v字典放在內(nèi)存中, 否則來一個Itemset就去硬盤讀取一次字典將十分十分地慢.
此處, 字典是k=(18, 145), v=15這種形式. 此處, 應(yīng)當(dāng)注意到, 如果有{bread, milk, orange}這樣的String類型輸入, 應(yīng)當(dāng)預(yù)先用一個字典映射成對應(yīng)的整數(shù)值編碼, 比如1920, 4453, 9101這樣.
那么, 我們最多能用字典存儲多少種商品?
先看下我們存儲多少個count值.
我們假定項的總數(shù)目是n, 即超市有n種商品, 每個商品都有一個數(shù)字編號, 那么我們需要(n, 2) = n^2/2 的大小來存儲所有的二元組合的count, 假設(shè)int是占4個byte, 那么需要(2·n^2)Byte內(nèi)存. 已知2GB內(nèi)存 = 2^31 Byte, 即2^31/2 = 2^30 >= n^2 --> n <= 2^15. 也就是說n<33 000, 因此我們說商品種類的最多是33k種.
但是, 這種計算方法存在一個問題, 并不是有10種商品, 那么這10種商品的任意二元組合都會出現(xiàn)的. 對于那些沒出現(xiàn)的組合, 我們在字典中完全可以不存儲, 從而節(jié)省空間.
同時, 別忘了我們同樣也得存儲key = (i, j), 這是至少額外的兩個整數(shù).
那么我們到底具體怎么存儲這些計數(shù)值?
可以采用三元組的方式來構(gòu)造字典. 我們采用[i, j, count]形式來存儲, 其中i代表商品種類1, j代表商品種類2, 前兩個值代表key, 后面的value就是count, 是這個二元組合下的計數(shù).
現(xiàn)在, 讓我們注意到我們(1)假定購物籃平均大小較小, 并(2)利用三元組(2個key的)字典和(3)不存儲沒出現(xiàn)組合優(yōu)勢. 假設(shè)有100k = 10^5種商品, 有10million=10^7個購物籃, 每個購物籃有10個項, 那么這種字典空間開銷是(10, 2) · 10^7 = 45 x 10^7 x 3= 4.5x10^8x3 = 1.35x10^9 個整數(shù).? 這算出來約為4x10^8 Byte = 400MB, 處于正常計算機內(nèi)存范圍內(nèi).
3. 項集的單調(diào)性
如果項集I是頻繁的, 那么它的所有子集也都是頻繁的. 這個道理很符合常識, 因為{dog, cat} 出現(xiàn)的次數(shù)總是大于等于{dog, cat, and}的出現(xiàn)次數(shù).
這個規(guī)律的推論, 就是嚴(yán)格地, 我們頻繁一元組的個數(shù)> 頻繁二元組的個數(shù) > 頻繁三元組的個數(shù).
4. A-Priori算法
我們通過Itemset計數(shù)中內(nèi)存使用的*, 已經(jīng)明確了我們總是有足夠的內(nèi)存用于所有存在的二元項集(比如{cat, dog})的計數(shù). 這里, 我們的字典不存放不存在于購物籃中的任何二元項集合, 而且頻繁二元組的數(shù)目將會大于三元頻繁三元組> ...
我們可以通過單邊掃描購物籃文件, 對于每個購物籃, 我們使用一個雙重循環(huán)就可以生成所有的項對(即二元組). 每當(dāng)我們生成一個項對, 就給其對應(yīng)的字典中的value +1(也稱為計數(shù)器). *, 我們會檢查所有項對的計數(shù)結(jié)果,并且找出那些>=閾值s的項對, 他們就是頻繁項對.
1) A-Priori算法的*遍掃描
在*遍掃描中, 我們將建立兩個表. *張表將項的名稱轉(zhuǎn)換為1到n之間的整數(shù), 從而把String類型這樣的key轉(zhuǎn)為空間大小更小的int類型.? 第二張表將記錄從1~n每個項在所有購物籃中出現(xiàn)的次數(shù). 形式上類似
table 0(name table): {'dolphin': 7019, 'cat': 7020}? //dict形式, 其實也可以做成list形式 [['dolphin', 7019], ['cat', 7020]]
table 1(single-item counter table): {7019: 15, 7020: 18}? //dict形式, 其實也可以做成數(shù)組形式A[7019] = 2, A[7020] = 18
2) *遍掃描完的處理
*遍掃描完后, 我們會按照自己設(shè)定的閾值s, 對整個table 1再進行一次mapping, 因為我們只關(guān)注*counter值大于等于閾值的項目, 而且不關(guān)心其counter值具體多少. 因此, mapping策略是:
對凡是counter
3) 第二遍掃描
第二遍掃描所做的事有三:
(1) 對每個購物籃, 在table 1中檢查其所有的商品項目, 把所有為頻繁項的留下來建立一個list.
(2) 通過一個雙重循環(huán)生成該list中的所有項對.
(3) 再走一次循環(huán), 在新的數(shù)據(jù)結(jié)構(gòu)table 2(dict或者list)中相應(yīng)的位置+1. 此時的效果是dicta = {48: {13: 5}, 49: {71, 16}} 或者 lista [ [48, 13, 5],[49, 71, 16], ... ]
注意此時內(nèi)存塊上存儲的結(jié)構(gòu): table1(name table), table2(single-item counter table), table3(double-item counter table)
5. 推廣: 任意大小頻繁項集上的A-Priori算法
我們對上面這個算法進行推廣.
從任意集合大小k到下一個大小k+1的轉(zhuǎn)移模式可以這么說:
(1) 對每個購物籃, 在table 1中檢查其所有的商品項目, 把所有為頻繁項的留下來建立一個list.
(2) 我們通過一個k+1重循環(huán)來生成該list中的所有(k+1)元組
(3) 對每個k+1元組, 我們生成其的(k+1 choose k)個k元組, 并檢查這些k元組是否都在之前的table k中. (注意到k=1的時候, 這步與(1)是重復(fù)的, 可以省略)
(4)再走一次循環(huán), 在新的數(shù)據(jù)結(jié)構(gòu)table k+1(dict或者list)中相應(yīng)的位置+1. 此時的效果是k=2, k+1=3, 生成dicta = {48: {13: {19: 4}}, 49: {71: {51: 10}},? ... } 或者 生成lista [ [48, 13, 19, 4],[49, 71, 51, 10], ... ]
注意, 在進入下一次掃描前, 我們還需要額外把counter中值小于s的元組的計數(shù)值都記為0.
模式總體是: C1 過濾后 L1 計數(shù)后 C2 置零后 C2' 過濾后 L2 計數(shù)后 C3 置零后 C3' ......
END.
生成的商品種類為set形式：轉(zhuǎn)成list形式
*張表：把項名稱轉(zhuǎn)換為1~n的整數(shù)：
至于數(shù)數(shù)，大神說，你就用.Counter就好：哈？
哈哈，可愛的wyy，開始分析吧~嚕嚕嚕啦啦啦~嚕啦嚕啦嚕~
生成全零矩陣：
換成zeros:
統(tǒng)計每一列的和，即每種商品的購買總數(shù)：
每一行列:
*行：
建立一個新的只含有頻繁一項集的購物籃矩陣：
頻繁二項集：
用python怎么實現(xiàn)購物車的加減功能
1、利用selenium控制瀏覽器實現(xiàn)搶購加減功能，用此庫模擬用戶從打開瀏覽器到加入購物車提交訂單付款的過程即可實現(xiàn)搶購優(yōu)點是簡單方便，缺點是速度慢和受網(wǎng)速影響較大。2、用Requests庫，模擬提交瀏覽器到服務(wù)器的數(shù)據(jù)，瀏覽器在開發(fā)者模式界面看到每一次請求的具體信息，把這些信息通過此庫發(fā)送到服務(wù)器也可實現(xiàn)搶購加減功能，優(yōu)點是速度快，缺點是復(fù)雜，容易被識別反爬蟲。
python怎么使用？
答:如果您已經(jīng)成功安裝Python，那么對于初學(xué)者來說，你可以先在命令行下執(zhí)行一些語句去看一下效果。 Python和C語言等有一些不一樣，它可以逐行解析語句，如下所示,定義一個變量a的值。
當(dāng)你更深入的時候，你就可以使用一些專用的Python開發(fā)環(huán)境來進行代碼編寫比如PyChatm和Jupyter。希望可以幫助到你。
少兒編程python哪家好？
一、什么是少兒編程少兒編程教育是通過編程游戲啟蒙、可視化圖形編程等課程，培養(yǎng)學(xué)生的計算思維和創(chuàng)新解難能力的課程。少兒編程教育并不是要培養(yǎng)未來的程序員，而是讓孩子能掌握新科技并應(yīng)用新科技表達(dá)自己，由科技時代的消費者轉(zhuǎn)變?yōu)閯?chuàng)造者；同時，少兒編程是培養(yǎng)小朋友思維能力的理想載體。
二、STEAM教育是什么
STEAM是一種教育理念，有別于傳統(tǒng)的單*、重書本知識的教育方式。STEAM代表科學(xué)（Science）、技術(shù)（）、工程（）、藝術(shù)（Arts）、數(shù)學(xué)（）。STEAM教育就是集科學(xué)，技術(shù)，工程，藝術(shù)，數(shù)學(xué)多*融合的綜合教育。
三、少兒編程主要學(xué)習(xí)什么
不同年齡段的孩子，其認(rèn)知能力不同，適合入門學(xué)習(xí)的編程語言也不同。
編程主要學(xué)的是邏輯和算法，少兒編程中更重要的是學(xué)習(xí)邏輯，就目前而言，剛?cè)腴T的孩子以scratch或Python作為*門編程語言來學(xué)習(xí)是非常合適的。
四、scracth相關(guān)知識
1、什么是scratch
Scratch是麻省理工的“終身幼兒園團隊”開發(fā)的圖形化編程工具，目的是幫助孩子發(fā)展學(xué)習(xí)技能，學(xué)習(xí)創(chuàng)造性思維，以及學(xué)習(xí)集體合作。
Scratch將程序指令變?yōu)橐粋€個“積木塊”，使用者無需敲擊代碼或是背誦任何編程指令，只需要將積木塊拖拽并連接在一起，就可以很方便的進行編程，從而快速制作出動畫、游戲、交互程序。
2、Scratch是游戲嗎
Scratch不是游戲，而是一款可以制作游戲、動畫、工具的編程語言。一旦掌握了Scratch，孩子們就能自由自在地?fù)]灑它們無限的創(chuàng)意，享受創(chuàng)造的樂趣。Scratch由麻省理工媒體實驗室開發(fā)出來至今，有超過100萬的孩子在學(xué)習(xí)Scratch。在中*的教育中通過Scratch，擴展了語文，數(shù)學(xué)，外語，音樂，體育，科學(xué)的教學(xué)深度。
3、Scratch為什么適合孩子學(xué)習(xí)（特點）
（1）操作簡單易懂
Scratch不像其他編程那樣復(fù)雜，整個編程的過程，Scratch是以鼠標(biāo)拖拽的形式操作的，所以對于不會閱讀，不認(rèn)識英文字母，不會使用鍵盤的小朋友們來說，完全不構(gòu)成障礙；并且scratch對計算機硬件配置沒有任何特殊要求。
（2）學(xué)習(xí)過程視覺化，對初學(xué)者非常友好
編程過程中，孩子們拖動鼠標(biāo)移動積木，立刻就能看見他們這一操作所產(chǎn)生的結(jié)果，非常直觀生動。傳統(tǒng)的文本代碼的編程語言，有很多嚴(yán)格語法規(guī)則，比如括號，字母的大小寫等都有嚴(yán)格的要求，而scratch完全簡化了這些規(guī)則，孩子們不需要死記硬背，不需要理解亂七八糟的符號是什么意思，總之一句話：有了scratch，孩子學(xué)編程非常簡單。
（3）學(xué)習(xí)內(nèi)容全面，有利于過度到其他語言
在這里要給各位家長們強調(diào)一點，scratch不是一個游戲，是一門真正的計算語言。很多成年人也在使用它，成熟的scratch程序員，可以用它來實現(xiàn)非常復(fù)雜的功能。而且scratch包含了所有計算機語言的通用概念：有函數(shù)、循環(huán)、條件判斷等等。不管學(xué)哪種程序語言，都會碰到這些最基本的東西。對于學(xué)習(xí)scratch的孩子而言，想要繼續(xù)深入學(xué)習(xí)任何別的編程語言，都是水到渠成，沒有任何障礙的。
（4）學(xué)習(xí)成果快速反饋，給孩子極大的成就感
孩子們用scratch完成的動畫、游戲、故事等各種作品，都可以發(fā)布，跟朋友們分享，可以極大的增加孩子的成就感。
Python常用的場景:
（1）WEB開發(fā)。就是通常所說的網(wǎng)站開發(fā)，APP后端接口的開發(fā)，Python最火的WEB開發(fā)框架Django在業(yè)界非常流行，其中的設(shè)計哲學(xué)常用于其它程序語言設(shè)計的框架。
（2）爬蟲。爬蟲就是俗話說的抓網(wǎng)頁，抓別人的東西。在爬蟲領(lǐng)域，Python幾乎是霸主地位，擁有成熟強大的爬蟲框架庫，想從網(wǎng)絡(luò)中抓什么就抓什么。
云計算。目前最*的云計算框架OpenStack就是使用Python開發(fā)。
（3）人工智能。毫無疑問，人工智能是當(dāng)下乃至未來科技發(fā)展的主旋律。人工智能在這些年獲得快速發(fā)展也是得益于Python豐富而強大的科學(xué)計算能力。大家都知道谷歌開源的人工智能學(xué)習(xí)框架就是采用Python開發(fā)，人工智能的發(fā)展反過來也深深的影響了Python的大規(guī)模使用。
（4）自動化運維。相信每一個運維人員都知道Python，各行各業(yè)中的系統(tǒng)經(jīng)常使用Python寫小工具來自動化操作一系列機器指令，讓一個人能夠管理成百上千的機器。同時Python也是金融分析，量化交易領(lǐng)域用的最多的語言。
掌握Python，小朋友們可以嘗試使用它做各種各樣有趣的事，在未來工業(yè)化4.0的背景下，使用編程語言，能夠幫助小朋友知其然又知其所以然，順利的與人工智能機器人協(xié)同工作。
六、scracth與Python有什么不同
1、開發(fā)目的不同。Scratch是專注于提供適用于兒童的編程語言和工具，而Python是一種計算機編程語言，更多的被用于計算機項目。
2、使用對象不同，Scratch針對的一般是*及以下階段的學(xué)生，可視化語言可以很好的幫助學(xué)生學(xué)習(xí)基本的邏輯、關(guān)系推理、數(shù)學(xué)的概念，同時避免過早的接觸到“形式運算階段”之后才能理解的抽象的演繹推理。Python針對*高年級，初高中階段，這個時候?qū)W生的數(shù)理邏輯基礎(chǔ)相對扎實，有了基礎(chǔ)的思維邏輯。
3、學(xué)習(xí)方式不同。scratch是界面色彩豐富，圖形化編程，只要用鼠標(biāo)拖動圖標(biāo)就可以，通過一步一步指導(dǎo)，可以做出很復(fù)雜的作品。python是命令式編程，本身打字就慢，還要打那么多，如果是急性子的孩子，會很容易失去興趣；但是它是高級語言，靈活性高，學(xué)會后，能夠做的事情遠(yuǎn)遠(yuǎn)比scratch多。
python有少兒編程嗎
有少兒編程。少兒編程的優(yōu)點：
少兒程序員可以使孩子加強思維訓(xùn)練，從而使他們的大腦能夠為孩子提供良好的實踐活動，從而使他們具有一定的創(chuàng)造力和想象力
Python編程使孩子們在學(xué)習(xí)的道路上走得越來越遠(yuǎn)。它提供的編程軟件非常有趣。它可以帶給孩子學(xué)習(xí)的興趣，帶來學(xué)習(xí)的動力，并使孩子有一個持久的過程。學(xué)習(xí)編程不僅可以讓孩子掌握一項新技能，還可以給孩子帶來良好的互動，從而使孩子們對未來充滿挑戰(zhàn)。
學(xué)習(xí)編程將是一個循序漸進的過程，使孩子們能夠不斷發(fā)現(xiàn)新知識，不斷思考和分析問題，從而為孩子提供更好的鍛煉方法?，F(xiàn)在，許多孩子都在大約4歲時開始編程課程。這表明父母有長遠(yuǎn)眼光，可以給孩子更好的基礎(chǔ)。
Python編程可以使孩子們更輕松地學(xué)習(xí)編程課程，并且還可以通過多種方式給孩子們學(xué)習(xí)。孩子們可以通過當(dāng)前的在線教學(xué)方法學(xué)習(xí)編程，從而使父母不必來回走動，從而孩子可以自由地掌握時間。
更多Python知識，請關(guān)注：Python自學(xué)網(wǎng)??！