一、目的
使用【阿里雲-機器學習PAI-pai studio】,用python開發自定義算法組件,並且上傳內網,發佈部署到PAI平臺。但是我現在準備好數據源(已經數據清洗,拆分後),執行到我自定義開發的組件(python工程),就卡住了,也不報錯,初步判斷是無法接收上面組件節點傳來的參數,請問該如何處理?
二、環境
①、開發語言:python
②、開發框架:TensorFlow(最好不要用,導入TensorFlow庫後,項目非常大)
③、平臺:阿里雲,機器學習PAI,DataWorks
④、目錄結構
三、問題
1、組件開發
現在純python的代碼開發完畢了。將我的python項目,打包成tar.gz包,然後上傳內網的機器學習PAI平臺。具體的【上傳-發佈-訂閱-拖動組件到實驗桌布-配置-運行】這套流程已經熟悉。
2、創建實驗
2.1、實驗步驟
包括:【數據源表】→【SQL腳本-3】→【拆分-3】→【am.pre...006-1(我自己開發的算法組件)】→【預測-3】
2.2、實驗流程截圖
我創建了1個實驗,3個分支,左邊2個流程是我用官方給的組件做的流程對照組。右邊第3個流程是我自己開發的流程,用來完成個性化算法。
2.3、執行【實驗】
實驗進行到【am.pre...006-1】(我自己開發的算法組件)就卡住了。這裡初步推斷是我自己開發的組件(python項目)中,沒有使用機器學習PAI平臺,規範的入參接口代碼,接下來開始尋找,組件之間如何交互(傳參)。
三、解決問題
3.1、蒐集資料
①、資料1
【開發算法包】https://help.aliyun.com/document_detail/126887.html
目前,我照著這個帖子進行
②、資料②
【開發示例程序-Github地址】https://github.com/aliyun/algo-market-example
這裡面的demo中,是最基本的代碼,只有導包tensorflow和打印語句。
進入【TensorFlow_example】目錄後:
點擊查看train.py文件內容,這裡告訴了我們如何引入tensorflow組件,沒有設計組件之間如何交互的問題。
3.2、工單詢問阿里雲-機器學習PAI平臺工程師
3.3、與同事交流