search

concepts

  1. 安装anaconda替换原有python2。点击arrow-up-right

  2. 更换Yum源

    mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo_bak
    wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    yum makecache

  3. 克隆项目

    git clone https://github.com/databricks/mlflow

    里面有一些databricks写好的demo，可以随时运行查看

  4. 启动Tracking UI

    mlflow ui

    默认是5000端口

  5. 配Nginx，转发localhost/127.0.0.1的5000端口

  6. 运行

    mlflow pyfunc serve -m /Users/mlflow/mlflow-prototype/mlruns/0/7c1a0d5c42844dcdb8f5191146925174/artifacts/model -p 1234

    启动服务，但是提示不要在生产环境中使用

  7. 可以以Restapi的方式调参

    curl -X POST -H "Content-Type:application/json; format=pandas-split" --data '{"columns":["alcohol", "chlorides", "citric acid", "density", "fixed acidity", "free sulfur dioxide", "pH", "residual sugar", "sulphates", "total sulfur dioxide", "volatile acidity"],"data":[[12.8, 0.029, 0.48, 0.98, 6.2, 29, 3.33, 1.2, 0.39, 75, 0.66]]}' http://127.0.0.1:1234/invocations

  8. cdh配置 点击1arrow-up-right 点击2arrow-up-right

    sudo systemctl start cloudera-scm-server
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

  9. spark-standalone安装

    配置Python3.5环境arrow-up-right

    pip freeze #查看安装的包
pip uninstall <package>
pip install <package>==<version>

    配置pyspark使用py3

    vi ~/.bashrc
#添加
export PYSPARK_PYTHON=python3
source ~/.bashrc

注意： 1. mlflow ui 不能在下载mlflow项目里直接打开，但在/root下，且由mlruns文件夹的地方运行才可以（不知道为什么，github上也有人提同样的issue，但没有解决） 2. 检查主机正确性时出现 “Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 30。” 的警告，进行如下设定

  1. 检查主机正确性时出现 “已启用“透明大页面”，它可能会导致重大的性能问题。” 的警告，进行如下设定

PreviousmlflowNext渗透测试

Last updated