{"repo":"TianLangStudio/DataXServer","free":true,"listed":false,"github":"https://github.com/TianLangStudio/DataXServer","clone":"git clone https://github.com/TianLangStudio/DataXServer.git","description":"为DataX(https://github.com/alibaba/DataX) 提供远程多语言调用（ThriftServer，HttpServer） 分布式运行（DataX on YARN） 功能","language":"Scala","stars":143,"topics":["datax","dataxserver","thrift","yarn","dataxonyarn","server","thrift-server","datax-server","etl","hamal"],"license":"Apache-2.0","category":"data-pipelines","readme_excerpt":"DataX Server ================ 为 DataX 提供远程调用（Thrift Server， Http Server）分布式运行（DataX On YARN）功能 Feature --------------- - 1. Thrift Server - 2. DataX on Yarn - 3. Http Server - 4. 单机多线程方式运行 - 5. 单机多进程方式运行 - 6. 分布式运行(On Yarn) - 7. 混合模式运行（Yarn+多进程模式运行） - 8. 自动伸缩 TODO - 1.Http Server - 2.代码重构 - 3.按照功能类型拆分到多个子项目中 重新组织包名 方便后续新增功能 - 4.完善文档示例 Deploy 下载发布包DataXServer-0.0.1.tar.gz 并解压 进入 0.0.1 目录 启动Thrift Server 使用NodeJS提交测试任务到Thrift Server Develop --------------- ### 下载程序源码 项目依赖阿里 DataX ### 单机多线程模式运行http server (已部署好datax 且能正常运行job/test job.json) - 配置DataX安装目录 修改pom.xml中的datax-home配置项为部署datax的地址 - 启动http server - 提交任务 获取任务ID tianlang@tianlang:job$ curl -XPOST -d \"@job/test job.json\" 127.0.0.1:9808/dataxserver/task 0 （任务ID） - 获取任务执行状态结果耗时 单机多进程模式运行 - 配置DataX安装目录 同多线程模式 - 启动server - 提交运行任务同多线程模式 多机多进程模式运行(On Yarn) - 配置DataX 安装目录 修改hamal-yarn/src/main/resources/master.conf 里的datax.home配置项的值为 DataX安装目录 - 打包 - 上传jar包到hdfs 将hamal-yarn/target/hamal-yarn- -with-dependencies.jar上传到hdfs /app/hamal/master.jar 将hamal-yarn/target/hamal-yarn- -package.zip上传到hdfs /app/hamal/executor.zip - 运行Master 可以通过yarn ui看到运行的Master - 提交运行任务同多线程模式 提交任务后可看到， container数量增加， master运行日志中可看到当前executor数量 ,在master.conf文件中可以配置最大executor数量，可以将local.num.max设置为不为０的值即代表可以在本机启动executor. executor空闲一段时间后自动销毁。 如用在生产环境建议修改ID生成策略，提交任务存储方式等 QA - 编译失败 检查是否是依赖包下载失败，可以将依赖包安装到本机 可以尝试注释掉pom文件中 recompileMode 配置 - 是否集群中每台机器都要安装datax 不需要每台机器都安装datax,可以把datax打包到excutor的部署zip包中，放到hdfs上 - Excutor和Master是通过http还是thrift通信？ Excutor和Master的通信是基于","default_branch":null,"files":null,"tree":[],"storefront":"/r/TianLangStudio","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/TianLangStudio/DataXServer/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}